Mental Models, Explanations, Visualizations : Promoting User-Centered Qualities in Recommender Systems
Recommender systems (RSs) are powerful tools that proactively suggest a set of personalized items to users. In doing so, they aim to predict the preferences of their users, wherein they are considered to be very accurate. In addition to algorithmic precision, user-centered qualities have recently been increasingly taken into account when evaluating the success of RSs.
Examples for such qualities include the transparency of an RS, the control users are able to exert over their recommendations, and the means of exploring the item space in context of recommendations. However, research on aspects focused on human-computer interaction in RSs is still at a rather early stage. The main focus of the present thesis is to study and design
RSs more holistically. In this regard, the mental models that users create of RSs are explored, explanations and their impact on user-centered variables of RSs are investigated, and techniques from information visualization (InfoVis) are applied to let users scrutinize the global context of their recommendations. The results of this research and the contributions I make to the state of the art in this context are described in greater detail below.
A key contribution of this thesis consists of the results of two studies that shed light on the mental models that users of RSs develop and how these models influence the users’ perception of different system qualities. A key finding of the first, qualitative study is that many mental models tend to follow a procedural structure that can be used, for instance, as a template for designing explanations to promote transparency in RSs. In the second study, which relied on a larger sample and thus allowed quantitative conclusions, this type of procedurally structured mental models was found to correlate with a high perception of system transparency and confidence in the users’ own comprehension of the inner workings of the system. Apart from that, some users seemed to humanize the RS, assigning attributes such as “social”, “organic”, and “empathic”. Such a comprehension of the system was accompanied by higher levels of trust—a finding that may be leveraged by system designers. In general, mental models that deviate greatly from the actual functioning of the system should be corrected so that they do not lead to false expectations on the part of the users and hence to a potentially rejection of recommendations.
A prominent method for improving system transparency and thus the soundness of users’ mental models is to provide textual explanations along with the recommendations. These explanations usually follow a very simple scheme based on similarity—especially in productive environments. To investigate implications of such simple explanations, another experiment
contained in this thesis asked users to explain recommendations in their own words and compared them to explanations automatically generated by a system. The results indicate many benefits of providing more extensive explanations for recommendations, such as increased trust and higher perceived quality of recommendations. Another finding is that many participants, as opposed to the system, provided a broader context of the decision behind their recommendation.
The extent to which textual explanations can provide context for recommendations is limited,though. While a local context is relatively easy to explain textually—e.g. by linking recommendations to a user’s preferences—it is difficult, if not impossible, to provide users with a global context. Such a global context would need to explain the relationship of recommendations to all other items in the dataset from which a RS selects its candidates. Comprehending such an item space at a global scale can unlock several beneficial properties of an RS, such as preventing filter bubbles, fostering creativity, and encouraging a user’s self-development. In this thesis, I argue that to provide such a global context, RSs should go beyond explaining
recommendations textually and better exploit the capabilities of computer systems compared to humans.
Three of the six papers included in this cumulative dissertation explore how methods of InfoVis can be applied to RSs to provide users with a global context of recommendations and how this affects the users’ perception of these systems. One result of these studies is that even simple means of representing the item space can already successfully convey a sense of overview over the item space and provide transparency for recommendations. However, another finding is that artificial maps that distribute all items on a two-dimensional plane according to their similarity are a promising visualization style that can be used to deeply integrate means of interactively controlling recommendations into the visualization of the item space. Such maps have also been found to trigger user excitement, which can also influence the perception of recommendations. In another experiment, we found that a treemap can also be used as a control panel for a RSs. The results of this experiment further underline that treemaps can effectively alert their users to potential biases or blind spots in their preference profile. In this
thesis, I discuss such implications of the InfoVis method to depict the item space of RSs.
Finally, in this thesis I take an elevated perspective on the findings of the papers contained and argue that researchers should consider user-centered aspects of RSs more holistically, for instance, in terms of the deep interconnectedness of perceptual variables. In this sense, I observed that the user experience of an application can influence as how novel recommendations are perceived to be, and that the degree of overview of the item space users are able to obtain can positively affect the perceived quality of recommendations. This thesis represents thus a further argument for looking at RSs from a highly user-centered viewpoint.
Empfehlungssysteme (ES) sind leistungsstarke Instrumente, die den Nutzern proaktiv eine Reihe von personalisierten Artikeln vorschlagen. Dabei zielen sie darauf ab, die Präferenzen ihrer Nutzer vorherzusagen, worin sie als sehr präzise angesehen werden. Neben der algorithmischen Akkuratesse werden in letzter Zeit auch zunehmend nutzerzentrierte Qualitäten bei der Bewertung des Erfolgs von ES berücksichtigt. Beispiele für solche Qualitäten sind die
Transparenz eines RS, die Kontrolle, die Nutzer über ihre Empfehlungen ausüben können, und die Möglichkeit, den Item Space im Kontext von Empfehlungen zu erkunden. Die Forschung zu Aspekten, die sich auf die Mensch-Computer-Interaktion in ES konzentrieren, befindet sich jedoch noch in einem recht frühen Stadium. Das Hauptargument der vorliegenden Arbeit liegt in der ganzheitlicheren Untersuchung und Entwicklung von ES. In diesem Zusammenhang werden die mentalen Modelle, die Nutzer von RS erstellen, exploriert, Erklärungen und ihre Auswirkungen auf nutzerzentrierte Variablen von RS untersucht und Techniken der Informationsvisualisierung (InfoVis) angewandt, damit Nutzer den globalen Kontext ihrer Empfehlungen erkunden können. Die Ergebnisse dieser Forschung und die Beiträge, die ich in diesem Zusammenhang zum Stand der Wissenschaft leiste, werden im Folgenden ausführlicher beschrieben.
Der erste Beitrag dieser Arbeit besteht aus den Ergebnissen zweier Studien, die Aufschluss darüber geben, welche mentalen Modelle die Nutzer von ES entwickeln und wie diese Modelle die Wahrnehmung verschiedener Systemqualitäten durch die Nutzer beeinflussen. Ein zentrales Ergebnis der ersten, qualitativen Studie ist, dass viele mentale Modelle einer eher prozeduralen Struktur zu folgen, was z.B. als Vorlage für die Gestaltung von Erklärungen zur Förderung der Transparenz in ES verwendet werden kann. In der zweiten Studie, die sich auf eine größere Stichprobe stützte und somit quantitative Schlussfolgerungen ermöglichte, wurde festgestellt, dass diese Art von prozedural strukturierten mentalen Modellen mit einer hohen Wahrnehmung der Systemtransparenz und dem Vertrauen in das eigene Verständnis der inneren Funktionsweise des Systems korreliert. Darüber hinaus schienen einige Nutzer das ES zu vermenschlichen, indem sie ihm Attribute wie “sozial”, “organisch” und “empathisch” zuschrieben. Ein solches Verständnis des Systems ging mit einem höheren Maß an Vertrauen einher – eine Erkenntnis, die von Systemdesignern genutzt werden kann. Generell sollten mentale Modelle, die stark von der tatächlichen Funktionsweise des Systems abweichen, korrigiert werden, damit sie nicht in falschen Erwartungen auf Seiten der Nutzer und somit einer möglichen Ablehnung von Empfehlungen resultieren.
Eine beliebte Methode zur Verbesserung der Systemtransparenz und damit der Korrektheit der mentalen Modelle der Benutzer ist die Bereitstellung von textuellen Erklärungen zusammen mit den Empfehlungen. Diese Erklärungen folgen in der Regel einem sehr einfachen Schema, das auf Ähnlichkeit beruht – insbesondere in produktiven Umgebungen. Um die Auswirkungen solcher
einfachen Erklärungen zu untersuchen, wurden in einem weiteren Experiment im Rahmen dieser Arbeit Benutzer gebeten, Empfehlungen in ihren eigenen Worten zu erklären, und diese mit von einem System automatisch generierten Erklärungen verglichen. Die Ergebnisse deuten auf viele Vorteile hin, die sich aus ausführlicheren Erklärungen für Empfehlungen ergeben, wie z.B. einem höheren Vertrauen und einer höheren wahrgenommenen Qualität der Empfehlungen.
Ein weiteres Ergebnis ist, dass viele Teilnehmer, im Gegensatz zum System, einen breiteren Kontext der Entscheidung hinter ihrer Empfehlung lieferten.
Der Umfang, in dem textuelle Erklärungen den Kontext für Empfehlungen liefern können, ist jedoch begrenzt. Während ein lokaler Kontext relativ leicht textuell erklärt werden kann – z.B. durch die Verknüpfung von Empfehlungen mit den Präferenzen eines Nutzers – ist es schwierig, wenn nicht unmöglich, den Nutzern einen globalen Kontext zu vermitteln. Ein solcher globaler Kontext müsste die Beziehung der Empfehlungen zu allen anderen Elementen
in dem Datensatz erklären, aus dem ein ES seine Kandidaten auswählt. Das Verstehen eines solchen Produktraums auf globaler Ebene kann mehrere vorteilhafte Eigenschaften eines ES freischalten, wie z.B. die Vermeidung von Filterblasen, die Förderung von Kreativität und die Ermutigung zur Selbstentwicklung eines Nutzers. In dieser Arbeit argumentiere ich, dass ES,
um einen solchen globalen Kontext zu bieten, über textuelle Erklärungen von Empfehlungen hinausgehen und die Fähigkeiten von Computersystemen im Vergleich zu Menschen besser ausnutzen sollten.
Drei der sechs in dieser kumulativen Dissertation enthaltenen Arbeiten untersuchen, wie Methoden der InfoVis auf ES angewandt werden können, um Nutzern einen globalen Kontext von Empfehlungen zu vermitteln und wie sich dies auf die nutzerzentrierten Qualitäten dieser Systeme auswirkt. Ein Ergebnis dieser Untersuchungen ist, dass bereits einfache Darstellungen
des Produktraums erfolgreich einen Überblick über den Datenraum der Produkte vermitteln und Transparenz f¨ür Empfehlungen schaffen können. Ein weiteres Ergebnis ist jedoch auch, dass künstliche Karten, die alle Artikel auf einer zweidimensionalen Ebene entsprechend ihrer Ähnlichkeit verteilen, ein vielversprechender Visualisierungsstil sind, mit dem sich Mittel zur
interaktiven Steuerung von Empfehlungen tief in die Visualisierung des Produktraums integrieren lassen. Es hat sich auch gezeigt, dass solche Karten bei den Nutzern Begeisterung auslösen können, was ebenfalls die Wahrnehmung von Empfehlungen beeinflussen kann. In einem weiteren Experiment haben wir herausgefunden, dass eine Treemap auch als Bedienfeld für ein ES verwendet werden kann. Die Ergebnisse dieses Experiments unterstreichen, dass Treemaps ihre Nutzer effektiv auf mögliche Verzerrungen oder blinde Flecken in ihrem Präferenzprofil hinweisen können. In dieser Arbeit diskutiere ich solche Implikationen der InfoVis-Methode
zur Darstellung des Produktraums von ES.
Zusammenfassend nehme ich in dieser Arbeit eine erhöhtere Perspektive auf die vorgestellten Ergebnisse ein und argumentiere, dass Forscher nutzerzentrierte Aspekte von ES ganzheitlicher betrachten sollten, zum Beispiel im Hinblick auf die tiefe Verflechung von Wahrnehmungsvariablen. In diesem Sinne habe ich festgestellt, dass die user experience einer Anwendung einen
Einfluss darauf haben kann, als wie neuartig Empfehlungen wahrgenommen werden, und dass der Grad des Überblicks über den Produkttraum, den Benutzer erhalten, die wahrgenommene Qualität der Empfehlungen beeinflussen kann. Die vorliegende Arbeit repräsentiert somit ein weiteres Argument für die Betrachtung von ES aus einer stark nutzerzentrierten Sicht.