An empirical investigation on user understanding of algorithms
When browsing through news or social feeds, users are confronted with algorithms that select and curate online content for them. To make informed decisions about using and interacting with these algorithms, users need to understand their inner workings. To this end, explanations intend to provide algorithmic transparency by familiarizing users with algorithms. The main argument of this thesis is that these explanations need to teach users new information to equip them for making informed decisions. In other words, explanations need to impact user understanding of algorithms.
Building on this argument, the thesis contributes to a conceptualization of user understanding by specifying underlying concepts. For this, study 1 separates the belief of understanding (which was typically studied so far) from genuine user understanding and studied the distinct explanations effects on the two constructs. Results of study 1 showed that explanations could lead to an overestimation of user understanding. This overestimation might deceive users in their capability to make informed decisions. Hence, the study highlights the relevance of genuine user understanding of algorithms and motivates further investigation of it.
As a response to the lack of theoretical frameworks on (genuine) user understanding of algorithms, the thesis subsequently explored it in its very nature. First, two qualitative studies (studies 2 and 3) characterized user understanding of algorithms in two different domains (news curation and movie recommender). Overcoming the sample size limitations of qualitative studies, study 4 applied a card-sorting-based method to assess user understanding of recommender systems in a larger sample. The study allowed a systematic analysis of user understanding and their relations to system perceptions, including trust, transparency, and control. Finally, study 5 identified the shared understanding between expert and lay users for algorithmic news and social feed curation, which in turn, can inform what elements of algorithms need to be communicated to lay users.
The observations made in this extensive investigation were synthesized in a conceptual framework organizing user understanding of algorithms into conceptual knowledge and qualities of understanding. Conceptual knowledge describes factual knowledge of data, processes, and artifacts. This conceptual knowledge can take different qualities, including a metaphorical, technical-procedural, or concept-based understanding. The results further
present systematic relationships between the qualities of understanding and system perceptions.
In conclusion, the conceptualization of user understanding in this thesis has theoretical and practical implications. The thesis discusses theoretical assumptions and derives testable hypotheses on the relationship of qualities of understanding and system perception. As practical outcomes, the conceptual framework informs questionnaires and tests for the assessment of user understanding. Finally, the thesis proposes three design guidelines for explanations that consider user understanding of algorithms.
Nutzer begegnen Algorithmen in ihrem Alltag, wenn sie sich auf sozialen Medien oder anderen personalisierten Online-Services bewegen. Algorithmen filtern die Inhalte für Nutzer und haben so großen Einfluss darauf, was Nutzer konsumieren. Um verantwortungsvoll und informiert mit solchen Algorithmen umgehen zu können, benötigen Nutzer ein fundiertes Verständnis über deren Funktionsweise. Bisherige Forschungsansätze befassten sich hierzu mit Erklärungen, die Nutzer über die Funktionsweise von Algorithmen informieren vordergründig mit dem Ziel die Transparenz von Algorithmen zu erhöhen. Obwohl dies wichtig erscheint, bleibt jedoch weitgehend unerforscht, inwiefern solche Erklärungen auch das Nutzerverständnis erhöhen.
Um diese Forschungslücke zu schließen, setzt sich die vorliegende Arbeit mit einer Konzeptualisierung des Nutzerverständnisses von Algorithmen auseinander. Dafür wurde zunächst in einem Online-Experiment zwischen dem selbst wahrgenommenen und tatsächlichem Nutzerverständnis unterschieden und untersucht, inwiefern sich Erklärungen auf die jeweiligen Konstrukte auswirken. Die Befunde zeigten, dass Nutzer, die eine Erklärung erhielten, ihr eigenes Nutzerverständnis überschätzten. Somit verfehlen Erklärungen unter Umständen das Ziel, das Nutzerverständnis tatsächlich zu verbessern. Die erste Studie zeigt demnach auf, wie wichtig eine Trennung zwischen wahrgenommenen und tatsächlichem Nutzerverständnis ist und motiviert weitere Forschung zur Konzeptualisierung des tatsächlichen Nutzerverständnisses.
Um dem nachzugehen, wurden in zwei qualitativen Studien (Studien 2 und 3) das Nutzerverständnis von spezifischen Algorithmen (Nachrichtenkuratierung und Filmempfehlung) exploriert. Da qualitative Studien nur die Untersuchung von kleinen Stichproben erlauben, wurde in Studie 4 mit Hilfe einer card-sorting-basierten Methode das Nutzerverständnis in einer wesentlich umfänglicheren Stichprobe erhoben. Dies ermöglichte eine systematische Analyse des Nutzerverständnisses sowie dessen Zusammenhänge mit Systemwahrnehmungen (Transparenz-, Vertrauens-, oder Kontrollwahrnehmungen). In einer fünften Studie wurde zudem das von Experten und Laien geteilte Nutzerverständnis erfasst. Die Ergebnisse geben darüber Aufschluss, wie Erklärungen verständlicher gestaltet werden könnten.
Die Befunde der Untersuchungen wurden in einem conceptual framework zusammengefasst, welches das Nutzerverständnis von Algorithmen in conceptual knowledge,
dem Faktenwissen über Algorithmen, sowie qualities of understanding, der Form des Nutzerverständnisses, einteilt. Hierzu zählen beispielsweise ein metaphorisches, technisch-prozedurales oder konzept-basiertes Nutzerverständnis. Es konnte gezeigt werden, dass diese qualities of understanding in enger Verbindung mit den Systemwahrnehmungen, wie der Transparenz-, Kontroll-, und Vertrauenswahrnehmungen, stehen.
Von der vorliegenden Arbeit lassen sich sowohl theoretische als auch praktische Implikationen ableiten: Mit Rückgriff auf die Konzeptualisierung des Nutzerverständnis von Algorithmen werden konkrete Hypothesen abgeleitet, die in zukünftigen Studien überprüft werden können. Weiterhin vereinfacht die Konzeptualisierung des Nutzerverständnisses die Erstellung von Fragebögen und Wissenstests, die das Nutzerverständnis von Algorithmen zuverlässig erfassen können. Abschließend werden drei Leitlinien für Erklärungen aufgestellt, die das Nutzerverständnis von Algorithmen einbeziehen.