Improving Collaboration in Online Learning Groups via Automated Prompting
The rapidly developing field of e-learning still faces many challenges such as high dropout rates, continuously promoting the need for better understanding of the processes beyond it. Group work is hailed as a solution of typical participation issues, however it is also prone to them too and can easily turn to be a rather frustrating element. To unfold its potential and to be satisfying, group work needs to function properly but barely does by default. Further assistance in terms of nudging others to do their share of the work has demanding conflict potential among group members, thus it should be undertaken by technology. However, the perception of automated support can vary depending on its characteristics and is not systematically examined with regard to the nudging phenomenon so far.
Thus, re-examining the media equation theory, this dissertation investigated how support and especially nudging should be provided to be most beneficial and improve collaboration in terms of participation and satisfaction. Specifically, this work focused on automated prompting – the significance of its source (human vs. system) as well as on its determining characteristics such as appearance and communication manner.
To this aim, three empirical studies including mixed methodological approaches were conducted. The foundations were laid with an online study which investigated the relevance of the prompting source by comparing automated and human prompting, their past proficiency and publicness as a basic message characteristic (Study 1). Results of the online experiment with a between-subject design 2 (prompt publicness: public vs. private) x 2 (source: system vs. human) (x 2 (only human’s past proficiency: high vs. low)) showed that public prompts were assessed as more persuasive but also more negative. Moreover, compared to messages from average and low proficient team members, messages from an automated system were assessed as more persuasive and positive but also came along with a higher feeling of guilt for the negative feedback and (potentially linked) with a higher negative emotional affect.
Furthermore, the characteristics of an automated prompting system were addressed within two field studies, combining behavioral and survey data. First, personification of an automated system with the aid of an appearance and a name was investigated (Study 2). The one-factorial between-subjects design in a field study within 6 weeks (abstract vs. personified system with appearance and name) revealed more persuasiveness and satisfaction with an abstract system and that the equal participation predicted higher satisfaction with group work independent of the conditions. Nevertheless, the personification had also a positive effect on satisfaction explicitly when mediated by equal participation.
The third study focused on the communication manner of the more beneficial, abstract system in terms of severity. Therefore, within 4 weeks in a field study by means of a between-subjects design (2 no severity vs. severity (x 2 transparency only of the severe system: high vs. low)), negative consequences for inactive members were variously signaled through vicarious punishment. The transparency of the system was varied to additionally investigate its legitimizing role. Results did not show an effect on contribution as expected – neither with a severe nor with a transparent system, although the latter one induced more fear and higher tendency to imitate inactivity. Additionally, equality of participation was worse both with severity and transparency but changed positively over time with the severe, non-transparent system. Lastly, yet importantly, equal participation once again predicted the higher satisfaction with group work over all conditions.
Having re-examined the media equation theory in terms of nudging in online groups provided by humans and technological entities and having investigated the social-psychological factors related to prompting, this dissertation broadens current knowledge about the nudging phenomenon and its determining characteristics especially within online group work. This systematical investigation of an automated prompting system over time and considering both behavioral and survey-based outcomes, lays important foundations for the endeavor to prevent dropout in e-learning.
Der sich dynamisch entwickelnde Bereich des E-Learning steht noch immer vor vielen Herausforderungen, wie zum Beispiel hohe Abbruchquoten in Online-Kursen, wodurch die Notwendigkeit eines besseren Verständnisses der zugrundeliegenden Prozesse steigt. Obwohl Gruppenarbeit als vielversprechende Lösung typischer Partizipationsprobleme angesehen wird, ist sie ebenso empfänglich dafür und kann somit auch frustrierend sein. Um ihr Potenzial zu entfalten und für Lernende zufriedenstellend zu sein, muss Gruppenarbeit richtig funktionieren, dies gelingt jedoch selten automatisch ohne Weiteres. Zusätzliche Unterstützung im Sinne eines „Anstoßes“ (Nudging), um andere dazu zu bringen, ihren Teil der Arbeit zu erledigen, bringt ein hohes Konfliktpotenzial mit sich, wenn es unter den Gruppenmitgliedern erledigt wird. Daher sollte dieser „Anstoß“ mithilfe einer Technologie übernommen werden. Die Wahrnehmung einer solchen automatisierten Unterstützung kann jedoch je nach ihren Merkmalen variieren und wurde bisher nicht systematisch untersucht.
Daher wurde in dieser Dissertation, die die Media Equation Theory als grundlegende Theorie heranzog, untersucht, wie technische Unterstützung und insbesondere das "Nudging" am nützlichsten sind, um die Zusammenarbeit zwischen Gruppenmitgliedern im Hinblick auf ihre Beteiligung und Zufriedenheit verbessern zu können. Konkret konzentrierte sich diese Arbeit auf automatisiertes „Prompting“ (das Senden von auffordernden Nachrichten), die Bedeutung der Quelle der Prompts (Mensch vs. System) sowie auf die Merkmale Aussehen und Kommunikationsart.
Zu diesem Zweck wurden drei empirische Studien mit verschiedenen methodischen Ansätzen durchgeführt. Der Grundstein wurde mit einem Online-Experiment gelegt, das die Relevanz der Promptquelle durch den Vergleich von einer automatisierten versus menschlichen Quelle sowie das bisherige Engagement der menschlichen Promptsender und die Öffentlichkeit des Prompts als grundlegendes Merkmal der Botschaft analysierte (Studie 1). Die Ergebnisse des 2x2(x2) Between-Subjects Online-Experiments (Prompt: öffentlich vs. privat, Quelle: System vs. Mensch, Engagement ausschließlich des menschlichen Promptsenders: hoch vs. niedrig) zeigten, dass die öffentlichen Prompts als überzeugender, aber auch als negativer bewertet wurden. Darüber hinaus wurden die automatisierten Aufforderungsnachrichten vom System im Vergleich zu Aufforderungsnachrichten von durchschnittlichen und wenig engagierten Teammitgliedern als überzeugender und positiver wahrgenommen, aber gleichzeitig auch mit höherem Schuldgefühl für den Erhalt des negativen Feedbacks und einem höheren negativen emotionalen Affekt bewertet, jedoch als selbst- und nicht fremdverschuldet.
Weiterhin wurden Merkmale eines automatisierten Prompting-Systems im Rahmen von zwei Feldstudien untersucht, bei denen Verhaltens- und Umfragedaten erhoben und evaluiert wurden. Zunächst wurde die Personifizierung des automatisierten Systems mit Hilfe eines Erscheinungsbildes und eines Namens umgesetzt und untersucht (Studie 2). Die erste Feldstudie wurde anhand eines einfaktoriellen Between-Subjects Designs in einem Zeitraum von 6 Wochen durchgeführt (abstraktes vs. personifiziertes System mit Erscheinungsbild und Namen) und zeigte mehr Überzeugungskraft und Zufriedenheit ausgehend von einem abstrakten System. Die Personifizierung hatte zudem einen positiven Effekt auf die Zufriedenheit, ausschließlich wenn sie durch die gleichmäßige Beteiligung aller Gruppenmitglieder mediiert wurde. Über die experimentellen Bedingungen hinweg, sagte die gleichmäßigere Beteiligung eine höhere Zufriedenheit mit der Gruppenarbeit voraus.
Die dritte Studie konzentrierte sich auf das vorteilhaftere, abstrakte System und seine Kommunikationsart hinsichtlich der Strenge. Hierzu wurde in einer 4-wöchigen Feldstudie getestet, wie sich das auswirkt, wenn negative Konsequenzen für die Inaktivität anderer angekündigt werden im Sinne einer stellvertretenden Bestrafung. Zu diesem Zweck wurden die Strenge der Prompts und zusätzlich die Transparenz (d.h. das Wissen über die Funktionsweise) des Systems als legitimierenden Faktor in einem 2(x2) Between-Subjects Design variiert (2 keine Strenge vs. Strenge (x 2 Transparenz ausschließlich des strengen Systems: hoch vs. niedrig)). Die Ergebnisse zeigten entgegen der Erwartung keinen Effekt auf die Beitragsmenge der Gruppenmitglieder – weder bei einem strengen noch bei einem strengen und transparenten System, obwohl letzteres mehr Angst und eine höhere Tendenz zur Imitation von Inaktivität hervorrief. Darüber hinaus war die Gleichmäßigkeit der Beteiligung sowohl bei der Strenge als auch bei der Transparenz geringer als ohne, änderte sich aber im Laufe der Zeit mit dem strengen, intransparenten System positiv. Des Weiteren sagte die gelichmäßige Beteiligung erneut die höhere Zufriedenheit mit der Gruppenarbeit übergreifend voraus.
Unter Bezugnahme auf die Media Equation Theory und anhand der Untersuchung sozialpsychologischer Faktoren, die mit dem Prompting zusammenhängen, erweitert die vorliegende Dissertation das aktuelle Wissen über das Phänomen des Nudging und seine bestimmenden Charakteristika, insbesondere innerhalb der Online-Gruppenarbeit. Diese systematische Untersuchung eines automatisierten Prompting-Systems im Zeitablauf und die Berücksichtigung von verhaltens- und umfragebasierten Ergebnissen legen wichtige Grundlagen für das Bestreben, negative E-Learning-Aspekte wie Abbruchquoten zu verhindern und Online-Gruppenarbeit im Umkehrschluss effizient und nutzerfreundlich zu gestalten.