Vergleich psychologischer Usability-Evaluationsmethoden am Beispiel einer Bibliothekswebsite

Das Internet besitzt für viele eine große Bedeutung für deren Alltag und ihr Berufsleben. Ziel einer Website ist letztendlich die Verbreitung von Informationen. Je größer das Angebot an ähnlichen Websites, desto schneller werden die Nutzer die Seite wieder verlassen, wenn diese ihren Erwartungen und Ansprüchen nicht entsprechen. Um erfolgreiche Websites gestalten zu können sind zum einen psychologische Kenntnisse zu nutzerfreundlichen Gestaltungskriterien und zum anderen geeignete Instrumente zur Messung der Güte einer Website notwendig. Ziel dieser Arbeit ist, verschiedene psychologische Evaluationsinstrumente zur Erfassung der Güte einer Website miteinander zu vergleichen, um die Stärken und Schwächen der einzelnen Methoden beurteilen zu können. Für diesen Methodenvergleich sind fünf sehr unterschiedliche Methoden herangezogen worden: eine Experteninspektionsmethode (Heuristischer Walkthrough), eine quantitative und eine qualitative Nutzerbefragung und Bewertungen mithilfe physiologischer und okulomotorischer Messverfahren bei Personen, während diese die Website benutzen. Die quantitative Befragung unterscheidet explizit zwischen Gestaltungskriterien und Befindlichkeit bei der Arbeit mit der Website. Bei den psychophysiologischen Parametern handelt es sich um Herzschlagfrequenz, Hautleitfähigkeitsniveau, Hautleitfähigkeitsreaktion, Anzahl der Hautleitfähigkeitsreaktionen pro Minute und Muskelaktivität. Die okulomotorische Evaluation zieht Sakkaden- und Fixationsfrequenz, Sakkadenweite, Sakkadengeschwindigkeit und Fixationsdauer heran. Diese Methoden sind an einer Bibliothekswebsite angewandt worden. Nach der Überarbeitung ist die Website nochmals mithilfe der fünf Evaluationsmethoden bewertet wordem um nachzuweisen, ob Veränderungen der Website auch Veränderungen der Bewertung durch die einzelnen Evaluationsmethoden widerspiegeln. Um Lern- und Zeiteffekte nachzuweisen, haben zwei Kontrollgruppen jeweils die originale und die verbesserte Bibliothekswebsite bewertet. Die fünf Evaluationsmethoden wurden anhand der Dimensionen Anzahl gefundener Fehler, Kosten der Evaluation, Effizienz der Evaluationsmethode und der Sensitivität hinsichtlich der durchgeführten Veränderungen verglichen. Bei der Anzahl der gefundenen Fehler wird zwischen direkten und indirekten Verbesserungshinweisen unterschieden. Direkte Verbesserungshinweise können sofort umgesetzt werden im Gegensatz zu indirekten Verbesserungshinweisen, bei denen der Hinweis erst in einen konkreten Überarbeitungsvorschlag übertragen werden muss, wie dies z.B. bei der physiologischen Bewertung. Die Experteninspektion bringt die meisten direkten Verbesserungsvorschläge. Die qualitative Befragung bringt ca. halb so viele direkte Verbesserungs¬vorschläge. Die meisten indirekten Verbesserungsvorschläge werden durch die quantitative Befragung und die okulomotorische Evaluation aufgezeigt. In Bezug auf die Durchführungskosten stellt die physiologische Evaluation die teuerste Evaluationsmethode und die Experteninspektion die günstigste Evaluationsmethode dar. Zugleich stellt die Experteninspektion auch die effizienteste Evaluationsmethode dar. Expertenevaluation, Befragung zur Gestaltung, qualitative Befragung und physiologische Evaluation zeigen in ihren Ergebnissen in Bezug auf die Veränderungseffekte deutliche Übereinstimmungen. Genauso zeigen quantitative Befragung zur Befindlichkeit und okulomotorische Evaluation recht gute Parallelen. Auffallend ist zudem, dass mit der quantitativen Befragung zur Gestaltung und der physiologischen Evaluation neben unveränderten Bewertungen ausschließlich Verbesserungen aufgezeigt werden konnten und mit der Befragung zur Befindlichkeit und der okulomotorischen Evaluation neben unveränderten Bewertungen ausschließlich Verschlechterungen. Abschließend werden die Besonderheiten der Ergebnisse der einzelnen Evaluationsmethoden und das Vorgehen beim Vergleich der Evaluationsmethoden und der Untersuchungsaufbau kritisch diskutiert.

For many people the internet has a great importance for their ervery day and their professional life. The target of a website is the spreading of information. The bigger the offer of similar websites, the faster the user will leave a site, if it doesn't meet his expectations and demands. In order to design a successful website you need psychological knowledge about user-friendly design on one hand and appropriate tools to measure the quality of a website on the other hand. The purpose of this work is to compare different psychological evaluation tools for the inclusion of the quality of a website in order to be able to rate the advantages and disadvantages of the particular methods. Five very different methods have been used for this comparison: an expert inspection (heuristic walkthrough), user questionnaires for quantity and quality and evaluation by means of physiological and oculomotor measurement methods for persons while they were using the website. The quantitative questionnaire differenciates explicitly between design and mental state while working with the website. The psychophysiological parameter are heart rate, skin conductance level, skin conductance response, number of skin conductance responses per minute and muscle activity. The oculomotor evaluation is based on eye movement rate and fixation rate, saccadic amplitude, saccadic velocity and fixation duration. These methods have been applied to a library website. After the rivision the website has again been evaluated by means of the five evaluation methods in order to proof wether a changement of the website also reflect a changement of the evaluation by the different evaluation methods. Two control groups have evaluated both the original and the improved website to show learning and time effects. The five evaluation methods were compared by using the dimensions number of mistakes found, costs of the evaluation, efficiency of the evaluation method and sensitivity regarding the changements realized. The number of mistakes found is devided in direct and indirect improvement advices. Direct improvement advices can be transformed at once, while indirect advices have to be transferred into a precise revision proposal as it is the case for example for the physiological evaluation. The expert inspection bears the most direct improvement advices. The qualitative questionnaire bears about half as much direct improvement advices. The most indirect improvement advices are shown by the quantitative questionnaire and the oculomotor evaluation. With regard to the costs the physiological evaluation is the most expensive and the expert inspection the cheapest method. At the same time the expert inspection is also the most efficient evaluation method. Expert evaluation, questionnaires concerning the design, qualitative questionnaire and physiological evaluation show significant conformity concerning the changement effects. Qualitative questionnaires concerning the mental state and oculomotor evaluation also show good parallels. It is also significant, that with the quantitative questionnaire concerning the design and the physiological evaluation besides unchanged evaluations only improvements and with the questionnaire concerning the mental state and the oculomotor evaluation besides unchanged evaluations only deteriorations could be made evident.Finally particularities of the results of the different evaluation methods and the procedure of comparing the evaluation methods as well as the arrangement of the research is discussed critically.

Zitieren

Zitierform:
Zitierform konnte nicht geladen werden.

Rechte

Nutzung und Vervielfältigung:
Alle Rechte vorbehalten