000K utf8 1100 2023$c2023-11-19 1500 eng 2050 urn:nbn:de:hbz:465-20240807-093633-5 2051 10.21240/mpaed/54/2023.11.19.X 3000 Buntins, Katja 3010 Mulders, Miriam 3010 Schröder, Nadine 4000 Cognitive Biases in Screening Processes – Search Strategies in Educational Technology Research$dA Systematic Review on Learning with Virtual Reality [Buntins, Katja] 4000 Kognitive Prozesse in Screening-Prozessen$dSuchstrategien in der Bildungstechnologieforschung [Buntins, Katja] 4209 The aim of this article is to empirically investigate the advantages and disadvantages of different search strategies in synthesizing research papers that use Virtual Reality (VR) educational technology. The aim is to identify cognitive biases on the part of the reviewers through different concrete searches. Using two search strategies, the study identifies the extremes between an AND search that finds as few irrelevant studies as possible but overlooks relevant ones, and an OR search that searches as broadly as possible but picks up many irrelevant studies. The article aims to show how systematic searches in educational research should be designed to adequately address the typical challenges of systematic analyses (e.g., recall-precision problem, cognitive load). The search strategies were developed based on a Google Scholar search for existing systematic reviews on VR. Here, the two search strategies differed only in terms of their linkage between a technological (VR) and a pedagogical search term. The two elements were linked with either an AND or an OR. The search items were screened in a two-person cross design and evaluated on different measures of precision and recall. There was no evidence that the more comprehensive search (OR) is superior to the narrower search (AND), but slight evidence of cognitive biases in the screening or search process in the more comprehensive search (OR). These results should be further evaluated, investigated, and, above all, replicated in further studies. 4209 Ziel dieser Studie ist es, die Vor- und Nachteile verschiedener Suchstrategien bei der Syn-these von Forschungsarbeiten, die die Bildungstechnologie der virtuellen Realität (VR) nutzen, empirisch zu untersuchen. Hierbei ist das Ziel, kognitive Verzerrungen seitens der Reviewer:innen durch verschieden konkrete Suchen zu identifizieren. Mittels zweier Suchstrategien sollen die Extrema zwischen einer Suche (AND), die möglichst wenig irrele-vante Studien findet, aber dafür auch relevante übersieht und einer Suche (OR), die mög-lichst breit sucht, aber hierbei viele irrelevante aufnimmt, dargestellt werden. Die Studie will aufzeigen, wie systematische Suchen in der Bildungsforschung gestaltet sein sollten, um die typischen Herausforderungen systematischer Analysen (z.B. Recall-Precision-Pro-blem, kognitive Belastung) adäquat zu berücksichtigen. Die Suchstrategien wurden auf der Grundlage einer vorangegangenen Google Scholar-Suche nach bereits durchgeführ-ten systematischen Übersichten zur VR entwickelt. Hierbei unterschieden sich die zwei verschiedenen Suchstrategien nur in Bezug auf ihre Verknüpfung zwischen einem techno-logischem (VR) und einem pädagogischen Suchterm. Die beiden Elemente wurden entwe-der mit einer AND oder einer OR Verbindung verknüpft. Die Suchbeitrage wurden in einem Kreuzdesign von zwei Personen gescreent und in Bezug auf verschiedene Präzisions- und Recallmaße evaluiert. Es fanden sich keine Hinweise dafür, dass die umfangreichere Su-che (OR) der engeren Suche (AND) überlegen ist und jedoch leichte Hinweise auf kognitive Verzerrungen im Screening bzw. Suchprozess bei der umfangreicheren Suche (OR). Diese sollten in weiteren Studien weiter evaluiert, untersucht und vor allem repliziert werden. 4950 https://doi.org/10.21240/mpaed/54/2023.11.19.X$xR$3Volltext$534 4950 https://nbn-resolving.org/urn:nbn:de:hbz:465-20240807-093633-5$xR$3Volltext$534 4961 https://duepublico2.uni-due.de/receive/duepublico_mods_00081738 5051 370 5550 Suchstrategie 5550 Systematic Review 5550 Virtuelle Realität