Methodological Approaches to Evidence Synthesis in Educational Technology : A Tertiary Systematic Mapping Review
Evidence synthesis methods are becoming increasingly popular in the social sciences, particularly in the field of educational technology, where secondary research has grown exponentially in recent years. Although review studies provide insight into these methods, questions have been raised about their methodological rigor and transparency. This tertiary review analyzed transparency and reproducibility in the reporting of evidence synthesis methods in the field of educational technology across different types of reviews indexed in the Web of Science, ERIC, Scopus, Google Scholar, Dialnet, and FIS. Reviews were included if they were published in English, German, or Spanish; if they synthesized the use of educational technology within formal teaching and learning settings; and if they contained a methods section. A sample of 446 evidence syntheses were included for dataextraction and synthesis in EPPI Reviewer, with systematic reviews, meta-analyses, and literature reviews selected for deeper analysis as the most widely used review types in the corpus. Indicators of replicability at critical stages of the review were identified and analyzed in the sample by review type (research question, search strategy, data extraction, and synthesis). The results show significant room for improvement of methodological transparency in data extraction and synthesis, with certain types of reviews showing lower scores than others on some indicators. The article concludes with recommendations for improving the methodological transparency and rigor of evidence synthesis in the field of educational technology.
Methoden der Evidenzsynthese werden in den Sozialwissenschaften immer beliebter, auch im Bereich der Bildungstechnologie, wo die Menge der durchgeführten Sekundärforschung exponentiell zugenommen hat. Während Übersichten einen wertvollen Einblick in den Stand des Feldes geben können, wurden Fragen zur methodischen Strenge und Transparenz aufgeworfen. In dieser tertiären Übersichtsarbeit wird daher untersucht, wie transparent und reproduzierbar die Berichterstattung über die Methoden der Evidenzsynthese im Bereich der Bildungstechnologie in den verschiedenen Arten von Übersichtsarbeiten ist. Zu diesem Zweck wurde eine kritische Analyse einer Stichprobe von 446 Evidenzsynthesen in drei Sprachen (Englisch, Deutsch und Spanisch) durchgeführt. Systematic Review, Meta-Analyse und Literaturreview als die am häufigsten verwendeten Review-Typen wurden für die weitere Analyse. In der Stichprobe wurden Indikatoren für die Replizierbarkeit in kritischen Phasen der Überprüfung identifiziert und nach Überprüfungstyp (Forschungsfrage, Suchstrategie, Datenextraktion und Synthese) analysiert. Die Ergebnisse zeigen, dass die methodische Transparenz bei der Datenextraktion und -synthese erheblich verbessert werden kann, wobei bestimmte Arten von Übersichten bei den Indikatoren schlechter abschneiden als andere. Es werden Empfehlungen zur Verbesserung der methodischen Transparenz und Strenge der Evidenzsynthese im Bereich der Bildungstechnologie gegeben.
Vorschau
Zitieren
Zitierform:
Zitierform konnte nicht geladen werden.
Rechte
Nutzung und Vervielfältigung:
Dieses Werk kann unter einerCreative Commons Namensnennung 4.0 Lizenz (CC BY 4.0)
genutzt werden.