Unter der Überschrift „Virtuelles Pubquiz: (k)ein Kahoot! mit Mehrwert“ haben Höfler, Strasser, Buchner und Weißenböck einen Aufsatz verfasst, in dem „das virtuelle Pubquiz  als methodisch-didaktisches Format vorgestellt [wird]“ (Höfler et al. 2020, S. 1).

Der Text ist vor allem wegen seiner Argumentationsstrategie interessant:

Zunächst wird die vielfach geäußerte didaktisch-methodische Kritik an Quiz-Formaten als bloß subjektive Meinungsäußerung diskreditiert, die emotional gefärbt ist und bestenfalls anekdotische Evidenz besitzt (vgl. ebd., S. 10-11). Dann werden internationale empirische Untersuchungen mit unterschiedlichen Forschungsinteressen als wissenschaftlicher Gegenpol zu dieser fragwürdigen Subjektivität aufgebaut (vgl. ebd., S. 11).

Um es an einem Beispiel zu konkretisieren: Auf der einen Seite stehen die „auf subjektiven Wahrnehmungen basierenden Überlegungen“ (ebd., S. 10) von Wampfler (2017, 2020), der sich kritisch mit der „Quizifizierung der Bildung“ auseinandersetzt, auf der anderen Seite die objektiv-empirischen Erkenntnisse der internationalen Lehr- und Lernforschung (z.B. Sabandar et al. 2018), die den „Mehrwert“ von Kahoot! aufzeigen.

Das Duell lautet also: Wampfler (2017) vs. Sabandar et al. (2018). Schiere Meinung gegen harte Empirie. Da Sabandar et al. ganz explizit als wissenschaftliches Bollwerk wider Wampflers Subjektivismen in Stellung gebracht werden, lohnt es sich, die Studie genauer anzusehen.

Pseudo-Wissenschaft

Es stellt sich heraus: Sabandar, Supit und Suryana haben einen Kahoot!-Workshop mit 30 Teilnehmerinnen und Teilnehmern durchgeführt und drei Fragebögen verteilt:

[T]he first questionnaire […] consisted of 4 questions aimed to get information on the game itself and feelings participants can feel during the game; the second one was designed to discuss the advantages and disadvantages of creating Kahoot! […] and the third one was a questionnaire designed to evaluate the ease of using and creating Kahoot! game. (Sabandar et al. 2018, S. 129)

Nach der ersten Quiz-Runde werden folgende Fragen gestellt (vgl. ebd. S. 131):

How fun was it?

Did you learn something?

Do you recommend it?

How do you feel?

Die Antworten auf diese differenzierten Fragen werden in einer komplexen Tabelle zusammengefasst:

100% positive Gefühle. 100% empirisch erhoben. Ein Hoch auf die internationale Lehr- und Lernforschung! Doch Sabandar et al. legen nach. Vor- und Nachteile von Kahoot! lassen sie in einem Padlet sammeln. Die gründliche Auswertung der Daten ergibt z.B. auf der Vorteilsseite (ebd. S. 132):

„Wow! It is so easy and fun to create this game. I will try to make one for my classroom soon.“

„First thing, it’s free. And free is always good.“

Ebenso gewissenhaft werden die genannten Nachteile dokumentiert:

„What if the internet connection is not good? Then we cannot play Kahoot.“

„The downside of this game, is it requires internet.“

Der dritte Fragebogen setzt dieses Feuerwerk an wissenschaftlichem Erkenntnisgewinn schwungvoll fort. Nun wird erhoben, ob die Teilnehmerinnen und Teilnehmer Kahoot! weiterhin nutzen werden, wie einfach es ist, mit diesem Format zu arbeiten, ob es Spaß macht, Kahoot! zu spielen etc. Erneut hilft eine Tabelle, die überraschenden Ergebnisse auf zwei Nachkommastellen genau darzustellen:

100% „Yes!“, 0% „Ugh“: Auf dieser sicheren empirischen Grundlage kommen Sabandar et al. zu einem eindeutigen Fazit:

In conclusion, the results and discussions show that the participants had positive enthusiasm toward the Kahoot! game in the classroom and they also showed their satisfaction with the making and or creating their own game on Kahoot!. 

Tur-Tur-Empirie

In Michael Endes Buch „Jim Knopf und Lukas, der Lokomotivführer“ (1960) taucht der Scheinriese Herr Tur Tur auf. Er wirkt aus der Ferne sehr groß und furchteinflößend, wird aber immer kleiner, je näher man ihm kommt. 

Studien wie die von Sabandar et al. könnte man in Anlehnung an Endes Scheinriesen als Tur-Tur-Empirie bezeichnen: Sie wirken auf den ersten Blick überzeugend und seriös, je näher man sie jedoch betrachtet, desto inhaltsleerer und bedeutungsloser werden sie.

Tur-Tur-Empirie ist ein ernstes Problem.  

Denn die meisten Leserinnen und Leser werden – schon aus Zeitgründen – nicht jede zitierte Studie eigenhändig überprüfen können. Wer „Sabandar et al. 2018“ liest, verlässt sich darauf, dass eine seriöse Studie zitiert wird. Das gilt insbesondere dann, wenn – wie im Fall von Höfler et al. – die Publikation einen Peer-Review-Prozess durchlaufen hat. Dass die Studie von Sabandar et al. nur ein pseudo-wissenschaftlicher Bericht ohne Erkenntniswert ist, bleibt von den Leserinnen und Lesern daher zumeist unbemerkt. 

Man könnte an dieser Stelle einwenden, dass es unfair sei, eine einzige und ohne Zweifel qualitativ mangelhafte Studie herauszugreifen, zu filetieren und daraus ein Problem abzuleiten. Doch das würde aus zwei Gründen zu kurz greifen. 

Erstens ist die Studie von Sabandar et al. nicht das einzige Beispiel für Tur-Tur-Empirie, das im Text zitiert wird (vgl. z.B. Licorish et al. 2018 oder Wichadee/Pattanapichet, 2018). Und zweitens wird die Studie von Sabandar et al. explizit als Gegenpol zu Wampfler (2017) instrumentalisiert, d.h. sie ist von Höfler et al. bewusst ausgewählt und an diese Stelle gesetzt worden. Sie inhaltlich und funktional näher zu betrachten, ist daher nicht unfair, sondern ein Gebot der Vernunft.

Vor diesem Hintergrund gibt es zwei Optionen:

Entweder haben Höfler, Strasser, Buchner und Weißenböck die Tur-Tur-Studie bewusst diskursiv instrumentalisiert, obwohl sie um ihre mangelhafte Qualität wussten. Oder sie haben die mangelhafte Qualität nicht erkannt.

In jedem Fall gilt: Wenn Tur-Tur-Empirie strategisch genutzt wird, indem sie als scheinbar rational-faktenbasierter Gegenpol zur vermeintlichen Subjektivität didaktisch-methodischer Reflexionen stilisiert wird, beschädigt das den wissenschaftlichen Diskurs erheblich. 

Literatur

Höfler, Elke/Strasser, Thomas/Buchner, Josef/Weißenböck, Julia (2020): Virtuelles Pubquiz: (k)ein Kahoot! mit Mehrwert. Medienimpulse, 58 (03). Online-Quelle: https://journals.univie.ac.at/index.php/mp/article/view/3633 (25.09.2020)

Licorish, Sherlock A./Owen, Helen E./Daniel, Ben/George, Jade L. (2018): Students’ perception of Kahoot!’s influence on teaching and learning, in: Research and Practice in Technology Enhanced Learning, 13(9). Online-Quelle: https://doi.org/10.1186/s41039-018-0078-8 (25.09.2020)

Sabandar, Grace N. C./Supit, Noldy R./Suryana, H.T. Effendy (2018): Kahoot!: Bring the Fun Into the Classroom! In: Indonesian Journal of Informatics Education, 2018, 2 (2), S. 127–134, online unter https://doi.org/10.20961/ijie.v2i2.26244 (25.09.2020)

Wampfler, Philippe (2017): Der Kahoot-Sog und die Gefahr der Quizifizierung der digitalen Bildung, in: Forum Neue Medien in der   Lehre   Austria   Magazin,   2017,   S. 15–17.  Online-Quelle:   https://www.fnma.at/content/download/740/2628 (25.09.2020)

Wampfler, Philippe (2020): Kahoot im Deutschunterricht – Einsatzszenarien und eine didaktische Analyse. Online-Quelle: https://journals.ub.uni-koeln.de/index.php/midu/article/view/286 (25.09.2020)

Wichadee, Saovapa/Pattanapichet, Fasawang (2018): Enhancement of performance and motivation through application of digital games in an English language class, in: Teaching English with Technology, 2018, 18 (1), S. 77–92.