1.4 Studie durchführen Schritt für Schritt - iqb-berlin/iqb-berlin.github.io GitHub Wiki

Dieser Text fasst alle Schritte zusammen, die für eine kleinere Studie nötig sind. Es werden dabei nicht nur technische Aspekte angesprochen, sondern es fließen auch Erfahrungen im allgemeinen Testmanagement ein. Voraussetzung für diese Schritte sind die erfolgreichen Installationen der IQB-Anwendungen: IQB-Studio und IQB-Testcenter.

Nachfolgend finden Sie eine grobe Übersicht wie die IQB Instrumentarien zusammenarbeiten:

Die Beteiligten brauchen rechtzeitig klare Anweisungen, wie die Studie vorbereitet, durchgeführt und ausgewertet wird. Hierzu sind zunächst eine Reihe von Fragen zu beantworten und ggf. bestimmte Schritte vorzuziehen. Mitunter müssen die Festlegungen in Dokumenten festgehalten und verschickt werden: allg. Handreichungen, Manual für die Testleitung, Anschreiben für System-Check, Anträge beim Datenschutz, Elternanschreiben, usw.

• Soll ein System-Check durchgeführt werden?
• Wie genau erfolgt die Anmeldung der Testperson (durch die Testaufsicht, oder nur teilweise, oder nur durch Link usw.)?
• Soll der Testablauf einer Testgruppe beobachtet oder gesteuert werden (Testleitungskonsole)?
• Erhalten die Schulen eine Rückmeldung? Wie sieht diese aus?
• Welche Zusatzmaterialien werden vor Ort benötigt: Taschenrechner, Lineal, Notizpapier, Kopfhörer?
• Stehen für die Durchführung Testleiterinnen oder Testleiter oder zumindest Coaches zur Verfügung?
• Soll es eine Hotline geben? Für welchen Zeitraum?
• Wie hoch ist das Risiko für technische Probleme? Soll jemand aus der Systemadministration oder Programmierung ständig greifbar sein?
• Wie lautet die genaue Internet-Adresse für die Testung bzw. Befragung?

• Zugangsdaten erhalten
• Neuen Arbeitsbereich (Workspace) anlegen lassen
• Testablauf planen: Welche Units, welche Zwischenseiten?
• Entscheidungen treffen: Welcher Player, welcher Editor?, ggf. in das IQB-Studio hochladen lassen
• ggf. Audios aufbereiten: Größe reduzieren, Exif-Metadaten eintragen
• ggf. Grafikdateien aufbereiten (Farben prüfen, Auflösung bei Zoom)
• Konventionen festlegen (Einrückung, Schriftart/-größe, Zeilenabstand, Formulierung bei Instruktionen, Benennung der Units usw.).

• Trello, CryptPad, Kanban o. ä. einrichten, um für jede Unit den aktuellen Status zu dokumentieren
• Workflow definieren: Wer macht ersten Entwurf, wer schaut drüber, wer prüft psychometrisch, wer prüft fachdidaktisch usw.
• Schulungen und Austausch der Autorinnen und Autoren untereinander planen

• Gute Kurznamen für Units wählen, sprechende Titel
• Voransicht nutzen, um Layout und Verhalten zu prüfen
• Erzeugte IDs der Interaktionselemente prüfen, um die Antwortverarbeitung zu steuern (z. B. über Excel- oder CryptPad-Tabelle)
• Beteiligte sollten sich regelmäßig ihre Units zeigen und Erfahrungen austauschen
• frühzeitig einige Units in das IQB-Testcenter übertragen, um deren Verhalten zu überprüfen
• Units regelmäßig als Dateien exportieren als Backup

• Units exportieren mit XML und Voud
• Der Export im Studio erlaubt es, eine Booklet-XML und eine Testtaker-XML zu erzeugen, die zu den exportierten Units passt. Diese Dateien sind allerdings nur ein Vorschlag und können nachträglich bearbeitet werden.

• Zugangsdaten erhalten
• Neuen Arbeitsbereich (Workspace) anlegen lassen
• System-Check ggf. einrichten und freigeben

• Hier ist Reihenfolge der Dateien wichtig, da eine Prüfung der Abhängigkeiten der Dateien untereinander erfolgt und ggf. das Hochladen abgelehnt wird.
• Eine xlsx-Datei für die ict-Toolbox kann helfen, das Testdesign transparent zu planen: Units, Blöcke, Testhefte sind hier einzutragen und dann die daraus erzeugten XML-Dateien hochzuladen.
• Bitte diese Hinweise zu Logins beachten.

ℹ️ Sollten Units im Testheft mehrfach auftauchen (z. B. Fragen zur Motivation) sind diese mit dem zusätzlichen Attribut alias und einem entsprechenden Wert zu unterscheiden.

• Die XML zu Testteilnehmer*innen (die sog. Testtaker.xml) ersteinmal nur für Review-Modus anlegen und für alle Verantwortlichen der Studie hochladen.
• Nach jeder Review-Schleife die Kommentare aus dem Testcenter-Admin-Portal herunterladen und auswerten, Änderungen an den Units vornehmen, neu exportieren und NUR DIE neuen VOUD-Dateien ins Testcenter hochladen (sonst überschreibt man die XML-Änderungen).
• Auch Logins im hot-restart-Modus anlegen, Real-Time-Tests durchführen und sorgfältig auswerten

• Logins für Durchführung hochladen, ggf. Zeitfenster gut dokumentieren
• täglich Antworten und Logs herunterladen und speichern
• Probeauswertungen vornehmen: Nur so erkennt man früh, wenn bestimmmte Variablen nicht ankommen
• Test auswerten, auch erste Testprotokolle analysieren

• Daten wie vorgesehen auswerten, Berichte schreiben, Rückmeldung an Schulen geben
• Evaluieren: Dabei hilft die Vorstellung, dass man die gleiche Studie nächste Woche nochmal durchführen soll

---