2.7 System Check - iqb-berlin/iqb-berlin.github.io GitHub Wiki

Es ist bitter, wenn man erst während der Studiendurchführung bemerkt, dass die Hardware oder die Software-Ausstattung für einen Online-Test nicht geeignet ist. Der System-Check ist ein Weg vorab diese Eignung zu prüfen. Man kann natürlich nicht alle Probleme erkennen und vielleicht hat man für bestimmte Probleme auch keine Lösung parat, aber man kann die Ausfall-/ und damit die Frustrate deutlich senken.

Bzgl. Personen-, Aufgaben- und Bookletanzahl ist jede Testung anders und stellt daher auch unterschiedliche Anforderungen an die testdurchführenden IT-Systeme. Die Testleitung muss daher die Anforderungen an das testdurchführende IT-System individuell für ihre Testung ermitteln. Ist bspw. eine Testung mit 10 Schüler*innen und einem Booklet mit jeweils 10 Units geplant, stellt dies sicherlich eine geringere Anforderung an die IT-Systeme dar, als eine Testung mit 100 Schüler*innen und mehreren Booklets. In diesem Zusammenhang dürfte die Bandbreite der Internetverbindung eine der wichtigsten Kriterien bzgl. Durchführbarkeit einer Testung sein. Aber auch Betriebssystem, Browserversion und Bildschirmauflösung stellen wichtige Kriterien dar.

Es sollten also seitens der Testleitung vor der Testdurchführung Überlegungen bzgl. der Anforderungen an die eigene Testung angestellt werden.

❗ Der System-Check kann keine Aussage darüber machen, ob das gewählte IT-System geeignet ist oder nicht. Der System-Check ermittelt nur den Ist-Zustand des Systems. Mithilfe dieser Daten müssen Sie entscheiden, ob eine Eignung vorliegt oder nicht.

Ist das Betriebssystem und der Browser für die Testung geeignet?

Diese Frage hängt weniger von Ihrem Test, als vielmehr von der eigentlichen Anwendung: Testcenter ab. Daher finden Sie diese Informationen auch in diesem Wiki unterSystemanforderungen.

Handelt es sich um einen PC oder vielleicht um ein Tablet?

Diese Frage ist eigentlich nur dann interessant, wenn die Aufgaben zuvor im Studio nicht dynamisch entworfen wurden. Dann verhalten sich die Aufgabeninhalte nicht responsiv und werden bspw. auf einem Tablet eventuell nicht so dargestellt wie ursprünglich angedacht.

Wie hoch ist die Auflösung des Wiedergabebildschirms?

Diese Frage spielt eine wichtige Rolle bzgl. der Darstellung und Lesbarkeit Ihrer Aufgaben. Mittels System-Check ist es möglich als kritisch eingestufte Aufgabe hinsichtlich der Lesbarkeit während des System-Checks abzuspielen. Während des System-Checks können dann vordefinierte Fragen zur Darstellung der Aufgabe beantwortet werden. Konnte alles gelesen und abgespielt werden? Die Antworten werden dann im Rahmen des System-Checks gespeichert und können abschließend ausgewertet werden.

Welche Internet-Bandbreite wird für die Testung mindestens benötigt?

Ist die Bandbreite zu gering, kann im schlimmsten Fall die Testung am jeweiligen PC nicht durchgeführt werden. Die Interpretation der Netzwerkverbindung ist allerdings sehr unsicher. Man ist ja in der Durchführung nicht nur vom Computer abhängig, auf dem der Check läuft, sondern auch von der Last, die gerade durch andere Computer verursacht wird. Das kann dieselbe Testung sein, aber auch ein ungeplantes System-Update irgendwo anders im Haus, das einen umfangreichen Download auslöst.

Eine erste Warnung wird ausgelöst, wenn die Netzwerkverbindung stark schwankt. Für die Ermittlung einer als kritisch anzusehenden Bandbreite kann man folgendermaßen vorgehen:

1. Ermittlung der Größe des größten Booklets: Im Testcenter wird in der Liste der Dateien des Arbeitsbereiches eine Spalte "Größe" angezeigt. Diese Größe ist bei allen Dateien die tatsächliche Größe der Datei außer bei den Booklets: Hier wird die Summe aller Dateien angezeigt, die für dieses Booklet geladen werden müssen (Booklet-Xml, Unit-Xmls, Unit-Vouds, Player). Beispiel: (A) 23,4 MB
2. Festlegung der maximalen Zeit in Sekunden, nach der dieses Booklet geladen sein soll. Beispiel: (B) 20 sec
3. Die Formel A * 8 / B ergibt den Mindestwert für den Download. Für das Beispiel 9,36 MBit/s

Dieses Verfahren ist einigermaßen verlässlich, weil die Ermittlung der Download-Geschwindigkeit das Ladeverhalten des Testcenters nachbildet. Die Pakete werden beispielsweise nacheinander geladen und nicht parallel.

Im System-Check könnten anschließend diese Grenzwerte als Mindestanforderung an die Bandbreite hinterlegt werden. Nach dem Start des System-Checks würden dann ermittelte Geschwindigkeitswerte über dem Grenzwert als "Gut" bezeichnet werden.

Ein System-Check wird über eine XML-Datei gesteuert. Hier kann die Testleitung einige Eckdaten angeben, die nach Auswertung des System-Checks angeben, ob das System auf dem die Testung durchgeführt werden soll geeignet ist oder nicht.

Folgendes kann über diese XML individuell angelegt werden:

A: Metadaten
Zur Kennzeichnung und Beschreibung der Datei, sollen eine ID und ein Label vergeben werden. Ersteres dient der internen Zuordnung, auch der Berichte. Letzteres wird bei der Beschriftung des Start-Schalters verwendet. Eine Beschriftung kann helfen verschiedene Versionen eines System-Check zu unterscheiden.

B: Unit Wiedergabe
Wenn im Element Config ein Attribut unit gefunden wird, dann erfolgt nach dem Test der Verbindungsqualität die Anzeige einer Unit. Diese Befragungsseite bzw. Testaufgabe soll möglichst alle Element-Typen enthalten, die später auch im Test bzw. der Befragung benutzt werden. Es ist also z. B. hier unnötig eine Audio-Datei einzubauen, wenn im Test keine Hörverstehensaufgabe vorkommt. So können die Aufgabenelemente bzgl. Funktion und Aussehen vorab geprüft werden. Es muss natürlich in den Arbeitsbeich auch eine Unit mit dieser ID hochgeladen werden. Der in der Unit-Definition genannte Player, muss dann auch im Arbeitsbereich zur Verfügung gestellt werden.

C: Bericht speichern
Bericht abschicken: Es kann festgelegt sein, dass die Daten gespeichert werden zur späteren Auswertung. Dazu sollte ein Kennwort vergeben werden und eine weitere Kennung anhand derer die Zuordnung der Daten z. B. zu einer bestimmten Schule möglich wird. Wenn im Element Config ein Attribut savekey gefunden wird, dann können die Ergebnisse des System-Checks abschließend mithilfe dieses Savekeys gespeichert werden. Die letzte Seite enthält dann einen Schalter Bericht senden und es wird der Savekey abgefragt.

D: Netzwerkgeschwindigkeit
Festlegung von individuellen Grenzwerte zur Beurteilung der Internetbandbreite. Hier kann die min. erforderliche Bandbreite für Ihre Testung angegeben werden. Außerdem ein Wert ab welcher Bandbreite die Verbindung als "gut" gilt.

E: Fragebogen
Fragebogen beantworten: Die Person, die den System-Check durchführt, kann eine Liste von Fragen beantworten. Die Fragen können sich zunächst auf die vorherige Testaufgabe beziehen (Wurde die Audio-Datei abgespielt?; Passte alles auf den Bildschirm? usw.), aber auch weitere Informationen zur Ausstattung vor Ort können erfragt werden (Wieviele Plätze sind im PC-Lab?; Können die Testpersonen sich gegenseitig auf den Bildschirm schauen?; Gibt es ein Whiteboard? usw.)

Nachfolgend ist eine System-Check-XML einmal bspw. aufgeführt. Sie finden die gerade benannten Punkte als Kommentar in dieser System-Check-XML!

ℹ️ Welche Atribute und Daten Sie in dieser XML verwenden dürfen, entnehmen Sie bitte der XML Schema-Definition. Diese finden Sie hier!

<?xml version="1.0" encoding="utf-8"?>
<SysCheck xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:noNamespaceSchemaLocation="https://raw.githubusercontent.com/iqb-berlin/testcenter-backend/9.1.1/definitions/vo_SysCheck.xsd">

	<!-- A: -->
	<Metadata>
		<Id>LAL8_2021</Id>
		<Label>System-Check für LAL8 2021</Label>
		<Description>Version 4.2.2021</Description>
	</Metadata>

	<!-- B: Unit Wiedergabe  C: Kennwort zum Speichern eines Berichts  -->
	<Config unit="SC3" savekey="fichtelgebirge">

		<!-- D: Festlegung Grenzwerte für die Internet Bandbreite  -->
		<UploadSpeed min="1024" good="2048" maxDevianceBytesPerSecond="10000" maxErrorsPerSequence="0" maxSequenceRepetitions="15">100000, 200000, 400000, 800000</UploadSpeed>
		<DownloadSpeed min="1024" good="2048" maxDevianceBytesPerSecond="200000" maxErrorsPerSequence="0" maxSequenceRepetitions="15">400000, 800000, 1600000, 3200000</DownloadSpeed>

		<!-- E: Fragebogen anlegen  -->
		<Q id="1" type="header" prompt="Abschnitt I: Computerübergreifende Fragen – diese müssen nur einmal online eingegeben werden."></Q>
		<Q id="2" type="radio" prompt="1. Wer ist an der Schule die Ansprechperson für technische Fragen?">der Schulkoordinator/die Schulkoordinatorin selbst#eine andere Person (Eingabe nächstes Feld)#es gibt keine Ansprechperson</Q>
		<Q id="2a" type="text" prompt="Weitere Informationen zur Ansprechperson"/>
		<Q id="3" type="string" prompt="2. In welchem Raum wurde die Systemdiagnose durchgeführt? Bitte geben Sie die Raumbezeichnung an."/>
		<Q id="4" type="text" prompt="3. Bitte notieren Sie ggf. Informationen zur Erreichbarkeit des Raumes."/>
		<Q id="5" type="string" prompt="4. Wie viele Computer gibt es im Raum?"/>
		<Q id="6" type="string" prompt="5. Wie viele funktionstüchtige Computer gibt es im Raum?"/>
		<Q id="7" type="text" prompt="6. Wie würden Sie den allgemeinen Zustand der Computer (und Bildschirme, Mäuse, Tastaturen) beschreiben? 
	z. B. modern, veraltet, gut instandgehalten etc."/>

		<Q id="8" type="header" prompt="Abschnitt II: Fragen zum Account für die Systemdiagnose"></Q>
		<Q id="9" type="radio" prompt="1. Ist dies ein allgemeiner Account?">der Account kann für alle PC verwendet werden#der Account ist nur für bestimmte PC zur Anmeldung möglich#konnte Reichweite des Accounts nicht ermitteln</Q>
		<Q id="10" type="radio" prompt="2. Ist dies ein Account mit Zugriff auf USB?">ein mobiler Browser konnte direkt von USB gestartet werden#ein mobiler Browser konnte auf den Desktop kopiert und ausgeführt werden#ein mobiler Browser konnte nicht gestartet werden</Q>
		<Q id="11" type="text" prompt="3. Gibt es Änderungen dieser Situation im Testzeitraum bis Mai? Bitte beschreiben!"/>

		<Q id="12" type="header" prompt="Abschnitt III: Fragen zum Funktionieren der Aufgabe"></Q>
		<Q id="13" type="text" prompt="1. Besonderheiten beim Starten des Browsers und beim Zugriff auf das Testcenter"/>
		<Q id="14" type="text" prompt="2. Allgemeine Auffälligkeiten bei der Darstellung der Aufgabe"/>
		<Q id="15" type="text" prompt="3. Probleme beim Abspielen der Audio-Sequenz"/>
		<Q id="16" type="text" prompt="4. Klarheit der Darstellung der Grafik"/>
		<Q id="17" type="text" prompt="5. Auffälligkeiten beim Scrollen"/>
		<Q id="18" type="text" prompt="6. Auffälligkeiten beim Navigieren zwischen Seiten"/>
		<Q id="19" type="text" prompt="7. Anmerkungen zur Kästchendarstellung der Ankreuzoptionen"/>
		<Q id="20" type="check" prompt="8. Nutzung des mobilen Browsers.">Beim Systemcheck musste der mobile Browser benutzt werden.</Q>
	</Config>
</SysCheck>

Wurde diese System-Check-XML in einen beliebigen Arbeitsplatz des Testcenters geladen, erscheint nach Abmeldung am Testcenter ein neuer Schalter System-Check. Wird dieses Schalter betätigt startet der System-Check mit der in der XML definierten Konfiguration.

Werden am Ende eines System-Checks die Ergebnisse gesendet (gespeichert), landen diese Ergebnisse in Form einer CSV-Datei in dem Arbeitsbereich in den die System-Check XML geladen wurde. Die CSV-Datei ist dann im jeweiligen Arbeitsbereich unter dem Tab: System-Check Berichte zu finden und kann dort mittels der üblichen Browserfunktionalitäten heruntergeladen werden. Da eine CSV-Datei nicht sehr gut lesbar ist, kann diese Datei auch in eine XLSX-Datei gewandelt werden. Dies kann mit der IQB Anwendung Itc-Toolbox erfolgen. Mehr dazu finden Sie hier.