Formative Evaluation des Conceptual Designs - oliverbra/Projekt1_HCI_TeamCMTO GitHub Wiki

Das Konzept zur der formativen Evaluation des Conceptual Designs haben wir auf Basis der strategischen Ebene der Zielhierarchie und Einflüsse des Design Sprints entworfen. Der, für die formative Evaluation dienende, Prototyp stellt ebenfalls einen konzeptionellen Proof-of-Concept dar und wird daher anhand Exit- und Fail-Kriterien analysiert.

Konzeption

Die Bewusstseinsbildung zu mehr Nachhaltigkeit und Umweltfreundlichkeit soll ein entscheidender Aspekt unseres Systems werden. Nutzende unseres Systems sollen den Wert der Artenvielfalt erkennen und Bereitschaft zur Diskussion zu dieser Thematik zeigen. Es ist vor allem wichtig, das Nutzende nicht nur über die Themen informiert sind, sondern auch dazu aktiv werden. Dies geht eng mit dem Aspekt der Wissensvermittlung einher. Durch das Experteninterview haben wir erfahren, dass viele Menschen kaum relevantes Wissen zu Pflanzen, Tieren und deren Bedürfnissen besitzen. Deswegen ist die Vermittlung von Wissen zu diesen Themen durch Experten, aber auch innerhalb einer Community wichtig.

Um ein Konzept entwickeln zu können, dass diese Aspekte adressiert, orientieren wir uns bei der Konzeption an folgender Sprint Frage aus dem Design Sprint:

Können wir User dazu motivieren sich gegenseitig bei der naturbewussten Gestaltung eines Gartens zu unterstützen?​

Am Ende der Konzeptionsphase soll das entwickelte Konzept auf die Erfüllung dieser Frage durch User Tests evaluiert werden.

Die Frage gilt als erfolgreich beantwortet, wenn Testende...

... Möglichkeiten zur insektenfreundlichen Gestaltung von Grünflächen erkannt haben.

... sich Pflanzenarten, die Insekten zugutekommen, gemerkt haben.

... während dem Test erlernte Inhalte bei der Betrachtung eines Gartens anwenden können.

... während dem Test erlernte Inhalte weiter geben können.

Die Frage gilt als nicht-erfogreich beantwortet, wenn Testende...

... die oben genannten Punkte nicht beantworten können.

... bei der Betrachtung eines Gartens eher auf dessen ästhetische Gestaltung achten.

Evaluation

Bevor das Conceptual Design anhand der aufgestellten Exit- und Fail-Kriterien evaluiert wurde, wurde bereits ein User Testing mittels einen klickbaren Prototyp im Modul Design Sprint bereits durchgeführt, um auf weitere Erfordernisse und Anforderungen aufmerksam zu werden. Anhand der Ergebnisse wurde das Konzept und der Prototyp iterativ angepasst und auf die finale Evaluation vorbereitet. Insgesamt wurde der Prototyp von sieben verschiedenen Personen getestet.

Im Folgenden wird auf die Erkenntnisse aus den User Tests eingegangen, bevor die Erfüllung der Exit-Kriterien oder das Vorhandensein von Fail-Kriterien behandelt wird.

Level System

Einer der wichtigsten Punkte, die wir aus den Benutzertests erhalten haben, ist, dass unser System mehr Details über die Grow Points und zu dem Level System benötigt. Die Benutzer sollten mehr Informationen darüber erhalten, wie viele Grow Points eine Aktion wert ist und welche Funktionen durch die Level-Aufstiege freigeschaltet werden. Dies sollte aber nicht durch die Anzeige gesperrter Funktionen gelöst werden, so wie es aktuell im Prototyp umgesetzt war, da dies als verwirrend und negativ wahrgenommen wurden.

Grow Space View

Ein weiterer Punkt ist, dass bei der Grow Space View die Angaben zu Sonnenlicht und Niederschlag nicht leicht zu verstehen sind. Es war unklar woher die Werte dieser Skalen kommen, durch eine manuelle Eingabe oder durch Messungen von Sensoren, und wie sie sich zusammensetzen. Zu der manuellen Eingabe wurde angemerkt, dass dies sehr aufwendig sein würde, da die Daten jeden Tag erneut eingetragen werden müssten. Eine Idee zu diesem Punkt war es das System mit einer Wetter-App zu verbinden, um diesen Prozess präziser und automatisch zu gestalten.

Bewertung

Laut den Testpersonen ist die Bewertungsskala 1-5 nicht sehr zufriedenstellend. Die zunächst gesperrten Schieberegler wurden von den Testpersonen als verwirrend empfunden, da diese keine eindeutige Skala abbilden und Begriffe wie Totholz unklar waren.

Zudem sollten die Kommentare ein Abstimmungssystem haben, sodass irrelevante Kommentare eliminiert und die wichtigen hervorgehoben werden können, sodass der Benutzer direkt erkennt, ob dieser Kommentar hilfreich ist oder nicht. Es sollte auch unterscheidbar sein, ob ein Kommentar von einem Experten stammt oder von einem anderen Benutzer. Dieses Problem kann durch die Anzeige des Profiltyps /-levels gelöst werden. Der Nutzer sollte auch in der Lage sein, die Kommentare seines eigenen Grow Space direkt im zugehörigen Grow Space View zu sehen, so wie es bei der Betrachtung anderer Grow Spaces der Fall ist.

Bezug auf Exit- und Fail-Kriterien

Durch die User Tests haben wir herausgefunden, dass die Betrachtung eines Grow Space durchaus Lerneffekte erzeugen kann, womit das erste Exit-Kriterium erfüllt wird. Dabei ist es wichtig, dass spezifische Anmerkungen getätigt werden, um ein präzises Verständnis für die Möglichkeiten bei der insektenfreundlichen Gestaltung eines Grow Spaces aufbauen zu können. Diesen Aspekt haben wir im zweiten Prototyp durch das Ergänzen von Kommentaren für die einzelnen Grow Spaces genauer betrachtet. Durch die Kommentare hatten die Testpersonen zum einen bessere Vorstellungen zu möglichen Tipps und Hilfestellungen, zum anderen spezifische Denkanstöße für das eigene Handeln und Bewerten. Im finalen Testing konnte vor allem über die angegebenen Kommentare Wissen zu insektenfreundlichen Pflanzenarten und zu Aspekten der insektenfreundlichen Gestaltung, wie zum Beispiel die Bereitstellung von Totholz als Insektenunterschlupf, vermittelt werden. Auf Basis dieses Wissens konnten auch die weiteren Exit-Kriterien erfüllt werden.

Allerdings wurde beobachtet, dass nicht alle Testpersonen sich bei der Betrachtung der Grow Spaces auf den Aspekt Insektenfreundlichkeit fokussieren konnten und mehr auf die Ästhetik geachtet haben, wodurch ein Fail-Kriterium erfüllt wurde. Dadurch ergab sich für uns, dass wir diesen Aspekt noch mehr hervorheben müssen, da dies der Key Point unserer Domäne ist. Des Weiteren fiel es den Testpersonen anfangs schwer die Insektenfreundlichkeit angemessen zu beurteilen, da ein gewisses Grundwissen fehlte. Aus dieser Beobachtung schließen wir, dass eine Bewertung eines Grow Spaces erst Sinn ergibt, wenn der anfängliche Wissensstand erweitert wurde.

Fazit

Die User Tests haben uns nicht nur geholfen die Sprint Question zu beantworten, sondern haben uns ebenso in Betracht auf die Nutzerfreundlichkeit und Gestaltung der Benutzeroberfläche weiter gebracht. Vor allem die zahlreichen Ideen und Anmerkungen zu Features haben bei der Gestaltung des Gesamtkonzepts unterstützt. Des Weiteren haben wir durch die User Tests die Bestätigung für das Konzept bekommen, da für die meisten Testpersonen deutlich wurde, dass das System auf einer Community basiert, welche sich gegenseitig bei der insektenfreundlichen Gestaltung ihres Gartens, Balkons oder Terrasse unterstützen soll.

Da sämtliche Exit-Kriterien erfolgreich erfüllt wurden und nur ein Fail-Kriterium bei wenigen Testpersonen auftrat, wird die Evaluation des Conceptual Designs als erfolgreich angesehen; zumal für die Behebung des Fail-Kriteriums bereits eine Lösung besteht.