Wer hat nicht schon einmal in einer nie genutzten Menükategorie einer Anwendung interessante Funktionen entdeckt oder eine Website schnell wieder verlassen, weil die angebotenen Informationen zu unübersichtlich waren? Gut gewählte Kategorien für Menüs oder Sitemaps und die richtige Einsortierung aller Themen in diese Kategorien haben großen Einfluss auf die Bedienbarkeit einer Benutzeroberfläche. Somit ist die Organisation von Informationen ein wichtiger Bestandteil des anwenderzentrierten Designs von Websites und Anwendungen.

Designer können umfangreiche Erfahrungen in der Erstellung von Informationsstrukturen besitzen – am Ende wissen doch die Anwender selbst am besten, was sie brauchen, und es hat sich bewährt, Menüs und Navigationsstrukturen unter Einbeziehung der Anwender zu entwerfen. Eine hilfreiche Methode, um die Nutzer in Design und Test von Informationsstrukturen einzubeziehen, ist das Card Sorting: die Elemente der Informationsstruktur (oder eine gezielte Auswahl) werden auf Karten notiert. Eine Gruppe von Anwendern wird gebeten, diese Karten in Kategorien zu ordnen. Dabei unterscheidet man zwischen Open Card Sorting, bei dem die Testpersonen die Kategorien selbst festlegen, und Closed Card Sorting, bei dem die Kategorien vorgegeben werden. Für manche Probleme sind auch hybride Ansätze geeignet.

Um aussagekräftige Ergebnisse zu erzielen, sollte man die Anzahl der Testpersonen nicht zu gering halten. Zehn bis fünfzehn Teilnehmer gelten als untere Grenze. Wenn man davon ausgeht, dass eine relevante Sortieraufgabe mindestens fünfzehn Karten und mehrere Kategorien enthält, wird klar, dass Durchführung und insbesondere die Auswertung einer Card-Sorting-Studie sehr schnell aufwändig werden kann. Durch den Einsatz eines Werkzeuges für Remote Card Sorting kann man die Analyseaufwände begrenzen und gleichzeitig Tests mit vielen Teilnehmern unabhängig von zeitlicher und räumlicher Verfügbarkeit durchführen.

Vorauswahl

Die Vorauswahl der Werkzeuge, die wir in die engere Wahl aufgenommen haben, basiert auf unserer eigenen zentralen Anforderung an ein Card-Sorting-Werkzeug: die Unterstützung von Remote Card Sorting. Auf dieser Basis entschieden wir uns, die folgenden vier Dienste näher zu betrachten. Sie sind alle webbasiert.

Was können die Tools?

Die Nutzung eines Card Sorting Service gliedert sich in drei Phasen: die Erstellung einer Studie, die Durchführung durch die Testpersonen und schließlich die Auswertung. In den folgenden Abschnitten betrachten wir anhand der Phasen die Funktionen, die von allen vier Services angeboten werden. Anschließend werden die Besonderheiten der einzelnen Services dargestellt.

Erstellung einer Studie

Bei der Erstellung einer Studie stellt sich zunächst die Frage nach Open oder Closed Card Sorting. Alle vier Services unterstützen beide Varianten, zwei lassen auch hybride Modelle zu (siehe unten). Die Erfassung der Karten erfolgt als Liste oder tabellarisch mit Unterstützung eines Imports (per Copy&Paste) aus Spreadsheets. Bei allen Services außer usabiliTest können die Karten um eine Beschreibung ergänzt werden, die bei der Durchführung als Tooltip erscheint. Für Closed Card Sorts wird in einem weiteren Schritt die Liste der Kategorien erfasst. Wenn der Studienmanager die Erstellung der Studie abschließt, erhält er eine URL, über die die Teilnehmer die Durchführung der Studie starten können.

Durchführung der Studie

Die Durchführung der Studie wird bei allen Tools außer usabiliTest von konfigurierbaren Texten zu Begrüßung der Teilnehmer, Erläuterung der Vorgehensweise und abschließendem Dank begleitet. Im Anschluss kann man die Teilnehmer auf eine beliebige URL umleiten lassen. Ein eigenes Logo lässt sich ebenfalls in allen Fällen unterbringen.

Die Karten werden als Liste von Elementen präsentiert, die per Drag&Drop auf eine Sortierfläche gezogen werden. Bei geschlossenen Sorts sind auf der Fläche bereits die vordefinierten Kategorien vorhanden und die Karten können nur dort abgelegt werden. Bei offenen Sorts können die Karten auch auf die Fläche selbst gezogen werden, was die Erstellung einer Kategorie zur Folge hat. (usabiliTest verlangt die Benennung einer Kategorie, sobald diese erzeugt ist (eine spätere Umbenennung ist jedoch möglich). Bei allen anderen Diensten können die Kategorien zu jeder Zeit benannt oder umbenannt werden.) Die Karten können für jeden Teilnehmer zufallsgesteuert angeordnet werden. So schließt man aus, dass die Reihenfolge der Karten die Sortierung beeinflusst. Bei allen Tools außer usabiliTest kann man erzwingen, dass die Teilnehmer alle Karten zuordnen, bevor sie ihre Sortierung abschließen.

Auswertung der erhobenen Daten

Der größte Vorteil des Werkzeugeinsatzes beim Card Sorting liegt zweifelsohne in der Auswertung. Es haben sich verschiedene Analysemethoden etabliert, um die bestmögliche Interpretation der anfallenden Datenmengen zu erreichen. Folgende Auswertungen werden von allen hier betrachteten Werkzeugen angeboten:

• Standardization Grid
• Ähnlichkeitsmatrix bzw. das Gegenstück Abstandsmatrix
• interaktives Dendrogramm

Alle Werkzeuge bieten zudem einen Export der Rohdaten nach .csv bzw .xls. So kann man die Ergebnisse beliebig mit eigenen Funktionen oder externen Statistikwerkzeugen analysieren.

Bei der näheren Betrachtung der Ergebnisse kann es sich als sinnvoll erweisen, einzelne Teilnehmer aus der Auswertung auszuschließen oder eine bestimmte Gruppe von Teilnehmern zu betrachten. Dies wird von allen Services unterstützt.

Da bei offenen Card Sorts in der Regel eine große Liste von Kategorien mit vielen Ähnlichkeiten entsteht, ist es unerlässlich, Kategorien zusammenzuführen. Alle vier Werkzeuge bieten das Zusammenführen von Kategorien an. Alle außer WebSort erlauben auch eine Auflösung einzelner zusammengefasster Kategorien, bei WebSort kann man nur alles zurücksetzen und die Zusammenführung neu starten.

WebSort

Der Service WebSort der Firma UX Punk ltd. fällt durch eine gut gestaltete und intuitive Benutzeroberfläche auf. Außerdem werden folgende Funktionen angeboten, die nicht bei allen Services zu finden sind:

Man kann ein hybrides Modell wählen, d.h. dass die Kategorien wie beim Closed Card Sort vorgegeben sind, die Teilnehmer aber zusätzlich eigene Kategorien definieren können.

Für die Durchführung einer Studie stehen 17 verschiedene Sprachen zur Verfügung.

Um Änderungen an einer laufenden Studie durchzuführen, kann man bestehende Teilnehmer löschen. Das kann sinnvoll sein, da man dann nur diese Teilnehmer bitten muss, die Sortierung zu wiederholen, statt die ganze Studie neu aufzusetzen.

WebSort bietet einen Download der Rohdaten zur Weiterverarbeitung mit SynCaps, einem Werkzeug für die Cluster-Analyse von Card-Sorting-Daten.
Abbildung 1: Screenshot: Einstellungen vornehmen

Abbildung 2: Screenshot: Ergebnisse als Baumgraph

Abbildung 3: Screenshot: Ergebnisse in Prozentsatz nach Studie

OptimalSort 

Die Firma Optimal Workshop hat in ihren Service OptimalSort eine interessante Auswertung namens Participant Centric Analysis integriert. Diese Funktion ermittelt aufgrund der Ähnlichkeiten und Unterschiede zwischen den Einzelergebnissen den “Akzeptanzwert” jeder Sortierung. Auf dieser Basis werden die drei besten Sortierungsvorschläge präsentiert, d.h. die mit den meisten Akzeptanzpunkten aus den Vergleichen mit allen anderen Sortierungen.

Für alle, die ihre Online-Card-Sorts gerne durch offline-Card-Sorts ergänzen, ist ein weiteres Feature von OptimalSort interessant: der Service kann alle Karten einer Studie zum Ausdrucken in ein PDF generieren. Die Karten sind mit einem Barcode versehen, so dass man das Ergebnis des offline-Sorts mit geringen Aufwand in die Datenbasis zurückspielen kann.

Für die Durchführung einer Studie stehen 35 verschiedene Sprachen zur Verfügung. Allerdings sind die Übersetzungen nach eigenen Angaben teilweise unvollständig oder sogar fehlerhaft.

OptimalSort stellt außerdem eine Fragebogen-Funktion zur Verfügung, über die man vor und nach der Durchführung zusätzliche Informationen von den Teilnehmern erfragen kann.

OptimalSort bietet einen Download der Rohdaten zur Weiterverarbeitung mit SynCaps, einem Werkzeug für die Cluster-Analyse von Card-Sorting-Daten.

SimpleCardSort 

SimpleCardSort bietet neben Open und Closed Card Sort auch eine hybride Variante an. Diese wird als Open Sort angelegt, erlaubt es den Teilnehmern aber, eigene Kategorien anzulegen und bestehende Kategorien umzubenennen.

Außerdem sind in der Pro-Version dieses Service Unterkategorien sowie eine Sortierung der Karten innerhalb der Kategorien möglich.

Besonders interessant ist die Replay-Funktionalität von SimpleCardSort, die ebenfalls nur in der Pro-Version freigeschaltet ist. Dieses Feature erlaubt es, bei der Auswertung einer Studie die Sortierungen der einzelnen Teilnehmer Schritt für Schritt nachzuvollziehen. Bei online-Card-Sorts gehen üblicherweise alle Informationen darüber, wie die Sortierungen zustande gekommen sind, verloren. Mit Replay kann man einen Teil dieser Informationen “retten” und ggf. durch Nachfragen bei einzelnen Teilnehmern ergänzen.

Angenehm ist auch der besondere Komfort von SimpleCardSort bei der nachträglichen Bearbeitung von Kategorien: mit SimpleCardSort kann man Kategorien aus verschiedenen Auswertungen heraus zusammenführen – nicht nur in der Kategorienübersicht.

UsabiliTest 

UsabiliTest bietet neben Open und Closed Card Sort auch eine hybride Variante an. Er bietet auch eine erweiterte Unterstützung bei der Verwaltung der Teilnehmer. Man kann aus verschiedenen gängigen Email-Systemen Adressen importieren und anschließend über UsabiliTest das Versenden der Einladungen, das Tracking der Beiträge sowie Erinnerungsmails an die Teilnehmer organisieren.

Die Auswertungsform Multidimensional Scaling, eine grafische Darstellung der Abstandsmatrix, ist nur bei UsabiliTest zu finden.

Abbildung 4: Screenshot: Test Details mit angezeigter hybrider Variante

Abbildung 5: Screenshot: Inhalte für das Card Sorting erstellen

Abbildung 6: Screenshot: Übersicht der Testdaten

Abbildung 7: Screenshots: Ergebnisse als kumulierter Prozentsatz von einem Teilnehmer und als Tabelle

Abbildung 8: Screenshots: Ergebnisse als Matrix, MDS und als Dendogramm von einem Teilnehmer

Fazit

Alle vier betrachteten Werkzeuge decken die Basisfunktionalitäten ab, die für die Durchführung und Auswertung von Online Card-Sorting nötig sind. Abhängig von Ihrem konkreten Problem mag für Sie die Unterstützung des hybriden Ansatzes oder die Participant Centric Analysis besonders interessant sein. Falls es für Sie wichtig ist, wie Ihre Teilnehmer zu ihren Sortierungsvorschlägen gekommen sind, bevorzugen Sie vielleicht die Replay-Funktion. Oder Sie wollen die Daten mit SynCaps weiterverarbeiten, so dass eine entsprechende Exportfunktion unerlässlich ist. Daher sind es letztlich die unterschiedlichen Spezialfunktionen und Preismodelle, die darüber entscheiden werden, welches Tool am besten zu Ihren Anforderungen passt.