☝️ SingleEin Team nutzt ein Sprachmodell, um Nutzerfeedback zu kategorisieren. Welche Vorsichtsmaßnahme ist fachlich am wichtigsten?
❌Die Kategorien vom Modell selbst vorschlagen zu lassen
❌Die Auswertung auf deutschsprachiges Feedback zu beschränken
✅Eine Stichprobe der Zuordnungen regelmäßig von Menschen prüfen zu lassen, da systematische Fehlklassifikation sonst unbemerkt in Entscheidungen einfließt
❌Das Modell regelmäßig auf die neueste Version zu aktualisieren
Das Risiko bei automatischer Kategorisierung ist nicht der einzelne Fehler, sondern die systematische Verzerrung: Bestimmte Rückmeldungsarten landen konsequent in der falschen Kategorie und verschwinden damit aus dem Blick. Nur eine menschliche Stichprobenprüfung deckt das auf.