Tobias Peters und Ingrid Scharlau haben bei Frontiers in Psychology die Untersuchung "Interacting with fallible AI: Is distrust helpful when receiving AI misclassifications?" veröffentlicht. Hier geht's zur Veröffentlichung:
www.frontiersin.org/articles/10.3389/fpsyg.2025.1574809
Sie zeigen, dass es in Klassifikationsaufgaben, in denen man Unterstützung durch eine KI erhält, die Fehler macht, nicht wesentlich hilft, wenn die Versuchspersonen Information über die Fehlerhaftigkeit erhalten.
Peters und Scharlau entwickelten zwei Szenarien für die Bildklassifizierung, in denen die Versuchspersonen KI-Ratschläge erhielten. Die Qualität der Ratschläge nahm während einer Phase des Experiments ab. Sie untersuchten die Aufgabenleistung sowie das Vertrauen und Misstrauen der Teilnehmer und testeten, ob eine Anweisung, skeptisch zu bleiben und jeden Ratschlag zu überprüfen, zu einer besseren Leistung im Vergleich zu einer neutralen Bedingung führte. Überraschenderweise verbessert diese Anweisung die Leistung der Versuchspersonen nicht, sondern verschlechtert sie eher. Tobias Peters hat außerdem gemeinsam mit Kai Biermeier eine Bayes'sche Analyse der Signaldetektionstheorie entwickelt. Die Ergebnisse stellen die Verwendung von Disclaimern vor der Interaktion mit KI, wie sie in aktuellen LLM-basierten Chatbots verwendet werden, in Frage.