Studie zeigt: KI-Chatbots liefern irreführende Informationen in den Nachrichten

Eine aktuelle Studie der BBC ergab, dass KI-gestützte Chatbots wie ChatGPT und Google Gemini Schwierigkeiten haben, bei der Zusammenfassung von Nachrichten genaue Informationen zu liefern. Die Studie zeigte, dass mehr als die Hälfte der von diesen Bots generierten Zusammenfassungen falsche Informationen oder verzerrte Zitate enthielten, was Fragen zur Zuverlässigkeit dieser Technologien bei der Bereitstellung von Nachrichten aufwirft.

Eine aktuelle BBC-Studie stellte erhebliche Fehler in den Nachrichtenantworten von KI-Assistenten fest. Die Forscher testeten vier bekannte KI-Assistenten – ChatGPT, Copilot, Gemini und Perplexity –, indem sie ihnen die BBC-Website für ihre Antworten zur Verfügung stellten.

enthüllt studieren Beliebte KI-Assistenten lieferten in ihren Antworten häufig falsche Informationen und verdrehten Tatsachen. Den KI-Assistenten wurde ein Set von 100 Fragen zu verschiedenen Nachrichtenthemen gestellt. Die BBC-Journalisten beurteilten die Antworten anhand von sieben Kriterien: Genauigkeit, Angabe geeigneter Quellen, Freiheit von Voreingenommenheit, Unterscheidung zwischen Meinung und Tatsachen, Vermeidung persönlicher Ansichten, Bereitstellung eines Kontexts und angemessene Einbindung von BBC-Inhalten.

Die Auswertung ergab, dass in mehr als der Hälfte (51 %) der Antwortenden erhebliche Probleme in diesen Bereichen auftraten. Darüber hinaus enthielten 91 % der Antworten zumindest einige Fehler. Bei etwas wie Nachrichten ist selbst der kleinste Fehler eine große Sache.

Viele der Fehler beruhten auf falschen Fakten. Etwa 19 % der Antworten, in denen BBC-Inhalte erwähnt wurden, enthielten Fehler wie beispielsweise falsche Ausdrücke, Zahlen oder Daten. Außerdem waren 13 Prozent der angeblichen Zitate aus BBC-Artikeln entweder verändert oder stammten nicht aus der Originalquelle. Beispiele hierfür sind etwa KI-Assistenten, die den Status ehemaliger Politiker falsch angeben, die NHS-Empfehlungen zum Dampfen falsch darstellen und über Konflikte im Nahen Osten falsch berichten.

Die Studie wies auf Probleme bei der Verwendung der Quellen und der Bereitstellung des Kontexts hin. KI-Assistenten wählten häufig alte Artikel oder aktuelle Webseiten als Quelle, was zu Ungenauigkeiten führte. Manchmal waren die Informationen zwar korrekt, wurden aber fälschlicherweise der BBC zugeschrieben. Darüber hinaus lieferte die KI in ihren Antworten nicht genügend Kontext, was zu Missverständnissen führte.

Die KI hatte offensichtlich Schwierigkeiten, zwischen Meinung und Tatsache zu unterscheiden. Dies führte dazu, dass er Meinungen oft als Fakten behandelte und wichtige Zusammenhänge ausließ, was zu voreingenommenen oder unvollständigen Antworten führte.

Noch interessanter ist, dass die Forschung ergab, dass verschiedene KI-Assistenten unterschiedliche Probleme haben. Beispielsweise hatte Gemini die meisten Probleme mit der Genauigkeit und hatte Schwierigkeiten, zuverlässige Quellen anzugeben. Sowohl Copilot als auch Perplexity hatten Schwierigkeiten, BBC-Inhalte genau darzustellen. Dies beweist unbeabsichtigt, dass die KI verschiedener Unternehmen nicht austauschbar ist und die eine zwar besser als die andere sein kann – aber dennoch nicht so gut wie Menschen ist.

Eines der Hauptthemen der Studie war die große Besorgnis darüber, wie leicht sich solche Fehlinformationen in den sozialen Medien verbreiten können. Untersuchungen der BBC zeigen, dass KI-Assistenten derzeit nicht zuverlässig genaue Nachrichten liefern können. Obwohl viele von ihnen die Benutzer vor möglichen Fehlern warnen, gibt es kein System zur Fehlerbehebung, wie dies bei herkömmlichen Nachrichtenagenturen der Fall ist.

Die BBC fordert mehr Kontrolle über die Verwendung ihrer Inhalte durch KI-Unternehmen, mehr Transparenz über die Funktionsweise von KI und ein besseres Verständnis dafür, was schiefgehen kann. Die BBC plant, die Studie in Zukunft zu wiederholen, um zu sehen, ob sich die Lage verbessert. Möglicherweise wird sie auch andere Verlage und Medienunternehmen in ihre Untersuchungen einbeziehen.

Quelle: BBC

Diese Studie unterstreicht die Herausforderungen, denen KI-gestützte Chatbots bei der Bereitstellung genauer und zuverlässiger Informationen gegenüberstehen. Es ist wichtig, dass Forscher und Entwickler weiterhin an der Verbesserung dieser Technologien arbeiten, um sicherzustellen, dass sie den Benutzern zuverlässige Inhalte bereitstellen, insbesondere in sensiblen Bereichen wie Nachrichten.