Ein geleaktes Dokument von Apple zeigt, wie das Unternehmen KI-Antworten anhand von sechs wichtigen Kriterien bewertet. Dazu gehören Wahrhaftigkeit, Schädlichkeit, Prägnanz und Nutzerzufriedenheit. Apples Bemühungen, die KI sicher und hilfreich zu gestalten, sind erkennbar, jedoch bleibt Apple Intelligence hinter Wettbewerbern zurück.
Apples Bewertungssystem für KI-Antworten
Ein 170-seitiges Dokument mit dem Titel „Preference Ranking V3.3 Vendor“ das die SEO Experten von Searchengineland veröffentlicht haben, beschreibt das System, das von menschlichen Prüfern verwendet wird, um Antworten von digitalen Assistenten zu bewerten. Die Bewertungen erfolgen in Kategorien wie Wahrhaftigkeit, Schädlichkeit, Prägnanz und allgemeine Nutzerzufriedenheit. Der Prozess geht über faktische Überprüfungen hinaus und soll sicherstellen, dass KI-generierte Antworten hilfreich, sicher und natürlich wirken.
Das Dokument beschreibt sechs Bewertungsfaktoren: Befolgung von Anweisungen, Sprache, Prägnanz, Wahrhaftigkeit, Schädlichkeit und Zufriedenheit. Die Prüfer bewerten die Antworten basierend auf diesen Kategorien. So wird beispielsweise unter „Befolgung von Anweisungen“ analysiert, ob der digitale Assistent die Anweisung wie gewünscht ausgeführt hat.
Unter „Sprache“ müssen die Prüfer beurteilen, ob der digitale Assistent die Anfrage unter Berücksichtigung der Sprache des Nutzers sowie des kulturellen und regionalen Kontexts verstanden hat. Dazu zählen Dinge wie Redewendungen und Maßeinheiten.
Die Bedeutung dieser Bewertungen
Die Relevanz dieser Rankings ist hoch, insbesondere für Unternehmen, die KI entwickeln oder implementieren möchten. Schlecht gestaltete KI-Systeme können dazu führen, dass Nutzer Malware erzeugen oder Anweisungen zum Bau von Waffen erhalten.
Apple möchte solche Kontroversen vermeiden, was die Einführung eines Bewertungssystems sinnvoll macht. Allerdings zeigt sich, dass Apples KI-Bemühungen hinter den Erwartungen zurückbleiben und Apple Intelligence hinter der Konkurrenz zurückliegt. Es bleibt zu hoffen, dass Apple neben der Gewährleistung einer gewissen Qualitätskontrolle auch dafür sorgt, dass Apple Intelligence nützlich ist.