Wie gut ist der Turnitin AI-Checker?

Wie zuverlässig ist der Turnitin AI-Checker?

Turnitin, ein weit verbreitetes Tool zur Überprüfung von Texten auf Plagiate, hat in den letzten Jahren einen AI-Checker eingeführt, der erkennen soll, ob ein Text von einer künstlichen Intelligenz verfasst wurde. Doch wie genau ist dieses System in der Praxis?

Ein aktueller Test zeigt, dass Turnitin bei menschlich verfassten Texten sehr gute Ergebnisse liefert: 28 von 30 Proben wurden korrekt erkannt – das entspricht einer Trefferquote von 93 %. Lediglich eine Probe wurde fälschlicherweise zu 11 % als KI-generiert eingestuft, während eine weitere nicht bewertet werden konnte. Das spricht für eine hohe Zuverlässigkeit, wenn es darum geht, echte menschliche Arbeit von maschinengeneriertem Text zu unterscheiden.

Bei KI-generierten Texten liegt die Genauigkeit etwas niedriger: Hier erkannte Turnitin 23 von 30 Texten korrekt als vollständig von einer KI verfasst – das sind 77 %. Das bedeutet, dass rund ein Viertel der KI-Texte entweder nicht eindeutig identifiziert wurde oder fälschlicherweise als menschlich eingestuft wurde. Das zeigt, dass der Checker zwar hilfreich ist, aber keine hundertprozentige Sicherheit** bietet.