[ad_1]
GPT-Detektoren haben einen Großteil der Beiträge von Nicht-Muttersprachlern des Englischen fälschlicherweise als KI-generierten Inhalt gekennzeichnet, was Bedenken hinsichtlich ihrer Verwendung aufkommen ließ.
Generative KI-Modelle haben im Guten wie im Schlechten eine Revolution ausgelöst. Ihre Popularität ist seit ihrer Einführung sprunghaft angestiegen und bietet eine Reihe wachsender Funktionen wie die Möglichkeit, Code, Bilder, Musik, Text, Simulationen, Videos und mehr zu generieren.
„Innerhalb von nur zwei Monaten nach seiner Einführung verzeichnete ChatGPT über 100 Millionen aktive Benutzer pro Monat und markierte damit seinen Platz als eine der am schnellsten wachsenden Internetanwendungen für Verbraucher in der Geschichte“, schrieb ein Team von Stanford-Forschern in einem kürzlich in der Zeitschrift veröffentlichten Artikel Muster.
Während das Entwicklungstempo erstaunlich ist und das Potenzial dieser neuen Technologie zur Steigerung der Produktivität und Förderung der Kreativität wächst, stellt sich die Frage, was passiert, wenn sie in Bereichen eingesetzt wird, insbesondere im Bildungsbereich, in denen Beurteilungen, Noten, Bewerbungen und sogar Abschlüsse von schriftlicher Arbeit abhängen ?
„Niemand ist bereit dafür, wie KI die Wissenschaft verändern wird“ schrieb Stephen Marche in einem Aufsatz für Der Atlantik. Und es ist schwer zu erkennen, wohin das führen wird.
Ein Grund zur Sorge, sagt James Zhou, Assistenzprofessor an der Stanford University und Hauptautor der in veröffentlichten Studie Musterist, dass viele Schulen, Unternehmen und Regierungsbehörden Detektoren verwenden oder planen, diese zu verwenden, die angeblich erkennen können, ob der Text von KI generiert wurde, aber sie sind nicht genau und weisen eine alarmierende Tendenz gegenüber Nicht-Muttersprachlern des Englischen auf.
Voreingenommenheit im System
Um die unterdurchschnittliche Genauigkeit von GPT-Detektoren zu demonstrieren und zu zeigen, wie dies unbeabsichtigt Personen mit eingeschränkten Sprachkenntnissen benachteiligt, ließen Zhou und seine Kollegen sieben beliebte GPT-Detektoren Schreibproben von Muttersprachlern und Nicht-Muttersprachlern auswerten.
Sie fütterten sie mit 91 englischen Aufsätzen, die für einen Standard-Englischtest namens „Test of English as a Foreign Language“ (TOEFL) aus einem chinesischen Forum geschrieben wurden, sowie mit 88 US-amerikanischen Aufsätzen der achten Klasse aus dem ASAP-Datensatz der Hewlett Foundation.
„Ein Großteil der Aufsätze, die von Nicht-Muttersprachlern des Englischen verfasst wurden, wird von allen Detektoren fälschlicherweise als KI-generiert gekennzeichnet“, sagte Zhou. Über die Hälfte der nicht-muttersprachlichen englischen Schreibproben wurden fälschlicherweise als KI-generiert klassifiziert, wobei ein Detektor fast 98 % der TOEFL-Aufsätze markierte, während die Genauigkeit für muttersprachliche Proben nahezu perfekt blieb.
Nach Angaben des Teams basiert dies auf dem Grad der „Ratlosigkeit“ einer bestimmten Arbeit. „Perplexität misst grundsätzlich, wie überraschend die Wortwahl im Text ist“, erklärte Zhou. „Texte mit gebräuchlichen oder einfachen Wortwahlen weisen tendenziell eine geringere Verwirrung auf. Diese Detektoren kennzeichnen Texte mit geringer Perplexität eher als KI-generiert.“
„Außerdem sind sie sehr leicht zu täuschen“, fügte er hinzu. Durch bessere Eingabeaufforderungen und die Aufforderung an ChatGPT, in einer ausgefeilteren Sprache zu schreiben, könnten die Detektoren umgangen werden, indem diese Einsendungen als von Menschen geschrieben eingestuft werden, da sie eine höhere technische Verwirrung aufweisen.
„Dies wirft eine entscheidende Frage auf“, schrieben die Autoren in ihrem Artikel. „Wenn KI-generierte Inhalte der Erkennung leicht entgehen können, während menschlicher Text häufig falsch klassifiziert wird, wie effektiv sind diese Detektoren dann wirklich?“
Dies könnte zu erheblichen Problemen führen, da Nicht-Muttersprachler durch ungenaue Detektoren mit größerer Wahrscheinlichkeit fälschlicherweise des Betrugs beschuldigt werden. Aber das Problem endet hier nicht, denn Suchmaschinen wie Google, das einen Großteil des Web-Verkehrs generiert, sagen, dass es sich um KI-generierte Inhalte handelt verstößt gegen ihre Richtlinien und wird anschließend als Spam eingestuft. Dies würde unbeabsichtigt dazu führen, dass nicht-muttersprachliche englische Autoren online unsichtbar würden.
Es wird empfohlen, Detektoren festzuhalten
Wie bei jeder neuen Technologie gibt es Vorteile und Fallstricke, die sorgfältig umgangen werden müssen, um nachteilige Auswirkungen zu minimieren. Die Vorteile von Sprachmodellen wie ChatGPT zeigen sich gerade erst, und anstatt diese Technologie zu verbieten, können aktuelle Systeme möglicherweise damit weiterentwickelt werden.
Wenn ChatGPT beispielsweise bei der Verfeinerung eines Lebenslaufs hilft, könnten gleiche Wettbewerbsbedingungen geschaffen werden, indem mehr Gewicht auf Vorstellungsgespräche und den Nachweis von Fähigkeiten gelegt und die Einstellungschancen gerechter gestaltet würden. Oder vielleicht könnten unsere Bildungssysteme Sprachmodelle in ihre Lernprogramme integrieren. „Wir könnten Studenten und Forschern beibringen, wie man sie kreativ nutzt [language models] ihre Ausbildung und Arbeit zu verbessern und auch ihre Ergebnisse kritisch zu bewerten“, sagte Zhou.
Das Problem ist natürlich nuancierter und eine Lösung erfordert ein sorgfältiges Vorgehen. Aber die Realität ist, dass diese Technologie wahrscheinlich nichts bringt, und daher muss die Gesellschaft lernen, sich anzupassen und damit zu arbeiten, damit die am wenigsten gefährdeten Menschen zurückgelassen werden.
Was die aktuelle Studie hervorhebt, sind die Gefahren, die mit der Verwendung ungenauer Detektoren zur Ermittlung der Einsatzorte einhergehen. Laut Zhou müssen GPT-Detektoren strenger anhand von Texten verschiedener Benutzertypen trainiert und bewertet werden, wenn sie in Zukunft eingesetzt werden sollen.
„Unsere aktuelle Empfehlung lautet, dass wir äußerst vorsichtig sein und versuchen sollten, die Verwendung dieser Detektoren so weit wie möglich zu vermeiden“, sagte Zhou. „Das kann erhebliche Folgen haben.“
Referenz: James Zhou et al., GPT-Detektoren sind voreingenommen gegenüber nicht-englischen Muttersprachlern, Muster (2023). DOI: 10.1016/j.patter.2023.100779
Bildnachweis des Beitrags: Ralph van Root auf Unsplash
[ad_2]
Source link
