L’éditeur de ChatGPT, OpenAI, avait pris des mesures pour tenter de résoudre les risques liés à l’IA, en particulier lorsqu’il s’agit de détecter les contenus générés par l’IA de ceux produits par des humains. Pour ce faire, OpenAI avait publié un outil en ligne conçu pour détecter les textes générés par l’IA.
Cet outil permettait aux utilisateurs de coller un extrait de texte dans une zone de saisie, et il indiquait ensuite le pourcentage de l’extrait écrit par une intelligence artificielle. Cependant, dès le départ, OpenAI avait averti que les résultats de cet outil ne devaient pas être pris pour argent comptant, car il pouvait encore y avoir des erreurs, tant des faux positifs que des faux négatifs.
Aujourd’hui, OpenAI révèle des problèmes de détection de texte de ChatGPT, à cause des déficiences de l’AI Text Classifier. Cela explique pourquoi le bot n’avait pas été mis à jour depuis septembre 2021.
Les problèmes de l’AI Text Classifier
L’AI Text Classifier est l’outil gratuit que la firme OpenAI avait mis à disposition pour vérifier si un texte avait été généré par une IA ou non. Pour ce faire, il suffisait de copier-coller son texte dans l’outil, et celui-ci déterminait le degré de probabilité de génération par une IA sous quatre paramètres :
- Très improbable (very unlikely),
- Improbable (unlikely), si le texte était d’origine humaine,
- Incertain (unclear if it is), si l’origine de génération de texte était inconnue,
- Et possible ou probable (possibly or likely AI-generated), si c’était une IA qui avait tout écrit de A à Z.
Il s’est avéré qu’il y a près d’une semaine, la firme américaine a mis l’outil hors service en raison de problèmes de fiabilité depuis le 20 juillet dernier.
Les limites de l’AI Text Classifier mises en évidence
L’outil démontrait déjà certaines limites, notamment :
- Le nombre minimum de mots à analyser se situait entre 150 à 250 mots pour que l’outil fonctionne,
- Le manque de précision,
- La possibilité qu’il se trompe sur des textes écrits en anglais et sur des textes écrits par des enfants,
- La possibilité de modification du texte d’origine IA pour échapper à la détection de l’outil.
Cette anomalie de fiabilité a accentué ces limites, rendant désormais OpenAI incapable de différencier les origines des textes. Ainsi, OpenAI a souligné des problèmes de détection de ChatGPT dus à l’incapacité de différencier les textes d’origine humaine de ceux générés par ChatGPT.
« Nous travaillons à intégrer les retours et recherchons actuellement des techniques de détection de provenance plus efficaces pour le texte. Nous poursuivons notre engagement à développer et à déployer des mécanismes permettant aux utilisateurs de comprendre si le contenu audio ou visuel est généré par l’IA. »
OpenAI
Cette mise hors service temporaire de l’outil de détection de texte montre que la technologie des chatbots conversationnels comporte encore des failles importantes. Cela met également en lumière la confiance à accorder aux technologies issues de l’IA, comme l’avait souligné Elon Musk lorsqu’il a annoncé xAI. Par conséquent, le chemin est encore long avant d’arriver à une IA capable de mener des conversations totalement naturelles.
Source : Presse-citron
