Le développement de la science et de la technologie n’arrête pas de nous surprendre avec ses nombreuses avancées. Il y a quelques temps, nous assistions à l’avènement de ChatGPT qui a bouleversé le monde de la création de contenu écrit. Cela a donné lieu à l’émergence d’une multitude de détecteurs de contenu IA, lesquels sont censés permettre de repérer le contenu généré par l’IA. Mais ces outils de détection fonctionnent-ils réellement ? C’est sur cette question que se penche une étude menée par le département d’informatique de la Southern Methodist University.
Les chercheurs se sont attardés à analyser et comparer plusieurs modèles d’IA, dont Claude, Bard et ChatGPT, pour déterminer lesquels étaient les plus faciles à détecter. Une première constatation est que Claude a réussi à proposer un contenu qui échappait largement à la détection, ce qui est fascinant. Par ailleurs, il est ressorti de l’étude que les détecteurs de contenu IA recherchent des artefacts ou des signes indiquant qu’un contenu a été créé à l’aide de grands modèles de langage. Chaque LLM est accompagné d’un ensemble unique d’artefacts, qui peuvent tous les rendre plus ou moins difficiles à localiser une fois que tous les éléments ont été pris en compte.
Et c’est ainsi que les résultats ont été obtenus. Bard a atteint le plus haut niveau de précision lors de la détection de son propre contenu, suivi de ChatGPT, en dernière position. Mais une chose mérite d’être mentionnée. La détection automatique de ChatGPT oscille autour de 50 %, ce qui semble indiquer qu’elle a le même taux de précision que la simple supposition. La détection automatique du contenu paraphrasé a donné des résultats encore plus intéressants. Claude avait un score d’autodétection beaucoup plus élevé, et il avait également le score de précision le plus faible lorsqu’il était détecté par ZeroGPT.
Néanmoins, l’étude n’en reste pas là. Elle se concentre sur un sujet de recherche innovant qui tente de répondre à une problématique actuelle. La détection du contenu généré par l’IA est un enjeu majeur dans un large spectre d’applications. Il est crucial pour le monde universitaire, notamment, de distinguer les textes générés par l’IA des textes réels. Ce qui est en jeu, c’est la préservation de l’intégrité académique et la promotion d’un contenu authentique.
Si cette première étude est très limitée, elle pose néanmoins des jalons pour de futures recherches plus approfondies qui aborderont des sujets plus vastes, exploreront d’autres modèles d’IA et compareront les performances d’autodétection avec les meilleurs détecteurs actuels. La montée en puissance des générateurs de texte génératifs d’IA nécessite des outils de détection fiables pour maintenir l’intégrité universitaire. Il y a donc, compte tenu de la pertinence du sujet et de l’innovation qu’il présente, tout lieu de croire que cette étude a un avenir prometteur. Qui sait, peut-être assisterons-nous à d’importants développements dans les années à venir.