OpenAI enterre son outil de détection de textes générés par IA
Pas facile de repérer du texte généré par l'IA, même quand on s'appelle OpenAI : l'entreprise a discrètement enterré son outil d'analyse de texte présenté en février dernier. Celui-ci avait notamment pour but de répondre aux demandes du personnel éducatif, inquiet d'un afflux de copies rédigées à l'aide de ChatGPT. En pratique, il pouvait vérifier un texte et dire s'il estimait qu'il était d'origine humaine ou bien produit par une machine.
OpenAI ne s'est pas fendue d'une annonce officielle, mais a simplement mis à jour le billet de blog dans lequel elle présentait son outil. « À partir du 20 juillet 2023, le classificateur d'IA ne sera plus disponible en raison de son faible taux de précision », explique l'entreprise dans un court paragraphe. Le lien permettant d'accéder à l'outil redirige désormais sur une erreur 404.
Il faut dire que les performances de ce « classificateur » étaient plutôt médiocres. Ses créateurs ont effectué des tests montrant que l'outil n'était pas sûr de lui dans une grande partie des cas, et qu'il avait attribué 9 % des textes humains à une machine. Ce service en ligne ne fonctionnait qu'en anglais, ce qui limitait fortement sa portée.
OpenAI ne s'avoue pas vaincue pour autant et explique travailler sur une nouvelle version plus performante en se basant sur les retours de cette première expérimentation. Elle rappelle également plancher sur des outils similaires pour les fichiers audio et les images.
Si je ne dis pas de bêtises et d’après ce que je pense comprendre la nouvelle version qui devra faire ce contrôle sera possiblement (ou probablement) de l’IA vraiment dopée pour déterminer que le texte qu’elle contrôle est fait à base d’IA et non d’humains…
Si je suis ds la bonne direction cela voudra dire peut être qu’il y aura 2 IA soit une plus « intelligente » que l’autre pour être plus « maline » ?
Je demande d’avance pardon aux sachants si je suis complètement à côté de la plaque… Ce qui est fort possible 😉
Si le contrôle humain même aidé par des machines X oh Y n’est plus fiable on va devoir se poser de sérieuses questions 🙄
Dans une autre mesure et cela n’a rien avoir avec du contrôle de texte cela me fait rappeler le tout début du film Blade Runner (première version) ds les années 80 ou pour détecter si la chose en face du policier était un robot dernière génération où un humain il mettait une espèce de scanner loupe sur la pupille et le policier (Harrisson Ford) lui posait à certains moments des questions biscornues qui n’avaient aucun lien logique entres elles et si la pupille du « robot humanoïde » partait en choucroute c’est que c’était un robot et non un humain…
@albert13
Dans Blade Runner je crois qu'il leur fait passer un test de Turing plus sophistiqué en jouant sur les émotions pour les confondre. (C'est mon interprétation).
@powergeek
C’est ça. Les « répliquants » n’étant, en théorie, pas capables d’émotion.
@powergeek
tu as certainement raison 😉
Je ne connaissais pas Mr Turing merci de m’avoir fait découvrir les machines ou concepts qui ont été issues des travaux de ce grand mathématicien…
D’après ce que je viens de lire Chat GPT semble (je dis bien semble) avoir passer certains tests Turing avec un certain succès… Et on en est qu’à Chat GPT 4 et Elon n’a pas dit son dernier mot sur l’IA malgré qu’il ait été pris de cours par Open AI 😉
Donc on en est qu’aux balbutiements de l’IA je ne sais pas ce que cela va donner ds une ou deux décennies tellement ça avance vite… ça fait ds même un peu froid ds le dos, vu ce que peuvent en faire des personnes mal intentionnées ou des états ou des chefs d’états mafieux ou corrompus etc.
@albert13
De tout ce que je lis, vois, écoute, ça ne se mesure pas en décennies mais en mois. On est sur une progression logarithmique de l'IA. Chaque génération aidant à concevoir la suivante, on n'est plus du tout sur une progression humaine. Il n'y a pas une semaine sans qu'on annonce une nouvelle IA. Aujourd'hui la mode est sur le prometteur Claude 2 mais hier j'ai joué avec AutoGPT sur les sites godmode.space et agentgpt.reworkd.ai. On entre dans une toute nouvelle dimension. Je t'invite à tester les versions gratuites. Tu verras très vite que chatgpt te semblera déjà dépassé !
@powergeek
C’est chatGPT le moteur. C’est du chaining de Prompt.
@YosraF
Oui exact. Merci pour la précision. 👍
@albert13
"aux sachants" , les sachets, les sac à sucre
@albert13
« Je demande d’avance pardon aux sachants »
J’ai adoré cette phrase 😅😅
J'ai soumis du texte généré par chatGPT 4 et légèrement modifié par mes soins à différents sites capables de soi disant détecter l'IA. Tous m'ont indiqué que le texte était à 95% d'origine humaine. Sans modification on était à 90% humain. Si on paramètre bien son prompt en respectant 3 principes de base (le contexte, la tâche et le rôle) il est quasi impossible de dire que c'est du texte généré. Après sur des textes très longs, résultats de plusieurs prompts, on reconnaît une trame de la construction de la réponse. Une forme de répétition détectable et pas naturelle. Quand la version 32K tokens sera dispo ce défaut sera corrigé.
Perso je partirais sur un modèle qui détecte les fautes d’orthographe et si au moins une faute = humain 😁
@jopaone
Cé pa fo.
@Derw
tûe ah rézon 👍🤣
@jopaone
ChatGPT fait des fautes. Parfois il laisse traîner un mot en anglais dans la réponse en français. Il a aussi des problèmes avec certains pronoms.
@powergeek
Oui ma remarque était volontairement caricaturale, du reste je constate beaucoup moins d’erreurs avec GPT-4
@jopaone
En ce qui me concerne je continuerai à faire comme je fais d’habitude … j’interrogerai l’élève pour voir si il a compris ce qu’il a écrit lol😅.
Parce que des élèves qui font faire leur devoir par d’autres (un autre élève, un parent etc…) on n’a pas attendu chatGPT pour que ça existe 😉.
Les profs sont paumés face à l’invasion des AI dans la production de leurs têtes blondes ?
Reste une solution, le passeport biométrique ! renseigné depuis le plus jeune âge comme outil de détection !
Le sport y est passé pour mieux identifier le dopage, et bien l’école s’en servira pour détecter si le travail fourni par un élève est en phase avec ses capacités !
En fait on y passera tous… parce qu’à la vitesse ou ça nous pousse au cul on aura rapidement besoin d’identifier clairement le bon grain de l’ivraie (après quant à savoir qui est le bon grain de l’humain ou de l’AI…)
Le RGPD va vite se retrouver sur l’étagère des idées louables qui prennent la poussière…
@jujulec
Pourquoi sanctionner l'usage de L'IA ? Ne devrait on pas plutôt enseigner aux enfants de bien l'utiliser pour être plus efficaces ? Chaque progrès technologique majeur divise la société par 2. Ceux qui savent et ceux qui ne savent pas. Il y a eu l'ordinateur personnel, puis internet, le smartphone et à présent l'IA. Quand j'étais enfant mon père m'avait appris à extraire une racine carré d'un nombre avec une feuille et un stylo. Qui sait faire ça encore de nos jours ? Et à quoi ça sert au quotidien de savoir le faire ? Je ne parle pas de connaissance mais d'usage. Un de mes amis, brillant ingénieur, de peur de se faire remplacer par l'IA a changé de métier pour devenir masseur. Alors qu'il aurait très bien pu apprendre à maîtriser cet outil. Ce qui m'inquiète le plus c'est l'avenir des LLM. Aujourd'hui ils sont construits à 100% avec du savoir humain. Mais la part des connaissances créées par IA vont augmenter à vitesse grand V. Dans quelques années on aura du mal à faire la part entre les 2.
@powergeek
"Pourquoi sanctionner l'usage de L'IA ? Ne devrait on pas plutôt enseigner aux enfants de bien l'utiliser pour être plus efficaces ?"
parce que l'humain ne fonctionne pas ainsi, et vous même vous n'y pourrez rien et vous le réaliserez assez vite.
Ce "débat" (cette perte de temps oui), on l'a déjà vécu
peut être ici des gens l'ont vécu plusieurs fois
- la calculatrice avec résolution symbolique
- wikipedia
- l'informatisation générale de la société
tout cela est strictement similaire aux IA
les outils ne disparaissent pas et personne ne les rejette, mais vous NE pouvez PAS (et vous ne le ferez pas) laisser les enfants en dépendre au lieu d'apprendre à résoudre par eux même
après, ils s'en serviront
mais pendant l'école, évidemment qu'on restreigne.
vous bridez les wifi, vous filtrez les wikipedias, vous refusez les mémoires et rédactions manifestement pondus sans travail personnel
un nouvel outil arrive ? la belle affaire, on est en 2023, vous croyez que c'est le premier nouvel outil ? ben les gens s'adaptent. Les profs peut être reviendront à faire des redacs en école sur un banc en bois avec rien d'autre.
les devoirs à la maison deviendront beaucoup plus théoriques ?
que sais je
mais je sais une chose:
- l'humain ne va pas abandonner parce qu'on a inventé des algorithmes de générations de contenu ou la machine quantique à anti-chronitrons à faire des souhaits ou autre bêtise.
- les enseignants s'adapteront comme toujours
- le petit jeune nourri au réseau (as)social et IA, une fois devenu prof, il va faire avec et organisera une pédagogie qui restreindra l'intérêt de faire pondre du contenu par automate.
Mon point est: votre propos est un propos d'abandon, de peur, de fatalisme et de pleurnicherie face à l'Omnisciente Machine, édition 3509e.
Mais ce n'est pas ainsi que fonctionne et pense l'être humain et son rapport à la machine (machine que NOUS créons, pas les petits lutins de saturnes) : on fait avec et on l'adapte comme on s'adapte à nos besoins.
bref, vous allez vous en remettre, votre pote masseur aussi.
@oomu
Cher oomu, donnez votre avis plutôt que de répondre individuellement à chaque participant à cette discussion. C’est pénible de vous lire. Chacune de vos interventions est toujours une petite tape sur l’épaule ou sur la main pour dire « Bonhomme, un jour tu comprendras, laisse faire les grands car eux ils savent. » Non seulement c’est prétentieux mais ne vous connaissant pas, vous y perdez en crédibilité. Je pensais vous avoir bloqué. Je vais donc le faire. Ne vous donnez pas la peine de me répondre. Nous n’avons pas la même conception d’une intervention sur un forum. Je participe sans prétention. Vous polluez avec votre logorrhée de donneur de leçon et de détenteur de la Vérité.
Pour conclure, vous m’emmerdez !
@jujulec
Comme je disais plus haut … la problématique n’est pas là 🙂.
On n’a pas attendu chatGPT pour déceler si un élève avait fait faire son devoir par un copain ou ses parents. Il suffit de questionner l’élève sur ce qu’il a fait … s’il est capable de répondre en montrant qu’il a compris … c’est gagné, sinon … 🙂
@cecile_aelita
oui.
et j'ai attendu personne pour gaver ma calculatrice (avant que les profs réalisent ce qui était possible) d'anti-sèches, jusqu'à ce que les exams soient devenus nettement plus créatifs...
@oomu
Même si pour le coup la solution est beaucoup plus simple dans ce cas là : « calculatrice interdite » 😋🤭
Même histoire qu’avec Wikipedia. D’ailleurs ChatGPT ce n’est pas beaucoup plus que ça. Sauf qu’il vérifie son information avec n’importe quoi et que la statistique (donc le volume) fait foi pour lui.
Le prochain outil va régler le problème, il vérifiera juste sur les serveurs s’il a déjà écrit le texte…
Bref, nous sommes encore très loin de skynet (et ça n’arrivera pas, puisque c’est basé que sur un volume d’existant, donc sans création).
@Nesus
Surtout que au pire … un élève avec un peu de jugeote qui veut vraiment tricher … il n’aura qu’à reformuler un peu ce que lui aura dit chatGPT à sa sauce et ce ne sera plus un texte généré par IA😋… même si au final c’est bien l’IA qui aura fait 95% du devoir 😅.
@cecile_aelita
Tout à fait. D’autant que ça n’a pas vraiment d’importance, ce qui compte c’est que l’élève en retiendra. De notre temps, nous achetions des livre avec des corrigés d’exercice, puis nous avons eu les élèves Wikipedia et maintenant les ChatGPT.
Ce qu’il faut, c’est des têtes bien faites, pas bien pleines.
Quand j’étais jeune on nous demandait de calculer de tête, maintenant nous avons tous un calculatrice dans nos téléphones et même mieux excel. Par contre, ces outils n’ont aucun intérêt si on ne connaît pas la logique du calcul. Il faut juste vivre avec son temps.
@Nesus
« Tout à fait. D’autant que ça n’a pas vraiment d’importance, ce qui compte c’est que l’élève en retiendra. »
Tout à fait d’accord avec ça 🙂. C’est ce que j’explique à mes élèves et leurs parents tous les ans … ce qui m’importe c’est pas qu’un élève me donne la bonne réponse de tête … s’il ne la connaît pas ce qui m’importe c’est qu’il sache où trouver l’information (dans un affichage de la classe, dans son porte vue d’aide etc…)🙂.
Il n’y a que quelques exceptions quand même ! Les tables d’additions et de multiplications l’alphabet et les nombres🙂 ! C’est un package minimal qu’ils doivent quand même maîtriser pour une notion « d’efficacité »… s’il doivent aller chercher dans la classe toutes les 2mn pour la moindre addition ou pour chaque lettre de l’alphabet 😅… forcément ça va coincer ^^. Même si vous avez raison que aujourd’hui ils auront toujours accès à une calculette pas loin 🙂.
@cecile_aelita
Oui, il y a quand même un minimum à savoir de tête. Personne n’aurait l’idée de dire qu’il ne connaît pas son nom parce que c’est marqué sur sa carte d’identité. Comme tout, il y a une juste mesure.
En même temps, en utilisant ce minimum, on finit par l’apprendre.
@Nesus
Exactement ! Vous avez parfaitement résumé ! Ce n’est pas parce qu’on a un outil qui remplace le savoir qu’on peut s’abstenir de le connaître ce savoir 🙂, mais ce n’est pas obligatoire pour tout ! L’essentiel c’est d’être capable de résoudre un problème lorsqu’on nous le pose et d’aller chercher les outils et le savoir quand j’en ai besoin et où il se trouve 🙂.
C’est le principe du « savoir » et du « savoir faire »🙂.
Les deux sont indispensables :
Si je connais par coeur le théorème de Pythagore mais que je ne sais pas quand je dois m’en servir … bah je ne vais pas pouvoir résoudre mon problème !
Si je sais quand utiliser le théorème de pythagore mais que je ne me souviens plus de la formule … idem … je n’aurai pas la réponse à mon problème …
Par contre on voit bien que le 2eme cas est plus facilement contournable avec un outil (un affichage en l’occurrence)🙂. Et personnellement en temps que prof … évidement que je préfère qu’un élève arrive à avoir les 2 😅! Mais au pire je préfère qu’il sache quand utiliser tel ou tel règle/principe etc … mais qu’il utilise un affichage pour s’en aider … plutôt qu’il connaisse par cœur la règle du à/à mais qu’il ne l’utilise jamais dans ses copies 🙂.
Aujourd'hui, les IA sont entrainées grâce à des textes rédigés par des êtres humains et trouvés sur Internet.
Mais que se passera-t-il le jour où le nombre de textes qu'on peut trouver sur Internet sera dans une proportion significative du texte généré par une IA ?
Si les IA continuent à "apprendre" en scrutant Internet, petit à petit leur data sera constitué par de plus en plus de données provenant d'IA, d'autres IA voire de l'IA elle même qui pourra s'entrainer avec des données qu'elle a généré elle même ?
Ça ressemble à genre de boucle de rétro-action.
Curieux de voir ce que cela va donner.
À mon avis, si l'apprentissage n'arrive pas à filtrer les textes provenant d'IA dans ses data d'apprentissage, ça risque de donner des trucs rigolos peut-être mais surtout de plus en plus mauvais.
Et ceux qui auront tout misé dessus et remplacé des êtres humain par ces IA risquent de le regretter.
@marc_os
Je n'avais pas lu ton post avant d'écrire le mien. Je vois que nous partageons la même inquiétude.
Ca peut donner ceci
Conclusion : il n'y a pas d'"intelligence" derrière ces modèles. Ces chercheurs conseillent d'avoir une base de données saines : "To maintain trustworthy datasets containing exclusively real data, the obvious recommendation is for the community to develop methods to identify synthetic data"
On n'a pas fini de rire.
Il m’a fallu 30 secondes et 3 lignes pour me rendre compte qu’une lettre de motivation n’avait pas été écrite par son auteur et que ça puait l’IA.
Alors certes je connaissais l’auteur et son âge, et son niveau théorique en anglais.
Mais le simple choix de certains mots ou tournures était un gros indicateur.
En supposant que je sois le recruteur final (et non le correcteur), je jette direct la lettre à la corbeille ou je me fais le gars en entretien oral.
Ça craint vraiment.
@xDave
Tout dépend de l'IA utilisée. CHATGPT 3.5 est assez mauvais pour ça. La version 4 bien orientée est plus coriace. Mais en entretien tu le démasques sans problème. Son vocabulaire ne sera pas le même. Mais au moins il aura atteint cette étape 😅
@xDave
Tout à fait ! Cette année on a été confronté à nos premiers mémoires réalisés grâce à ChatGPT. Mais les étudiants ne se rendent même pas compte que pour certains d’entre eux nous corrigeons leurs copies depuis 2 ou 3 ans et connaissons plutôt pas mal leur style et leurs travers rédactionnels.
Pour le dire autrement un mémoire écrit de cette manière pue l’iA !!! Et la soutenance est un désastre !!
@nicolier
On est d’accord.
Ils se tirent une balle dans le pied avant même d’être dans les starting blocks.
@nicolier
"Pour le dire autrement un mémoire écrit de cette manière pue l’iA !!! Et la soutenance est un désastre !!"
Un mémoire qui pue l’IA ne va même pas en soutenance, chez nous. On voit l’étudiant avant pour le confronter à sa fraude.
@xDave
oui.
@xDave
Pourtant le monde du travail sera divisé en deux : ceux qui savent utiliser l’IA et ceux rétifs au changement. Pas sûr que j’eus fait le même choix que toi.
Ça dépend du boulot mais une personne qui sait utiliser chat GPT, c’est un plus.
C’est comme si je dois choisir entre deux champions de vélo mais un est avec une bicyclette traditionnelle et l’autre à un vélo électrique voire une mobilette !
@helmut
Pfff, c’est beau le rêve. Je rappelle qu’il y a quelques temps, on nous disait exactement la même chose pour le metaverse.
Faut se méfier des modes.
@Nesus
J’imagine que Hollywood s’est mis en grève aussi à cause d’un phénomène de mode…
@helmut
C’est quoi l’intérêt de ce commentaire ?
Expliquer que des gens dont le métier est d’écrire des scénarios, ont un avis éclairé sur une technologie et une vision éclairée de l’avenir ?
Êtes-vous vraiment sérieux ?
Vous avez besoin d’ouvrages afin d’étudier les logiques des mouvements de grèves, des peurs de masse ? Parce que là, il est vraiment temps que vous vous y mettiez.
@Nesus
L’intérêt du commentaire est qu’il ne faut pas s’imaginer que le AI est, « un phénomène de mode ». Il y a un effet de mode au sein de la révolution AI mais entre les deux il y a une nuance de taille.
C’est justement face à cette menace que les scénaristes et réalisateurs se sont mis en grève.
Ce qui veut bien dire que personne ne minimise la vague AI et demande des règles.
J’espère que ça éclaircit la pensée. Faute de quoi, et principe même d’un forum, accordons nous de ne pas être d’accords sur l’ampleur du phénomène AI.
Le monde sera divisé en deux : ceux qui maîtrisent l’AI et ceux qui n’auront pas emboîté le pas, pour multiples raisons, mais toutes mauvaises.
@helmut
Donc ce n’était pas un argument.
D’autant qu’il faudrait déjà définir ce qui est le périmètre de l’ia. Ce qui n’est pas un phénomène de mode, c’est de sous traiter des tâches plus ou moins automatiques à un ordinateur. Et que ce volume de tâches est en train de progresser via l’ia (ce qui est le cas depuis de longues années, sauf qu’open ia a réussi à en faire un fantasme à la mode).
Pour revenir aux scénaristes, il n’y a aucune menace pour qui sait vraiment écrire. C’est sûr que si c’est pour juste pomper les épisodes les uns envers les autres, là il y a de quoi s’inquiéter. Pour le reste, ce n’est ni réfléchi, ni cohérent. Donc se mettre en grève parce qu’on pense que l’ia va vous voler votre travail, c’est bien mal comprendre ce qu’est la soit disante intelligence artificielle. Donc votre exemple était le pire qui pouvait être pris. Qu’on ne soit pas d’accord, c’est tout à fait acceptable. Que l’argumentation du désaccord repose sur du fantasme pur, pose problème.
Le monde est divisé entre ceux qui comprennent ce qui se passe et ceux qui le fantasment. Enfin, il y a aussi ceux qui veulent se faire beaucoup d’argent sur la question et qui alimentent ceux qui fantasment, mais passons.
Ceux qui le fantasment vont rapidement arrêter l’effet de mode qui fait croire que skynet est en route et que les emplois vont massivement disparaître, remplacés par l’ia.
C’est comme dire que l’industrialisation, puis la robotique allaient remplacer l’être humain.
Bref…
@Nesus
Un seul mot j’ai retenu de toute cette diatribe : “bref”
On ne va pas barber plus les sympathiques lecteurs de ce forum avec notre partie de ping-pong verbal.
Ok : match nul !
On recroisera le verbe sur un autre sujet.
Désolé pour tous mes posts sur le sujet mais ça me passionne 🤗
@powergeek
lisez du Arthur C Clark (pour en voir le prodige) et du Philip K Dick (pour en voir la médiocrité)
Il me semble que l’industrialisation de la production de contenu (textes, images ou musiques) est en marche depuis longtemps, recourt à des standards, des patterns, pour produire plus vite et plus conforme aux attentes des cibles. L’IA fait certes de la merde, mais est en passe de le faire mieux que les humains qui en faisaient déjà.
Quelques années dans le consulting m’ont exposé à des tombereaux de textes artificiels, sans fond et enflés de jargon vide de sens (comme dans « les deux Alfred » de Bruno Podalydès). Et ça, c’est sûr, c’est impossible à différencier d’un contenu généré aujourd’hui par une IA.
Or, l’entreprise a le plus souvent besoin d’un truc produit rapidement, conforme aux tendances, ce que l’IA fait de mieux en mieux. Et dans Entreprise, j’inclus l’industrie du livre, de la musique et du cinéma.
Reste que même dans ces rivières de conformité, on finit par avoir besoin de quelques écarts, soit pour se différencier, soit parce que le public commence à s’ennuyer.
Pour les profs, ça va devenir difficile. Dès cette année, certains de mes élèves s’en sont servi. C’est à l’oral que je détecte les fraudes: l’élève qui ne sait pas expliquer sa solution l’a pompée sans la comprendre (que ce soit en copiant, avec ses parents, ou avec IA). Celui qui sait l’expliquer a fait des progrès, même s’il s’est fait aider: j’accorde les points. Bref: on ne pourra pas interdire l’IA, on ne pourra plus la détecter, mais on pourra s’assurer que l’élève en fait bon usage.
@DahuLArthropode
bah, une fois que je les aurai en collègues en période d'essai, on les carbonisera et on dira "désolé, mais ça ne convient pas à nos besoins et nos manières de fonctionner, ce n'est pas vous, c'est nous."
@oomu
Tant mieux s’il reste des îlots pour les gens créatifs et/ou intelligents. Comme j’ai traversé des mers où les galériens et quelques garde-chiourmes qui leur donnaient la cadence semblaient suffire, (pour le cap, il suffisait de suivre le bateau de devant), je me réjouis qu’il y ait quelque part des exigences autres que les quantités, la cadence et la conformité.
Pire: chez la plupart de mes clients, ils n’y avait que des garde-chiourme, qui avaient oublié à quoi ressemble une rame, et qui donnaient des ordres aux rameurs d’Inde ou de Tunisie.
La tendance actuelle est de demander à l’école de répondre aux besoins de la société, voire des entreprises. Et des élèves qui savent utiliser l’IA rempliront bien ces cases. Les profs qui voudraient, de surcroît, faire des citoyens acceptables et des esprits à peu près libres, ne peuvent pas pour autant s’en affranchir. Ils peuvent au moins aider l’élève à constater ses limites, et l’inviter à ne pas se contenter de si peu.
Pages