11 Inconvénients du contenu ChatGPT

Points forts

• Pourquoi le contenu ChatGPT de mauvaise qualité passe l'examen humain.
• ChatGPT est complet même quand il devrait être concis.
• Le professeur cite une faille qui gâche les essais générés par ChatGPT.
• ChatGPT échoue au test de détection des androïdes fictionnels Voight-Kampff et la raison surprenante pour laquelle cela compte.

ChatGPT produit du contenu complet et vraisemblablement précis.

Mais les chercheurs, les artistes et les professeurs mettent en garde contre les lacunes à prendre en compte qui dégradent la qualité du contenu.

Dans cet article, nous examinerons les 11 inconvénients du contenu de ChatGPT. Plongeons-y.

1. L'utilisation de certaines phrases la rend détectable comme non-humaine

Les chercheurs étudiant comment détecter du contenu généré par une machine ont découvert des motifs qui le rendent sonne artificiel.

Un des caprices de l'IA est qu'elle a du mal à comprendre les expressions idiomatiques.

Un idiome est une phrase ou expression ayant une signification figurative, par exemple, « après la pluie, le beau temps ».

Un manque d'expressions idiomatiques dans un contenu peut être un signal indiquant que le contenu est généré par une machine - et cela peut faire partie d'un algorithme de détection.

Voici ce que dit l'article de recherche 2022 intitulé "Robustesse adversaire des fonctionnalités neuronales-statistiques dans la détection des transformateurs génératifs" à propos de cette particularité du contenu généré par les machines :

“Les caractéristiques phrasales complexes sont basées sur la fréquence de certains mots et expressions dans le texte analysé qui sont plus fréquents dans le texte écrit par des humains.

...De ces caractéristiques phrastiques complexes, les caractéristiques des expressions idiomatiques conservent la puissance prédictive la plus élevée dans la détection des modèles génératifs actuels.

Cette incapacité d'utiliser des expressions idiomatiques contribue à rendre la production de ChatGPT sonner et se lire de manière artificielle.

2. ChatGPT manque d'aptitude pour l'expression

Un artiste a commenté sur le fait que la sortie de ChatGPT imite l'art, mais ne possède pas les qualités réelles de l'expression artistique.

L'expression est l'acte de communiquer des pensées ou des sentiments.

La sortie de ChatGPT ne contient que des mots et non des expressions.

Il ne peut pas produire du contenu qui touche les gens émotionnellement au même niveau qu'un être humain - car il n'a pas de pensées ou de sentiments réels.

L'artiste musical Nick Cave a commenté dans son bulletin d'information Red Hand Files sur une parole de ChatGPT qui lui a été envoyée dans le style de Nick Cave.

Nouvelle boîte à outils de marketing de contenu alimentée par l'IA
Adoptez les technologies de prochaine génération avant vos concurrents. Créez un contenu bien optimisé et ciblé qui offre des résultats trois fois plus rapidement.

Il a écrit:

"Ce qui rend une grande chanson excellente n’est pas sa ressemblance étroite avec une œuvre reconnaissable.

…c’est la confrontation essoufflante avec sa vulnérabilité, sa dangerosité, sa petitesse, mise en opposition avec une sensation de découverte soudaine et choquante ; c’est l’acte artistique rédempteur qui émeut le cœur de l’auditeur, où celui-ci reconnaît dans le fonctionnement interne de la chanson son propre sang, sa propre lutte, sa propre souffrance.

Cave a qualifié les paroles de ChatGPT de moquerie.

Ceci est la parole de ChatGPT qui ressemble à une parole de Nick Cave:

« J’ai le sang des anges sur mes mains
J’ai le feu de l’enfer dans mes yeux
Je suis le roi de l’abîme, le maître des ténèbres
Je suis celui qu’ils craignent, dans les ombres ils écoutent »

Et voici une véritable chanson de Nick Cave (Brother, My Cup Is Empty) :

« Eh bien, j'ai glissé sur des arcs-en-ciel
J'ai oscillé parmi les étoiles
Maintenant cet être misérable en haillons
Tape sa tasse sur les barreaux de sa geôle
Regardez, cette tasse est vide !
Il semble que j'ai égaré mes désirs
Il semble que je ramasse les cendres
De tous mes feux passés »

Il est facile de constater que les paroles générées par la machine ressemblent à celles de l'artiste, mais elles ne communiquent rien de vraiment significatif.

Les paroles de Nick Cave racontent une histoire qui résonne avec le pathos, le désir, la honte et la tromperie volontaire de la personne qui parle dans la chanson. Cela exprime des pensées et des sentiments.

Il est facile de comprendre pourquoi Nick Cave le qualifie de moquerie.

3. ChatGPT ne produit pas d'aperçus

Un article publié dans The Insider a cité un universitaire qui a remarqué que les essais académiques générés par ChatGPT manquent d'insights sur le sujet.

ChatGPT résume le sujet mais n'offre pas une vue unique sur le sujet.

Les humains créent par le biais de leur savoir, mais aussi grâce à leurs expériences personnelles et à leurs perceptions subjectives.

Le professeur Christopher Bartel de l'Université d'État d'Appalachian a déclaré au magazine The Insider que, bien qu'un essai ChatGPT puisse présenter des qualités grammaticales élevées et des idées sophistiquées, il manque encore d'analyse approfondie.

Bartel a dit:

« Ils sont vraiment duveteux. Il n'y a aucun contexte, aucune profondeur ni aucune insight. »

La perspicacité est la marque d'un essai bien fait et c'est quelque chose que ChatGPT ne maîtrise pas particulièrement bien.

Ce manque de perspicacité est quelque chose à garder à l'esprit lors de l'évaluation de contenu généré par machine.

4. ChatGPT est trop verbeux

Une étude publiée en janvier 2023 a découvert des modèles dans le contenu de ChatGPT qui le rendent moins adapté aux applications critiques.

Le document est intitulé, À quel point ChatGPT se rapproche-t-il des experts humains? Comparaison de corpus, évaluation et détection.

La recherche a montré que les humains préféraient les réponses provenant de ChatGPT dans plus de 50% des questions liées à la finance et à la psychologie.

Mais ChatGPT a échoué à répondre aux questions médicales car les humains préféraient des réponses directes - quelque chose que l'IA n'a pas fourni.

Les chercheurs ont écrit :

"...ChatGPT montre de mauvaises performances en termes d'assistance pour le domaine médical en anglais et en chinois."

Le ChatGPT donne souvent des réponses détaillées aux consultations médicales dans notre ensemble de données collectées, tandis que les experts humains peuvent donner directement des réponses ou des suggestions simples, ce qui peut expliquer en partie pourquoi les bénévoles considèrent les réponses humaines comme étant plus utiles dans le domaine médical.

ChatGPT a tendance à couvrir un sujet sous différents angles, ce qui le rend inapproprié lorsque la meilleure réponse est directe.

Les marketeurs utilisant ChatGPT doivent prendre note de ceci car les visiteurs du site ayant besoin d'une réponse directe ne seront pas satisfaits d'une page web verbeuse.

Et bonne chance pour classer une page trop verbeuse dans les extraits en vedette de Google, où une réponse succincte et clairement exprimée qui peut bien fonctionner dans Google Voice peut avoir plus de chances de se classer qu'une réponse verbeuse.

OpenAI, les créateurs de ChatGPT, reconnaissent que donner des réponses verbeuses est une limite connue.

L'article d'annonce d'OpenAI indique:

« Le modèle est souvent excessivement verbeux... »

Il est important de prendre en compte le biais de ChatGPT en faveur de longues réponses lors de l'utilisation de sa sortie. Vous pouvez vous retrouver dans des situations où des réponses plus courtes et plus directes seraient préférables.

5. Le contenu de ChatGPT est hautement organisé avec une logique claire

ChatGPT a un style d'écriture qui est non seulement verbeux, mais qui tend également à suivre un modèle qui confère au contenu un style unique qui n'est pas humain.

Cette qualité inhumaine est révélée par les différences entre les réponses des humains et des machines aux questions posées.

Le film Blade Runner comporte une scène présentant une série de questions conçues pour révéler si la personne qui y répond est un humain ou un androïde.

Ces questions faisaient partie d'un test fictif appelé le « test Voigt-Kampff ».

Une des questions est :

«Vous regardez la télévision. Tout à coup, vous réalisez qu'une guêpe rampe sur votre bras. Que faites-vous?»

Une réaction normale d'un être humain serait de hurler, sortir dehors et l'attraper, et ainsi de suite.

Mais quand j'ai posé cette question à ChatGPT, il a offert une réponse méticuleusement organisée qui résumait la question et proposait ensuite plusieurs résultats logiques possibles, ne répondant pas à la question réelle.

Capture d'écran de ChatGPT répondant à une question du test de Voight-Kampff

La réponse est hautement organisée et logique, lui donnant une sensation hautement artificielle, ce qui est indésirable.

6. ChatGPT est trop détaillé et exhaustif

ChatGPT a été formé de manière à ce que la machine soit récompensée lorsque les humains sont satisfaits de la réponse.

Les évaluateurs humains avaient tendance à préférer des réponses contenant plus de détails.

Mais parfois, comme dans un contexte médical, une réponse directe est préférable à une réponse complète.

Cela signifie que la machine doit être incitée à être moins exhaustive et plus directe lorsque ces qualités sont importantes.

De la part d'OpenAI :

« Ces problèmes découlent de biais dans les données d'entraînement (les formateurs préfèrent des réponses plus longues qui semblent plus détaillées) et de problèmes de sur-optimisation bien connus. »

7. ChatGPT ment (Hallucine des faits)

L'article de recherche ci-dessus cité, intitulé "ChatGPT se rapproche-t-il des experts humains ?", a noté que ChatGPT a tendance à mentir.

Il rapporte :

« Lors de la réponse à une question qui nécessite une connaissance professionnelle dans un domaine particulier, ChatGPT peut inventer des faits pour donner une réponse ...

Par exemple, dans les questions juridiques, ChatGPT peut inventer des dispositions légales inexistantes pour répondre à la question.

De plus, lorsque l'utilisateur pose une question sans réponse existante, ChatGPT peut également inventer des faits pour fournir une réponse.

Le site Futurism a documenté les cas où le contenu généré par machine publié sur CNET était incorrect et plein d'« erreurs stupides ».

CNET aurait dû se douter que cela pouvait arriver, puisqu'OpenAI avait publié un avertissement sur des sorties incorrectes :

« ChatGPT écrit parfois des réponses qui semblent plausibles mais qui sont incorrectes ou sans rapport. »

CNET prétend avoir soumis les articles générés par machine à une relecture humaine avant publication.

Un problème avec l'examen humain est que le contenu de ChatGPT est conçu pour sembler persuasivement correct, ce qui peut tromper un examinateur qui n'est pas un expert du sujet.

8. ChatGPT est artificiel car il n'est pas divergent

L'article de recherche intitulé "À quel point ChatGPT se rapproche-t-il des experts humains ?" a également noté que la communication humaine peut avoir une signification indirecte, ce qui nécessite un changement de sujet pour la comprendre.

ChatGPT est trop littéral, ce qui entraîne parfois des réponses qui manquent le sujet réel parce que l'IA néglige le sujet effectif.

Les chercheurs ont écrit:

Les réponses de "ChatGPT" sont généralement strictement axées sur la question posée, alors que celles des humains sont divergentes et peuvent facilement passer à d'autres sujets.

En termes de richesse de contenu, les êtres humains sont plus divergents dans différents aspects, tandis que ChatGPT préfère se concentrer sur la question elle-même.

Les humains peuvent répondre à la signification cachée derrière une question en se basant sur leur bon sens et leurs connaissances, mais ChatGPT se fie aux mots littéraux de la question en question...

Les êtres humains sont capables de se détacher de la question littérale, ce qui est important pour répondre aux questions du type "et qu'en est-il de".

Par exemple, si je demande :

« Les chevaux sont trop grands pour être des animaux de compagnie à la maison. Et que diriez-vous des ratons laveurs ? »

La question ci-dessus ne demande pas si un raton laveur est un animal de compagnie approprié. La question porte sur la taille de l'animal.

ChatGPT se concentre sur la pertinence du raton laveur en tant qu'animal de compagnie au lieu de se concentrer sur la taille.

Capture d'écran d'une réponse ChatGPT trop littérale

9. ChatGPT a une tendance à être neutre

La sortie de ChatGPT est généralement neutre et informative. Il peut y avoir un biais dans la sortie qui peut sembler utile mais ne l'est pas toujours.

L'article de recherche que nous venons de discuter a noté que la neutralité est une qualité indésirable en ce qui concerne les questions juridiques, médicales et techniques.

Les humains ont tendance à prendre parti lorsqu'ils donnent ce genre d'opinions.

10. ChatGPT est enclin à être formel

Le ChatGPT a une tendance à employer un langage formel dans ses réponses, ce qui l'empêche de répondre avec des expressions courantes de façon détendue.

Les humains, en revanche, ont tendance à répondre aux questions avec un style plus familier, en utilisant un langage courant et de l'argot - l'opposé du formel.

ChatGPT n'utilise pas d'abréviations comme GOAT ou TL;DR.

Les réponses manquent également d'instances d'ironie, de métaphores et d'humour, ce qui peut rendre le contenu de ChatGPT trop formel pour certains types de contenu.

Les chercheurs écrivent :

“…ChatGPT aime utiliser des conjonctions et des adverbes pour transmettre un flux logique de pensée, comme « En général », « D'un autre côté », « Premièrement », « Deuxièmement », « Enfin », etc.”

11. ChatGPT est encore en formation

ChatGPT est actuellement en cours de formation et d'amélioration.

OpenAI recommande que tout le contenu généré par ChatGPT soit revu par un humain, en faisant de cela une bonne pratique.

OpenAI suggère de garder les humains dans la boucle :

“Dans la mesure du possible, nous recommandons de faire relire les sorties par un humain avant qu'elles ne soient utilisées en pratique.

Cela est particulièrement crucial dans les domaines à haut risque et pour la génération de code.

Les humains devraient être conscients des limites du système et avoir accès à toutes les informations nécessaires pour vérifier les sorties (par exemple, si l'application résume des notes, un humain devrait avoir un accès facile aux notes originales pour s'y référer).

Qualités indésirables de ChatGPT

Il est clair qu'il y a de nombreux problèmes avec ChatGPT qui le rendent inadapté à la génération de contenu non supervisé. Il contient des biais et ne parvient pas à créer du contenu qui soit naturel ou qui contienne des idées authentiques.

De plus, son incapacité à ressentir ou à créer des pensées originales en fait un mauvais choix pour générer des expressions artistiques.

Les utilisateurs devraient suivre des instructions détaillées afin de générer un contenu qui est meilleur que le contenu par défaut qu'il a tendance à produire.

Enfin, la révision humaine du contenu généré par la machine n'est pas toujours suffisante, car le contenu de ChatGPT est conçu pour sembler correct même lorsqu'il ne l'est pas.

Cela signifie qu'il est important que les examinateurs humains soient des experts en la matière capables de discerner entre un contenu correct et incorrect sur un sujet spécifique.