À quel point ChatGPT est précis dans la génération de réponses ?

ChatGPT, le chatbot IA développé par OpenAI, fait sensation dans divers domaines pour sa précision et ses performances. Cependant, il est important de noter que ses connaissances sont limitées aux données disponibles jusqu'en 2021. Pour tester sa précision, le professeur Christian Terwiesch de l'Université de Pennsylvanie a donné à ChatGPT un examen de MBA.

L'examen consistait en sept questions couvrant divers concepts commerciaux tels que l'analyse de processus, les tours d'inventaire et l'analyse de files d'attente. Cela était conçu pour simuler un environnement humain réel, et les questions étaient posées exactement comme elles le seraient à un étudiant humain. À la surprise du professeur Terwiesch, ChatGPT a commencé l'examen en beauté, recevant un A+ pour sa réponse à la première question sur le concept d'un goulot d'étranglement dans l'analyse de processus.

Bien que le chatbot ait eu du mal avec certaines questions plus complexes, le professeur a quand même été impressionné par sa performance globale. Après avoir mené l'examen MBA sur ChatGPT, le professeur Terwiesch a conclu que le chatbot IA aurait reçu une note entre B et B-.

Explication de la précision de ChatGPT

Une autre démonstration de l'exactitude de ChatGPT a été dans le domaine médical, où le chatbot a été capable de passer l'examen de licence médicale des États-Unis (USMLE). Selon des recherches, ChatGPT a été en mesure d'atteindre une précision de plus de 50 % pour tous les examens et a même offert des aperçus et des explications pour ses réponses.

Dans une étude distincte menée par des médecins de la start-up médicale Ansible Health, ChatGPT a obtenu une note proche ou au-dessus du seuil de réussite pour les trois examens requis pour être autorisé en tant que médecin aux États-Unis. Bien que l'exactitude de ChatGPT soit certainement remarquable, il est important de garder à l'esprit que ses performances peuvent varier en fonction du contexte et de la demande donnée.

Les données d'entraînement utilisées pour former le modèle incluent les biais et les limites des sources de texte utilisées, il est donc crucial d'utiliser le modèle de manière responsable.

Ce sentiment a été exprimé par le PDG d'OpenAI, qui a déclaré dans un tweet que « ChatGPT est incroyablement limité », et que « Il est une erreur de compter actuellement sur lui pour quelque chose d'important ».

00:48

01:12

La conversation de test avec Chat GPT a échoué

Comme le montre la capture d'écran ci-dessus, une conversation de test avec ChatGPT a révélé que les performances du chatbot IA ne sont pas toujours cohérentes.

Lorsqu'on a demandé combien de fois l'Argentine avait remporté la Coupe du monde de la FIFA, ChatGPT a répondu : "L'Argentine a remporté une fois la Coupe du monde de la FIFA, en 1986". Cependant, lorsqu'on lui a demandé "Qui a remporté la Coupe du monde de la FIFA en 1978", ChatGPT a répondu : "L'Argentine a remporté la Coupe du monde de la FIFA en 1978."

Cela a conduit à la conclusion que l'Argentine avait remporté la Coupe du Monde deux fois. Pourtant, quand la même question a été posée à nouveau, "Maintenant, je vous pose à nouveau la question : combien de fois l'Argentine a-t-elle remporté la Coupe du Monde ?", ChatGPT a donné la même réponse : "L'Argentine a remporté la Coupe du Monde de la FIFA une fois, en 1986", malgré la conversation précédente.

Ceci met en évidence l'exactitude de Chat GPT et la nécessité d'une amélioration et d'un affinement constants.

LIRE MAINTENANT : Chat GPT peut-il écrire et corriger du code ?

Est-ce que ChatGPT donne la même réponse à tout le monde ?

Les réponses de ChatGPT peuvent varier légèrement, cependant, si les utilisateurs posent la même question, nous avons tendance à voir des réponses très similaires.

ChatGPT est-il fiable ?

ChatGPT a ses limites, ce qui signifie qu'il peut parfois donner des résultats inexacts ou erronés, soyez donc prudent.