Les chercheurs de Microsoft utilisent ChatGPT pour instruire les robots et les drones

Le ChatGPT d'OpenAI n'est pas seulement bon pour générer des réponses de texte cohérentes à partir de prompts de langage naturel -- il peut également jouer un rôle dans les interactions humain-robot et utiliser les retours de capteurs pour écrire du code pour les actions du robot.

Microsoft a récemment mené une recherche pour "voir si ChatGPT peut penser au-delà du texte et raisonner sur le monde physique pour aider dans les tâches de robotique". L'objectif était de voir si les gens peuvent utiliser ChatGPT pour donner des instructions aux robots sans apprendre les langages de programmation ou comprendre les systèmes robotiques.

En profondeur : Ces experts sont en train de se dépêcher de protéger l'IA des pirates informatiques. Le temps presse.

"Le défi clé ici est d'apprendre à ChatGPT comment résoudre des problèmes en considérant les lois de la physique, le contexte de l'environnement opérationnel et comment les actions physiques du robot peuvent changer l'état du monde", note une équipe de recherche en systèmes autonomes et en robotique de Microsoft dans un article de blog.

Les chercheurs de Microsoft ont exploré la capacité de ChatGPT à générer du code, principalement en Python, pour des scénarios de robotique, tels que la planification zéro-shot et la génération de code, après que ChatGPT ait eu accès aux données de détection d'objet et de distance d'objet via des interfaces d'application.

ChatGPT peut produire du code car il a été entraîné sur de grandes quantités de code et de textes écrits. Le système a démontré sa capacité à résoudre des problèmes de codage et à déboguer des programmes, avec l'ajout d'une capacité unique à répondre au dialogue et à rechercher des clarifications. Il y a aussi Codex, le modèle basé sur GPT-3 d'OpenAI qui sous-tend le service de programmation en binôme de GitHub Copilot, qui complète automatiquement le code pour les développeurs dans plusieurs langues..

Aussi : Qu'est-ce que ChatGPT ? Tout ce que vous devez savoir

Avec ces capacités de dialogue et de clarification à l'esprit, Microsoft a testé la capacité de ChatGPT en tant qu'interface basée sur le langage entre un utilisateur non technique et un drone. Comme le notent les chercheurs dans un article, bien que GPT-3, LaMDA et Codex aient montré des promesses dans les tâches de planification de robots et la génération de code, ChatGPT en particulier est "un outil potentiellement plus polyvalent pour le domaine de la robotique, car il intègre les points forts des modèles de génération de langue naturelle et de code avec la flexibilité du dialogue."

Les chercheurs indiquent dans leur publication de blog : "ChatGPT a posé des questions de clarification lorsque les instructions de l'utilisateur étaient ambiguës et a écrit des structures de code complexes pour le drone telles qu'un motif en zigzag pour inspecter visuellement les étagères."

Microsoft a testé ChatGPT pour utiliser un bras robotique afin de déplacer des blocs pour former le logo Microsoft. Les chercheurs ont également chargé ChatGPT d'écrire un algorithme pour qu'un drone atteigne un point sans heurter d'obstacles. Ils ont également testé si ChatGPT pouvait décider où un robot devrait aller en fonction des retours de capteurs en temps réel.

Les chercheurs de Google Research et de Everyday Robots, propriété d'Alphabet, ont également travaillé sur des défis en robotique similaires en utilisant de grands modèles de langage appelés PaLM, ou Pathways Language Model, qui ont aidé un robot à traiter des questions ouvertes et à répondre de manière raisonnable.