Q&A d’un ingénieur de prompt professionnel

Dans une vidéo de 14 minutes, Mike Taylor (qui a écrit un livre sur le sujet) répond à des questions pertinentes sur la création de prompts pour les LLMs (ChatGPT, Mistral, Claude …).

Voici les moments importants de la vidéo, en français.

Qu’est-ce qu’un ingénieur de prompt ?

L’ingénierie des prompts (la création et l’optimisation des instructions données aux IA) consiste à faire des tests A/B (comparaison de deux versions différentes) sur de nombreuses variations de prompts. Je peux essayer de poser une question à l’IA d’une manière, puis d’une manière complètement différente, pour voir laquelle fonctionne le mieux. Un ingénieur de prompt pourrait être employé par une entreprise afin d’optimiser les prompts qu’elle utilise dans ses applications d’IA.

Les bonnes manières avec les IA : s’il vous plaît et merci ?

Utiliser spécifiquement « s’il vous plaît » et « merci » n’améliore pas les résultats, mais être émotionnel dans vos prompts, par exemple en utilisant des majuscules, améliore effectivement les performances.

Par exemple, si vous dites « C’est très important pour ma carrière » et que vous ajoutez cela à votre prompt, il fera effectivement un travail plus diligent. Il a appris cela en lisant des posts sur Reddit (un forum en ligne) et des posts sur les réseaux sociaux, où lorsque quelqu’un dit « C’est très important pour ma carrière », les autres personnes qui répondent le font effectivement de manière plus diligente.

ChatGPT devient-il paresseux parfois ?

Une chose que nous avons observée l’hiver dernier est que ChatGPT a commencé à devenir un peu paresseux, et ce que quelqu’un a découvert, c’est que lorsqu’il sait que c’est décembre, ChatGPT devient effectivement plus paresseux parce qu’il a appris de nous que l’on doit travailler un peu moins pendant les vacances.

Prendre le rôle d’un astrophysicien : est-ce utile pour les LLM ?

Si je demande à l’IA de me parler de la mécanique quantique en tant qu’astrophysicien, il utilise beaucoup de grands mots qu’un astrophysicien typique connaîtrait. Nous pouvons ensuite lui demander la même chose en tant qu’enfant de 5 ans, et maintenant il explique la mécanique quantique comme un monde magique où les petites choses comme les atomes peuvent être à deux endroits en même temps.

La règle générale est que vous devez être direct et concis, comme un astrophysicien ou en vous faisant passer pour un astrophysicien, cela tend à mieux fonctionner que d’ajouter des mots inutiles comme « imagine ».

Améliorer ses prompts

Il existe en fait des milliers de techniques d’ingénierie de prompts, mais il y en a deux qui donnent les meilleurs résultats avec le moins d’effort :

1. Donner des directives
2. Fournir des exemples

Par exemple, pour inventer un produit où il s’agit d’une paire de chaussures qui peut s’adapter à n’importe quelle taille de pied, comment puis-je améliorer ce modèle de prompt ? Une chose que je peux faire est de donner des directives.

Une personne célèbre pour nommer des produits était Steve Jobs, vous pourriez invoquer son nom dans le modèle de prompt et vous obtiendrez des noms de produits dans ce style. Alternativement, si vous préférez le style de nommage des entreprises d’Elon Musk, vous aurez des X dans le nom.

Pourquoi le nombre de doigts sur une main humaine est difficile à génerer ?

La difficulté à représenter les doigts est que c’est très complexe et que la physique est assez difficile à comprendre, et ces modèles étaient assez petits, ils n’ont pas tant de paramètres (valeurs ajustables dans un modèle d’apprentissage automatique), donc ils n’ont pas vraiment appris comment le monde fonctionne encore. Nous avons également un œil très aiguisé pour savoir si les doigts sont faux ou si les yeux sont faux, c’est quelque chose que nous surveillons en tant qu’humains.

Ce que vous pourriez essayer dans un prompt est de dire « faites en sorte que les doigts soient beaux », mais cela ne fonctionne pas non plus car tout dans un prompt est pondéré positivement. Si vous dites « ne mettez pas une image d’un éléphant dans la pièce », il introduira effectivement une image d’un éléphant. Donc, ce dont vous avez besoin est un prompt négatif (instructions pour éviter certains éléments), ce qui n’est pas toujours disponible.

(ndr: dans la vidéo il montre des exemples de prompts)

Quelle est la réponse la plus bizarre que vous avez obtenue de ChatGPT ?

Ma préférée est celle où, si vous demandez qui est la mère de Tom Cruise, il sait que c’est Mary Lee Pfeiffer. Si vous demandez qui est le fils célèbre de Mary Lee Pfeiffer, il ne sait pas que c’est Tom Cruise, alors il invente quelque chose. Je pense que la dernière fois, il a dit John Travolta.

La raison pour laquelle cela se produit est qu’il y a beaucoup d’informations sur Internet à propos de Tom Cruise et de qui est sa mère, mais il n’y a pas beaucoup d’informations sur Internet à propos de Mary Lee Pfeiffer et de qui est son fils. L’hallucination c’est lorsque l’IA invente quelque chose qui est faux et il est vraiment difficile d’éviter les hallucinations car cela fait partie de la raison pour laquelle ces LLM fonctionnent.

Lorsque vous lui demandez d’être créatif, la créativité consiste essentiellement à halluciner quelque chose qui n’existe pas encore, donc vous voulez qu’il soit créatif mais vous ne voulez pas qu’il soit créatif avec les faits.

Les IA et les biais : une question de données

Les IA sont formées sur toutes les données d’Internet et Internet est plein de biais car il provient de nous qui sommes également biaisés. Mais il peut être assez difficile de corriger ces biais en ajoutant des garde-fous car en essayant de supprimer le biais dans une direction, vous pourriez ajouter un biais dans une autre direction.

Un exemple célèbre est lorsque Google a ajouté à leurs prompts pour leur service de générateur d’images IA une instruction pour toujours montrer des personnes diverses dans certains rôles professionnels. Ce qui s’est passé est que les gens ont essayé de créer des images de George Washington et il ne créait jamais un George Washington blanc. En essayant de faire la bonne chose et de résoudre un biais, ils ont en fait introduit un biais différent qu’ils ne s’attendaient pas à avoir.

Il y a beaucoup de travail dans les laboratoires de recherche comme Anthropic (une entreprise de recherche en IA) qui a toute une équipe de recherche sur la sécurité qui a découvert, vous savez, où se trouve le « neurone raciste » dans Claude, qui est leur modèle, vous savez, où se trouve le neurone qui représente le discours de haine, vous savez, où se trouve le neurone qui représente les activités dangereuses et ils ont été capables de réduire ces caractéristiques.

Combien de contexte de la conversation ChatGPT se souvient-il réellement ?

Si nous discutons pendant un an avec des messages denses en informations, serait-il capable de se référer à des informations datant d’un an ? Lorsque vous ouvrez une nouvelle session de chat avec ChatGPT, il ne sait rien de vous, sauf si vous avez mis quelque chose dans vos paramètres spécifiquement. Ils ont une fonctionnalité qui est une fonction de mémoire (capacité à se souvenir des conversations précédentes) qui est expérimentale et je ne pense pas qu’elle soit activée par défaut.

Donc, un truc que j’utilise souvent est de mettre tout le contexte dans un fil pour une tâche, puis de demander un résumé, et ensuite de prendre ce résumé et de commencer un nouveau fil, et j’ai alors un résumé d’informations plus condensées, ce qui rend l’IA moins confuse avec tout l’historique précédent dont elle n’a pas besoin de connaître.

Est-ce que personnaliser les paramètres et fournir vos informations aide à obtenir de meilleurs résultats ?

Oui. Vous avez deux champs dans les instructions personnalisées : « Que souhaitez-vous que ChatGPT sache de vous pour fournir de meilleures réponses » et le second champ est « Comment souhaitez-vous que ChatGPT réponde ».

J’utilise beaucoup ChatGPT pour la programmation, donc je lui dis quels types de langages j’utilise, quels types de frameworks (environnement de développement) je préfère, je lui donne des préférences en termes de la manière dont j’aime que mon code soit écrit. Le deuxième champ est vraiment pour tout ce qui vous ennuie lorsque vous utilisez ChatGPT. Par exemple, certaines personnes mettent « arrête de bavarder », et il vous donnera des réponses plus brèves.

Qu’est-ce qui fait d’un ingénieur en prompt un ingénieur ?

Un ingénieur en prompt conçoit ce système de prompts utilisés dans l’application et s’assure qu’ils sont sûrs pour le déploiement, qu’ils fonctionnent de manière fiable encore et encore, de la même manière qu’un ingénieur civil (professionnel en conception et construction de structures) conçoit un pont et s’assure que lorsque vous le traversez, il ne s’effondre pas dans la rivière.

Pensez-vous que nous pouvons établir des parallèles entre les grands modèles de langage et les cerveaux humains ?

Les grands modèles de langage (LLM pour « Large Language Models ») sont en fait basés sur la biologie humaine. Ils représentent ce qui se passe lorsque vous essayez de faire en sorte que les réseaux neuronaux artificiels simulent ce que font nos réseaux neuronaux biologiques dans notre cerveau. Il y a donc beaucoup de similitudes et beaucoup de choses qui fonctionnent dans la gestion des humains fonctionnent également dans la gestion des IA.

Que sont les tokens ?

Disons que je commence à écrire la phrase « LeBron James est allé au … ». Quel mot pourrait venir ensuite ? Eh bien, un LLM examine tous les mots sur Internet puis calcule la probabilité du mot suivant. Il ne choisit pas toujours le mot ayant la plus haute probabilité, juste un mot assez probable. La raison pour laquelle ils utilisent des tokens au lieu de mots est que c’est simplement plus efficace. Quand vous avez un token qui est une petite partie d’un mot comme « Los », cela peut être plus flexible et peut être formé pour être utilisé dans différents contextes.

Quel est le meilleur LLM selon vous ?

Pour Mike, c’est subjectif, mais il préfère Claude d’Anthropic. Il réalise quelques tests sur la vidéo pour démontrer la différence de créativité.

Qu’est-ce que le chaînage de prompts ?

Si vous vouliez écrire un article de blog, vous n’obtiendriez pas de bons résultats en lui demandant de tout écrire en une seule étape. Ce que je trouve qui fonctionne est de lui demander d’abord d’écrire un plan, de faire des recherches, puis lorsque je suis satisfait du plan, de revenir et de remplir le reste de l’article. Vous obtenez de bien meilleurs résultats, et ils sont plus complets et répondent mieux à la demande de l’article que vous vouliez écrire. Non seulement cela rend le processus de pensée plus observable car vous pouvez voir ce qui s’est passé à chaque étape et quelles étapes ont échoué, mais le LLM est également moins confus car vous n’avez pas un énorme prompt avec beaucoup d’instructions différentes et conflictuelles qu’il doit essayer de suivre.

Comment pouvez-vous automatiser l’IA ?

C’est ce qu’on appelle un agent autonome, où il fonctionne en boucle et continue de se donner des prompts et de corriger son travail jusqu’à ce qu’il atteigne finalement l’objectif supérieur. Microsoft Autogen est un cadre pour les agents autonomes, un cadre open source (code source accessible à tous) que tout le monde peut essayer si vous savez coder, et je pense que c’est vraiment la grande différence entre ChatGPT, cet assistant utile que nous utilisons au quotidien, et avoir un employé IA dans votre Slack (application de messagerie pour les entreprises) à qui vous pouvez simplement dire « faites-moi gagner plus d’argent pour l’entreprise », et il essaiera différentes choses jusqu’à ce que quelque chose fonctionne.

Comment pourriez-vous demander à un LLM d’améliorer le prompt ?

Il y a en fait eu beaucoup de recherches intéressantes ici, des techniques comme la technique de l’ingénieur de prompt automatique, où le LLM écrit des prompts pour d’autres LLM, et cela fonctionne vraiment bien. Je l’utilise tout le temps pour optimiser mes prompts. Juste parce que vous êtes un ingénieur en prompt ne signifie pas nécessairement que vous êtes à l’abri que votre travail soit également automatisé.

Combien de temps avant que l’ingénierie de prompts devienne un diplôme ?

Sera-t-il un domaine autonome ou fera-t-il partie de chaque domaine enseigné ? Certaines personnes à qui je parle disent que l’ingénierie de prompts ne sera plus un métier dans 5 ans, ce ne sera même pas quelque chose que nous pratiquerons car ces modèles seront si bons que nous n’aurons plus besoin de les « prompter ».

Je tends à ne pas être d’accord car, bien sûr, les humains sont déjà assez intelligents et nous avons besoin de conseils. Nous avons une équipe de ressources humaines, une équipe juridique, une équipe de gestion, donc je pense que la pratique de l’ingénierie de prompts sera toujours une compétence nécessaire pour faire votre travail, mais je ne pense pas nécessairement que dans 5 ans, nous nous appellerons encore des ingénieurs en prompts.

Ressources

• Le livre de Mike : https://amzn.to/4cUqBYB
• La vidéo originale :