Qu'est-ce que la sensibilité au prompt ?
La sensibilité au prompt est la tendance d'un modèle de langage à donner une réponse différente quand la même question est formulée autrement. Changez un mot, l'ordre des options, ajoutez un indice sur ce que vous espérez entendre, et la réponse peut basculer, parfois de oui à non.
Elle compte pour la confiance, car une réponse unique peut refléter la formulation autant que les faits. Si une conclusion bascule quand vous reformulez, ce n'était pas une conclusion stable.
D'où elle vient
Le cadrage. « Cet investissement est-il sûr ? » et « Quels sont les risques de cet investissement ? » tirent les réponses dans des directions différentes. La question porte une hypothèse et le modèle tend à la suivre.
Les formulations orientées. Les modèles sont réglés pour être serviables et conciliants. Si votre question laisse entendre la réponse souhaitée, un modèle peut pencher vers elle.
L'ordre et le format. Dans un choix multiple ou un classement, la position d'une option peut influencer le choix.
Le contexte manquant. Une question vague laisse le modèle combler les vides, et des formulations différentes les comblent différemment.
Pourquoi c'est important pour la comparaison multi-modèles
Quand deux modèles divergent, la cause peut être une vraie différence de connaissances, ou simplement la manière dont le prompt est tombé sur chacun. C'est pourquoi un panel équitable envoie le même prompt, inchangé, à tous les modèles. Les écarts viennent alors des modèles, pas de la formulation.
Cela permet aussi d'utiliser la sensibilité comme test sur vous-même : si votre conclusion dépend de la façon dont vous avez formulé la question, vous avez trouvé une hypothèse à examiner.
Un test simple
- Écrivez la question de façon neutre, sans la réponse que vous espérez.
- Posez-la d'une seconde manière : inversez le cadrage, du positif au négatif (« avantages » contre « risques »).
- Comparez. Si le fond tient, la réponse résiste à la formulation. S'il bascule, considérez le sujet comme incertain et consultez des sources primaires.
La réduire en pratique
- Énoncez la décision et les contraintes, pas la réponse que vous préférez.
- Demandez les avantages et les inconvénients, ou le meilleur argument de chaque côté.
- Donnez le même contexte à tous les modèles et gardez la formulation identique.
- Incluez les faits qui comptent (budget, pays, date) pour que les modèles ne devinent pas.
- Méfiez-vous d'une réponse unique et assurée à une question orientée.
Essayez sur votre propre question
Posez la question qui vous importe à six modèles indépendants et voyez où ils s'accordent et où ils divergent. Interroger 6 IA sur Satcove, gratuit, sans carte bancaire.
Questions fréquentes
La sensibilité au prompt est-elle un bug ? C'est une propriété du fonctionnement des modèles de langage. Ils réagissent à tout le texte du prompt, donc la formulation compte. On peut réduire son effet, pas le supprimer.
Peut-elle créer un faux désaccord ? Oui, si les modèles reçoivent des formulations différentes. Envoyer des prompts identiques à tous l'évite.
Peut-elle créer un faux accord ? Oui. Un prompt très orienté peut pousser plusieurs modèles vers la réponse que vous avez sous-entendue.
Un faible score d'accord veut-il dire que mon prompt est mauvais ? Pas forcément, mais les questions vagues ou orientées en sont une cause fréquente. Essayez une version plus précise et neutre.