Qu'est-ce que la date limite des connaissances ?
La date limite des connaissances (knowledge cutoff) est le moment après lequel un modèle n'a vu aucune donnée d'entraînement. Tout ce qui a changé après cette date, comme une nouvelle loi, un prix, une version logicielle ou un événement, lui est invisible, sauf s'il peut chercher sur le web ou si vous lui fournissez l'information.
Chaque modèle en a une, et les modèles l'indiquent rarement clairement ou ne remarquent pas qu'une question en dépend.
Pourquoi elle provoque des erreurs assurées
Un modèle qui ignore qu'une chose est nouvelle répond souvent à partir de ce qu'il connaît. Le résultat paraît fluide et actuel, mais décrit le passé. Cas typiques :
- Une réglementation modifiée, que le modèle décrit dans sa version ancienne.
- Un produit ou une offre renommé, dont le prix a changé ou qui a été arrêté.
- Une version logicielle dont la syntaxe ou les réglages ont changé.
- Un événement récent dont le modèle parle comme s'il ne s'était rien passé.
- Un classement « meilleur » ou « dernier » qui était vrai au moment de la collecte.
Pourquoi un panel ne l'élimine pas
Des modèles aux dates limites proches ratent souvent les mêmes changements, et peuvent donc s'accorder sur une réponse périmée. C'est une source courante de faux consensus. Les modèles avec accès web en direct peuvent être plus à jour, ce qui explique en partie pourquoi un panel mixte peut montrer un désaccord utile : un modèle avec recherche et un modèle sans peuvent répondre différemment simplement parce que l'un voit des pages plus récentes.
Comment vérifier la fraîcheur
- Demandez à quelle date la réponse correspond. Un modèle qui ne sait pas le dire est un signal d'alerte.
- Cherchez une source datée. Une page officielle, un journal des modifications ou un avis que vous pouvez ouvrir vaut mieux que la mémoire d'un modèle.
- Recherchez ce qui a pu changer. Pour un prix, la page du fournisseur. Pour une règle, la publication officielle.
- Méfiez-vous de « dernier » et « actuel ». Tout superlatif sur le présent est une affirmation à vérifier.
- Donnez l'information récente au modèle quand vous l'avez, et demandez-lui de raisonner à partir d'elle.
Quand cela compte le plus
Le coût d'une réponse périmée croît avec la vitesse d'évolution du sujet et l'enjeu : droit et impôts, médecine, prix et contrats, avis de sécurité, dépendances logicielles et tout ce qui comporte une échéance.
Essayez sur votre propre question
Posez la question qui vous importe à six modèles indépendants et voyez où ils s'accordent et où ils divergent. Interroger 6 IA sur Satcove, gratuit, sans carte bancaire.
Questions fréquentes
Comment connaître la date limite d'un modèle ? Les éditeurs la publient en général, mais les modèles ne sont pas fiables pour la donner eux-mêmes. Consultez la documentation de l'éditeur et testez avec une question dont vous savez qu'elle a changé récemment.
Les modèles avec recherche web évitent-ils le problème ? Ils le réduisent pour ce qu'ils trouvent, mais la recherche peut aussi renvoyer des pages périmées ou de faible qualité. Vérifiez la source citée et sa date.
L'accord entre modèles peut-il corriger des données périmées ? Non. Des modèles à dates limites proches ont souvent les mêmes lacunes. Vérifiez les affirmations sensibles au temps auprès d'une source primaire.