Risposta in 60 secondi
Un punteggio di accordo IA è il riassunto quantitativo di quanto un panel multi-modello sia convergito sulla stessa risposta. È un singolo numero — tipicamente espresso come percentuale o su una scala etichettata — che comprime il comportamento collettivo del panel in un segnale di fiducia calibrata. Punteggio alto: i modelli concordavano; l'utente ha forte ragione di fidarsi delle affermazioni convergenti. Punteggio basso: i modelli si sono divisi; l'utente ha informazione esplicita che il tema è contestato o poco supportato.
Il punteggio non è una "probabilità che la risposta sia vera". È una lettura di quanto fosse forte il segnale multi-modello. Un punteggio alto correla con una probabilità maggiore di correttezza, ma la relazione è calibrata contro la struttura del panel, non promossa a verità assoluta. Il valore del punteggio sta esattamente nell'essere onesto su questa distinzione.
Cosa misura il punteggio
Un punteggio di accordo significativo combina tre misurazioni.
Copertura. Quale frazione del panel ha prodotto l'affermazione convergente. Cinque su sei modelli che concordano è diverso da tre su sei. La copertura è la dimensione più semplice e la più facile da comunicare.
Intensità. Quanto strettamente i modelli concordanti corrispondessero l'uno all'altro. Due modelli che concordano parola per parola su un fatto specifico forniscono evidenza più forte di due modelli che concordano vagamente su una direzione generale. L'intensità cattura la strettezza semantica dell'accordo.
Peso aggiustato per diversità. Se l'accordo viene da modelli genuinamente indipendenti (peso alto) o da modelli all'interno della stessa famiglia (peso minore, perché il loro accordo è correlato per costruzione). Due varianti di Claude che concordano non sono equivalenti a un Claude e un Gemini che concordano.
Un punteggio serio combina queste tre dimensioni in un numero. Un punteggio ingenuo usa solo la copertura e tratta ogni modello ugualmente, il che gonfia il punteggio ogni volta che il panel è internamente ridondante. La differenza emerge nella calibrazione: i punteggi ben calibrati predicono i tassi di correttezza reali; i punteggi ingenui arrotondano per eccesso con eccessiva fiducia.
Cosa il punteggio non è
Il punteggio di accordo non è una probabilità che la risposta sia vera. È una lettura della forza del segnale multi-modello. La distinzione conta perché un punteggio alto attraverso un panel che condivide un punto cieco dei dati di addestramento può essere sicuro nello sbagliare — la convergenza è alta, la verità è bassa. Il punteggio fa ciò su cui è onesto: misura l'accordo, non la verità.
Il punteggio non è nemmeno un punteggio di qualità aggregato per i modelli. Un panel che include un modello più debole accanto a diversi forti può comunque produrre un punteggio di accordo alto su domande in cui il modello più debole indovina la stessa affermazione facile. Il punteggio legge la situazione, non i partecipanti.
Infine, il punteggio non è un sostituto della lettura dell'output effettivo. Un punteggio del 92% con un modello dissenziente su un'affermazione chiave merita una lettura attenta di ciò che quel modello ha detto. Il punteggio indica il posto giusto; l'utente fa la lettura.
Come viene calibrato il punteggio
Un punteggio di accordo ben calibrato è costruito e testato contro un holdout di domande con risposte corrette note. Il sistema misura: al punteggio X%, quale frazione delle affermazioni convergenti del panel era effettivamente corretta in retrospettiva? Questo produce una curva di calibrazione che lega i punteggi ai tassi di correttezza nel mondo reale.
La calibrazione conta perché i punteggi non calibrati invitano all'eccessiva fiducia. Un punteggio del 90% che corrisponde effettivamente al 75% di correttezza sarà più affidabile di quanto meriti; un punteggio del 90% che corrisponde al 92% di correttezza può essere preso per buono. I sistemi onesti calibrano esplicitamente e ricalibrano man mano che il panel evolve.
La calibrazione è anche sensibile al dominio. Il punteggio che significa "altamente affidabile" su affermazioni fattuali su temi ampiamente documentati può significare meno su domande in specialità ristrette. I sistemi seri calibrano per dominio dove i dati lo supportano, e altrimenti comunicano onestamente il limite.
Come un utente dovrebbe leggere il punteggio
Un utente che incontra un punteggio di accordo dovrebbe trattarlo come un input tra molti.
A punteggi molto alti (tipicamente 90% +), le affermazioni convergenti possono essere ritenute affidabili al livello appropriato alla domanda sottostante. Leggi le affermazioni divergenti (ce ne saranno alcune anche a punteggi alti) — spesso contengono i dettagli più utili per la decisione.
A punteggi medi (60–85%), il panel ha prodotto un segnale utile ma il tema è parzialmente contestato. Le affermazioni convergenti sono probabilmente affidabili; le divergenti meritano attenzione diretta. Questo è l'intervallo in cui l'utente legge di più.
A punteggi bassi (sotto il 60%), il panel non è convergito in modo significativo. L'output è più una mappa di disaccordo che una risposta. L'utente dovrebbe trattarlo come materia prima — utile per capire la domanda, non per risolverla senza ulteriore indagine.
Le soglie esatte dipendono dalla calibrazione del sistema. Il principio generale è che il punteggio è una guida su come leggere l'output, non un verdetto che salta la lettura.
Esempi pratici
Un utente chiede di un fatto storico ben documentato. Il panel produce un punteggio del 96%. Le affermazioni convergenti includono date, nomi e contesto di base. L'utente legge la risposta con fiducia — e nota che un modello ha aggiunto un dettaglio specifico che gli altri hanno omesso (una fonte specifica). Il punteggio alto ha reso la lettura efficiente.
Un utente chiede di una regolamentazione recente. Il panel produce un punteggio del 71%. Le affermazioni convergenti coprono il quadro generale della regolamentazione; le divergenti coprono la sua applicazione specifica a casi comuni. L'utente legge attentamente e porta le domande aperte a un professionista. Il punteggio gli ha detto dove concentrarsi.
Un utente chiede di un tema che il panel conosce male. Il panel produce un punteggio del 48%. Le affermazioni divergenti si estendono su più inquadramenti. L'utente tratta l'output come introduzione al paesaggio contestato del tema, non come risposta su cui agire. Il punteggio basso ha fatto il suo lavoro — ha impedito all'utente di affidarsi eccessivamente a evidenza collettiva debole.
Equivoci comuni
"Un punteggio alto significa che la risposta è vera." Significa che il panel è convergito. La convergenza aumenta la fiducia nella correttezza; non la garantisce.
"Un punteggio basso significa che il sistema è cattivo." Di solito significa che la domanda sottostante è contestata, il tema è ristretto o il panel ha copertura disuguale. Il punteggio basso è un resoconto onesto.
"Tutti i punteggi sono confrontabili tra domande." Non necessariamente. Un punteggio su una domanda fattuale può essere confrontato con altri punteggi su domande fattuali. Il confronto tra domini richiede calibrazione per dominio.
"L'utente dovrebbe sempre scegliere le risposte ad alto punteggio." L'utente dovrebbe sempre leggere le affermazioni divergenti anche quando il punteggio è alto — spesso contengono l'informazione marginale che la convergenza ha perso.
Concetti correlati
Il consenso IA è la pratica più ampia da cui il punteggio è letto. La verifica multi-modello è l'ingegneria che produce il punteggio. Il disaccordo IA è la forma qualitativa dell'estremità inferiore del punteggio. La fiducia nell'IA è l'inquadramento più ampio a cui il punteggio contribuisce. La ricerca della verità con l'IA è la questione epistemica a cui il punteggio aiuta a rispondere.
Domande frequenti
Il punteggio è la probabilità che la risposta sia corretta? No. È la forza del segnale di accordo multi-modello. La calibrazione lo lega ai tassi di correttezza, ma non è una probabilità diretta di verità.
Il punteggio può essere sbagliato? Il punteggio è una misurazione; non può essere "sbagliato" isolatamente. Può essere mal calibrato — un sistema che riporta il 90% di fiducia su output che sono corretti il 75% delle volte è mal calibrato e dovrebbe essere corretto.
Dovrei agire su un punteggio del 95% allo stesso modo che su uno del 70%? No. Un punteggio del 95% giustifica leggere rapidamente i dissensi e agire sulla convergenza. Un punteggio del 70% giustifica leggere attentamente sia convergenza che dissensi prima di agire.
Il punteggio sostituisce la lettura dell'output? No. È una guida su come leggerlo, non un sostituto della lettura.