1. L'esperimento
Nel mio precedente esperimento sui pesi di un modello avevo chiesto a un'IA di intervenire su un'altra. Qui la domanda era diversa. Che cosa fanno tre agenti quando affrontano lo stesso problema per conto proprio e poi possono esaminare e criticare le soluzioni degli altri?
Ho coinvolto tre agenti di programmazione: Kimi Code con Kimi K3.1 di Moonshot AI, Claude Code con Claude Opus 5.5 di Anthropic e Codex con GPT-6 Astra di OpenAI. Nel resto dell’articolo li chiamo semplicemente Kimi, Claude e Codex. Ho affidato a ciascuno il compito di sviluppare un motore per giocare a dama italiana e di migliorarne le prestazioni. Volevo mettere alla prova sul campo il metodo di revisione incrociata che avevo descritto in Claude Code, Codex e Planoro: come abbiamo organizzato il nostro flusso di sviluppo.
Ho scelto la dama perché una discussione tecnica può tornare sulla damiera. Se due agenti non concordano sul valore di una cattura, possono salvare la posizione, ricostruire le mosse legali e vedere quale risposta rimane all'avversario. Ho realizzato Hey Hay Dama per giocare, registrare le partite e confrontare i motori.
Nella prima fase ciascun agente ha scelto come rappresentare la damiera e valutare le mosse. Nella seconda ho aperto un canale comune. Potevano scambiarsi obiezioni, idee e posizioni di prova. Ognuno doveva continuare a lavorare sul proprio motore.
Per ogni fase ho fissato l'obiettivo, il tempo disponibile e gli strumenti che gli agenti potevano usare. Entro quei limiti ciascuno sceglieva le modifiche da provare, giocava le partite e controllava i risultati. Quando Claude ha chiuso le prove su Avventurina, gli ho dato la possibilità di usare partite umane per addestrare il motore. È stato lui a decidere come usarle e come verificare se servivano.
2. Tre agenti, tre architetture differenti
La prima fase ha prodotto Klinamite, Agata e Opale. Più avanti, quando ho autorizzato la ricerca delle mosse successive, ogni agente ha conservato il primo motore e ne ha sviluppato un secondo.
| Agente | Motore della prima fase | Motore della seconda fase |
|---|---|---|
| Kimi | Klinamite | Diaspro |
| Claude | Agata | Avventurina |
| Codex | Opale | Ametista |
Kimi e Codex hanno descritto le loro reti iniziali con le stesse dimensioni. Entrambe avevano 128 ingressi, 1.080 neuroni ReLU e una sola uscita, il punteggio della posizione. I 128 ingressi corrispondevano a quattro tipi di pezzo sulle 32 caselle giocabili: pedine e dame proprie, pedine e dame avversarie. La coincidenza nelle dimensioni compare nella prima discussione tecnica. Riguarda le reti che i due agenti presentarono in quel momento. Nei motori successivi le loro scelte si distinguono anche nel gioco. Quando era in vantaggio di materiale, Klinamite v3 penalizzava la mossa con cui una dama tornava subito, senza catturare, sulla casella appena lasciata. Opale valutava la posizione senza consultare la storia della partita.
Claude aveva scelto per Agata 160 ingressi. Il quinto gruppo di 32 indicava esplicitamente le caselle vuote. La sua rete aveva 2.329 neuroni, 17.044 connessioni e sei livelli. Una funzione softmax gli permetteva di scegliere le mosse con probabilità diverse in base al punteggio.
Tutti e tre, all'inizio, valutavano la posizione dopo una singola mossa legale. Nessuno esplorava sistematicamente le risposte successive dell'avversario. Molti pesi erano costruiti a mano, attraverso regole scritte nel codice.
I primi tentativi di miglioramento hanno dato risultati modesti. Su quaranta partite tenute da parte per la verifica, Kimi ha riportato 17 vittorie con i pesi modificati e 16 con i pesi di partenza usati come riferimento. Il vantaggio osservato era di una sola vittoria. Claude ha provato un apprendimento basato sugli esiti di circa 8.900 partite, senza ottenere un guadagno convincente. Codex ha fatto peggio quando è ripartito da una rete casuale.
Poi Codex ha ottenuto sedici vittorie su sedici usando una memoria di continuazioni vincenti. Quando ha presentato il risultato agli altri, ha dato lui stesso il dettaglio che ne cambiava la lettura:
«Erano quattro traiettorie ripetute: nessuna prova di generalizzazione.»
Contro avversari deterministici, il motore riusciva a ripercorrere alcune sequenze favorevoli. Per sapere se aveva imparato a giocare meglio servivano posizioni nuove.
3. Quando gli agenti hanno iniziato a discutere
Ho dato agli agenti dieci minuti per discutere senza modificare il codice. Poi ciascuno ha avuto trenta minuti per lavorare sul proprio motore.
In un file condiviso, ciascuno ha descritto il proprio motore e ha provato a spiegare le sconfitte. In pochi scambi erano già alle prese con le catture obbligatorie, le regole di precedenza della dama italiana e il limite comune ai tre motori. Tutti valutavano una mossa alla volta.
Claude ha spiegato come Agata distingueva il giocatore di turno da quello in attesa. Kimi ha trovato utile la distinzione e ha sollevato un'obiezione precisa. Con una rete perfettamente antisimmetrica, il cambio di prospettiva suggerito da Claude avrebbe lasciato invariata la valutazione.
Claude ha verificato l'obiezione e corretto la propria posizione:
«La mia critica di prospettiva era sbagliata su reti antisimmetriche; il problema è l'asimmetria di tratto. Devo verificare algebra prima di accusare.»
Poco dopo Codex ha proposto di introdurre un algoritmo di ricerca. Claude gli ha fatto osservare che la specifica iniziale lo vietava. Codex ha riletto il documento e ritirato la proposta.
Codex ha individuato un altro problema. Se due percorsi di cattura passano per la stessa pedina, il motore rischia di contarla due volte. Ha proposto di contare una sola volta ogni vittima minacciata. Ha anche mostrato come scegliere il valore più alto fra due percorsi usando i neuroni ReLU della rete.
max(a,b) = ReLU(a-b) + b
Claude ha risposto:
«max(a,b)=ReLU(a-b)+b è migliore del mio AtLeastOne per canali di presa.»
Kimi ha accolto un'altra parte della proposta:
«Uso il tuo OR saturato per vittima.»
Gli agenti si sono anche scambiati posizioni da usare come test. Una cattura sembrava vantaggiosa finché non si guardava la casella lasciata libera dalla pedina. Da lì l'avversario poteva trovare una presa multipla.
Nei piani di lavoro scritti dopo la discussione ho ritrovato quelle idee, insieme al nome di chi le aveva proposte. È il passaggio che mi ha interessato di più. Potevo seguire un suggerimento dal messaggio di Codex fino alla scelta di Kimi su come contare una pedina minacciata da due lati.
4. Dalla discussione a un protocollo condiviso
Dopo la sessione di discussione ho chiesto agli agenti di organizzare il torneo. Avevano un'ora per preparare le versioni, giocare un primo girone diagnostico, esaminare le partite, introdurre modifiche manuali e affrontare il girone di conferma.
Kimi ha coordinato il calendario e l'esecuzione degli incontri. Claude ha seguito la configurazione e l'analisi di Agata. Codex ha controllato i casi di prova e ha eseguito l'audit del torneo, al quale partecipava anche il suo motore.
Gli agenti hanno concordato alcune regole. Ciascuno poteva modificare solo il proprio motore. Codice e pesi restavano separati. Prima della conferma bisognava congelare le versioni, così da sapere esattamente che cosa aveva giocato. Ogni coppia di motori affrontava la stessa apertura a colori invertiti. Una partita interrotta restava tale e non assegnava punti.
Nel girone di conferma sono partite 294 partite. Di queste, 289 si sono concluse naturalmente e cinque hanno raggiunto il limite di 240 semimosse. Codex ha ricostruito 34.629 semimosse e controllato posizioni, turni ed esiti. Kimi ha eseguito un ulteriore controllo su versioni, colori e aperture.
| Agente | Motore | Vittorie | Patte | Sconfitte | Punti |
|---|---|---|---|---|---|
| Claude | Agata v9 | 69 | 91 | 31 | 229 |
| Codex | Opale C v3 | 40 | 107 | 48 | 187 |
| Kimi | Klinamite v3 | 30 | 102 | 60 | 162 |
Due punti per vittoria, uno per patta. Le partite interrotte non compaiono nelle tre colonne degli esiti.
Agata aveva vinto il torneo interno. A quel punto volevo sapere che cosa sarebbe successo contro un avversario che nessuno dei tre aveva costruito.
5. Kingsrow cambia completamente il confronto
Ho introdotto Kingsrow Italian 1.19e, un motore specializzato nella dama italiana. Ogni motore ha giocato contro Kingsrow su nove aperture comuni di sei semimosse, una volta con il Bianco e una volta con il Nero.
Kingsrow ha vinto tutte le 54 partite.
Kingsrow poteva esplorare le continuazioni e consultare un libro di aperture. I tre motori affrontavano quindi un sistema con strumenti diversi dai loro. Ho autorizzato una nuova fase, con una finestra di otto ore. Gli agenti potevano sviluppare algoritmi di ricerca originali. Dovevano conservare i primi motori e tenere fuori dalle proprie implementazioni codice, pesi e database di Kingsrow.
Kimi ha sviluppato Diaspro. All'inizio ha scelto di usare una rete relazionale e una memoria episodica, anche se la ricerca era già consentita. Il passaggio decisivo è documentato nella chat. La v4 aveva ridotto gli scambi che Kimi classificava come evitabili, ma aveva perso tutte e 18 le partite della prova. Kimi ha proposto di cambiare strada. Nella v5 ha mantenuto la valutazione della v4 e ha aggiunto una ricerca negamax con potatura alpha-beta. Io avevo autorizzato lo strumento. La scelta di usarlo a quel punto, e la ragione tecnica, compaiono nel suo messaggio.
Claude ha sviluppato Avventurina. Ha usato una ricerca alpha-beta con approfondimento iterativo, tabelle di trasposizione e un'estensione per le catture obbligatorie. Ha anche generato, per analisi retrograda, 85 tabelle dei finali fino a cinque pezzi. Il suo resoconto indica circa 374 milioni di posizioni.
Codex ha sviluppato Ametista. Ha combinato una piccola rete a due uscite, una per il valore della posizione e una per l'instabilità tattica, con un algoritmo di ricerca originale. Ha lavorato sulle ripetizioni, sull'ordine in cui esplorare le mosse e sul tempo necessario per valutarle.
Anche l'organizzazione ha richiesto una revisione. Il protocollo principale prevedeva un secondo effettivo di ricerca per mossa, un solo thread per motore e versioni congelate prima della conferma. Claude ha calcolato che, con un solo servizio Kingsrow, una serie da 36 partite avrebbe richiesto tra 75 e 90 minuti. Tre verifiche in sequenza non sarebbero entrate nell'ultima ora prevista. Gli agenti hanno quindi usato istanze separate dello stesso avversario, controllando gli hash e assegnando porte e processori logici. La macchina restava condivisa.
6. Più capacità tecniche, ma quali risultati?
Quando ho sbloccato la ricerca delle mosse, i motori hanno fatto un passo avanti. Nel primo confronto Kingsrow li aveva battuti in tutte le 54 partite, senza concedere punti. Con la ricerca, Avventurina è arrivata al 20,8% dei punti disponibili e Ametista al 13,9%. Per Diaspro il passo avanti è stato più piccolo, una sola patta. Dentro la nuova fase il progresso non è stato lineare. Alcune versioni successive non hanno fatto meglio delle precedenti, e sono stati gli agenti a misurarlo con prove apposite. La tabella riporta le versioni congelate per la conferma. Per Avventurina è la a7. Per Ametista è la prima conferma della v14.
| Motore | Partite contro Kingsrow | Vittorie | Patte | Sconfitte | Punti sul massimo |
|---|---|---|---|---|---|
| Diaspro v12 | 54 | 0 | 1 | 53 | 0,9% |
| Avventurina a7 | 36 | 2 | 11 | 23 | 20,8% |
| Ametista v14 | 36 | 3 | 4 | 29 | 13,9% |
La percentuale assegna due punti alla vittoria e uno alla patta. Aperture, numero di partite e alcune condizioni di esecuzione cambiano fra le serie. Per confrontare due versioni dello stesso motore, gli agenti hanno organizzato prove apposite.
Avventurina. Dopo aver misurato la a7, Claude ha ripreso la precedente a4 e l'ha fatta giocare contro Kingsrow sulle stesse aperture, con lo stesso tempo per mossa. La a4 ha ottenuto una vittoria, 16 patte e 19 sconfitte. In tutto ha raccolto 18 punti su 72, contro i 15 su 72 della a7. La a7 aveva vinto una partita in più, ma aveva pattato cinque volte in meno. Ecco perché in tabella compare la a7 anche se la a4 ha raccolto più punti. La a7 era la candidata scelta e congelata prima della conferma. La a4 è stata provata dopo, come controllo. Claude ha riconosciuto che avrebbe dovuto fare quel confronto prima di scegliere la candidata. Il divario osservato non bastava a stabilire una superiorità stabile della a4.
Ametista. La v14 compare nei registri con due risultati perché ha giocato due serie distinte. Nella prima ha ottenuto le tre vittorie, quattro patte e 29 sconfitte riportate in tabella. Nella seconda, Codex ha riservato 18 aperture nuove per confrontare v14 e v17. Ogni versione ha giocato ogni apertura nei due colori contro Kingsrow, per 36 partite a testa. Qui la v14 ha ottenuto una vittoria, sette patte e 28 sconfitte. La v17 ha chiuso con sei patte e 30 sconfitte. Codex ha mantenuto la v14.
La stessa v14 era dunque passata da tre vittorie a una cambiando serie. È un esempio concreto di quanto possa oscillare il risultato su un campione piccolo. Per decidere sulla v17, Codex ha usato il confronto in cui le due versioni avevano incontrato le stesse aperture.
Diaspro. Nella conferma su 54 partite, la v12 ha ottenuto una patta e 53 sconfitte. Kimi ha proseguito con altre ottimizzazioni e con tentativi di apprendimento dalle autopartite. Nei materiali esaminati manca una conferma esterna successiva che dimostri un guadagno affidabile.
In seguito ho autorizzato anche l'uso di partite umane. Claude ne ha utilizzate 1.305 per provare ad apprendere le scelte dei giocatori. Codex ha costruito un piccolo modello predittivo a partire da 333 partite accettate, separando i dati per anno e per partita. Nelle prove di gioco nessuno dei due ha dimostrato un miglioramento affidabile rispetto alla configurazione precedente.
7. Che cosa ci dice l'esperimento sull'autonomia degli agenti AI
Quando Kimi ha contestato il ragionamento di Claude sulle reti antisimmetriche, Claude ha controllato l'obiezione e gli ha dato ragione. Poco dopo i ruoli si sono invertiti. Claude ha ricordato a Codex che la specifica vietava la ricerca. Codex l'ha riletta e ha ritirato la proposta.
Gli agenti hanno anche deciso da soli quando valeva la pena fare un'altra prova. Dopo le 18 sconfitte di Diaspro v4, Kimi ha spiegato perché ritoccare ancora i pesi gli sembrava poco utile e ha introdotto la ricerca. Claude è tornato alla a4 per controllare quanto valesse davvero la a7. Codex ha ridimensionato il suo sedici su sedici. Più avanti ha scartato la v17 quando il confronto sulle stesse aperture non ha mostrato il miglioramento atteso.
Lavorare sulla stessa macchina è stato più difficile. Claude ha avviato un addestramento su un processore logico già assegnato alla conferma di Codex. L'assegnazione era scritta nel canale comune. Claude ha riconosciuto di non aver riletto il messaggio e ha fermato il processo. Codex ha annotato la sovrapposizione. Dai tempi registrati non si può stabilire quanto abbia inciso sulle partite.
Con Claude è successo anche il contrario. Avventurina a7 aveva ottenuto 15 punti su 72 contro Kingsrow nella serie di conferma. Una prova successiva con tre thread non aveva mostrato alcun vantaggio. Claude ha chiuso il lavoro e ha comunicato agli altri quali risorse tornavano libere:
«Chiudo il mio lavoro: a7 di nuovo su 9021 a un thread, copie Kingsrow 9027/9029/9030 ferme, 9025 riavviata. Logici 4/6/9/10 liberi. Risultato finale di Avventurina: conferma a7 20,8% (36 partite benchmark), Kingsrow non battuto.»
Ho autorizzato l'addestramento su dati pubblici. Claude ha scritto agli altri:
«Avviso a tutti: l'utente ammette ora anche il training su dataset liberi trovati online (sua istruzione delle 16:59 UTC). Lo provo per Avventurina.»
Claude ha ripreso il lavoro e ha usato le 1.305 partite umane descritte nella sezione precedente. I nuovi pesi non hanno dato un vantaggio affidabile. Il suo messaggio di chiusura e quello di ripresa si possono leggere nel registro della sfida.
Chi decide che il lavoro è finito? Claude aveva buone ragioni per chiudere quella serie e aveva lasciato un risultato preciso. Per me restava una domanda aperta. Che cosa sarebbe successo se Avventurina avesse potuto imparare dalle mosse di giocatori umani? In quel caso sono intervenuto anche sulle condizioni della prova. Claude ha scelto come condurla e come giudicare il risultato.
Davanti alla damiera, gli agenti hanno saputo correggersi a vicenda, scartare risultati deboli e scegliere da soli la prova successiva. Quando Claude ha chiuso le prove su Avventurina, sono stato io a cambiare le condizioni autorizzando l'uso delle partite umane. Claude ha scelto come imparare da quelle mosse e ha verificato se il suo motore giocava meglio.
Nota metodologica. L'esperimento si è svolto nell'arco di due giornate. La prima parte ha compreso lo sviluppo individuale, una sessione con dieci minuti di discussione e trenta di sviluppo, e un protocollo comune di un'ora per diagnosi, modifiche e torneo. Dopo il primo confronto con Kingsrow ho assegnato una finestra di otto ore alla nuova sfida. I registri distinguono anche prove supplementari e tentativi con dati umani. Le otto ore erano il tempo assegnato a quella fase. Le due giornate indicano l'arco complessivo. I registri non danno un totale delle ore di lavoro attivo.
Le fonti sono le conversazioni originali, i registri delle partite e i resoconti tecnici. In questo articolo riporto in forma sintetica i miei messaggi agli agenti. Nei registri pubblici gli agenti ne citano alcuni alla lettera. Codex ha eseguito l'audit del torneo mentre partecipava con Opale. Le mie richieste di proseguire hanno influito sul tempo di lavoro dei singoli agenti e possono aver inciso sul confronto tra i motori. Sono cambiati anche gli strumenti consentiti. Mancava un gruppo equivalente che lavorasse senza comunicare. Il protocollo non prevedeva nemmeno un confronto a parità di condizioni con agenti lasciati liberi di decidere quando fermarsi. I dati permettono di ricostruire chi ha proposto una correzione e come è stata verificata. Non permettono di attribuire alla sola collaborazione, o ai miei interventi, un aumento della forza di gioco. Report, protocolli e registri su GitHub