Ricercatori cinesi mettono in guardia contro un "collasso del modello" che minaccia l'affidabilità dei sistemi di intelligenza artificiale utilizzati nella sicurezza e nella difesa. Se non controllato, questo fenomeno potrebbe ridurre l'accuratezza delle valutazioni strategiche e indebolire il processo decisionale durante gli scontri militari. Gli esperti evidenziano potenziali vulnerabilità nelle capacità di difesa fino a quando le metodologie di addestramento non verranno adattate, con possibili ripercussioni anche al di fuori dei confini cinesi, dato che l'integrazione dell'IA nelle operazioni sta accelerando a livello globale.
Il collasso del modello si verifica quando i modelli vengono riaddestrati sui propri output sintetici nel corso di generazioni successive. Gli output diventano gradualmente più omogenei, distorti e meno accurati, compromettendo funzioni critiche, dall'analisi situazionale al supporto decisionale. Con il crescente utilizzo dell'IA in applicazioni militari e di sicurezza, tale deriva pone l'affidabilità del sistema in primo piano tra le preoccupazioni operative, soprattutto quando le catene decisionali si basano fortemente sui risultati algoritmici.
Secondo le valutazioni degli specialisti, la crescente integrazione dell'IA amplifica l'impatto di potenziali malfunzionamenti legati a questo fenomeno. Si parla quindi di una finestra di vulnerabilità, un periodo durante il quale i team di ricerca e sviluppo adattano i propri corpus di addestramento e i protocolli per limitare l'autoreferenzialità e mantenere un livello di prestazioni costante. Le conseguenze si misurerebbero principalmente in termini di accuratezza dei sistemi e robustezza delle valutazioni, con un maggiore rischio di errori durante le attività se il degrado non viene rilevato tempestivamente.
Una ricerca presentata alla conferenza ICLR 2024 da Quentin Bertrand e dai suoi coautori ha dimostrato che la stabilità del riaddestramento rimane possibile se il modello iniziale è sufficientemente sofisticato e se una parte significativa dei dati è reale. Tuttavia, gli autori hanno sottolineato che al di sotto di una certa soglia di dati reali, i modelli generativi rischiano di collassare, con risultati sempre più impoveriti e imprecisi. Questi risultati forniscono misure di sicurezza concrete per la gestione di dataset misti utilizzati nell'addestramento iterativo.
Analogamente, un articolo pubblicato sulla rivista Nature conclude che l'addestramento ricorsivo su dati sintetici non controllati può portare al collasso dei modelli generativi. Il problema dell'individuazione di contenuti artificiali all'interno dei corpus diventa sempre più complesso man mano che questi dati si diffondono maggiormente. Senza misure robuste, i modelli rischiano di autoalimentarsi verso stili sintetici degradati. Per le applicazioni di difesa, la qualità del corpus e la tracciabilità dei dati di addestramento diventano quindi parametri tecnici cruciali.
L'affidabilità dei modelli è oggetto di osservazioni preoccupanti anche al di fuori della Cina. I ricercatori di Apple hanno indicato lo scorso fine settimana che i modelli di ragionamento avanzato mostravano " limitazioni fondamentali e un completo crollo dell'accuratezza di fronte a problemi altamente complessi. Hanno osservato che, all'avvicinarsi di questa soglia critica, alcuni modelli riducevano il loro sforzo di ragionamento, un comportamento considerato particolarmente preoccupante. Questi risultati rafforzano il dibattito sulla reale robustezza degli approcci attuali quando la complessità del compito aumenta in modo significativo.
In un contesto correlato, Anthropic ha presentato questa settimana Project Glasswing, un progetto concepito per rafforzare le difese basate sull'intelligenza artificiale prima che vengano sopraffatte da hacker dotati di modelli avanzati. Partner come Amazon Web Services, Apple, Cisco, Google e Microsoft hanno accesso a Claude Mythos Preview, un modello non ancora pubblicato che, a quanto pare, ha già identificato migliaia di vulnerabilità, presenti in tutti i principali sistemi operativi e browser. Anthropic ha informato le autorità statunitensi, tra cui la Cybersecurity and Infrastructure Security Agency e l'AI Standards Center del National Institute of Standards and Technology.
Negli Stati Uniti, la Central Intelligence Agency (CIA) ha recentemente utilizzato l'intelligenza artificiale per produrre un rapporto di intelligence, un'iniziativa senza precedenti. L'agenzia ha dichiarato di aver testato 300 progetti nel 2025 e prevede di integrare partner di intelligenza artificiale in tutte le sue piattaforme analitiche nei prossimi anni. Nei prossimi anni, integreremo partner di intelligenza artificiale in tutte le piattaforme analitiche della CIA. "Il centro di intelligence informatica della CIA avrà il compito di guidare l'implementazione e lo sviluppo di queste capacità", ha affermato Michael Ellis.
Nel frattempo, il Dipartimento della Difesa statunitense ha confermato accordi con sette importanti aziende di intelligenza artificiale per integrare le loro tecnologie in reti militari classificate. Il Pentagono giustifica questa mossa con la necessità di migliorare rapidamente le capacità di sicurezza nazionale, l'efficacia operativa e il processo decisionale. Anthropic è esclusa da questi accordi e rimane in contrasto con il Dipartimento, alimentando il dibattito sull'equilibrio tra gestione del rischio, diversità di soluzioni e adozione accelerata delle tecnologie di intelligenza artificiale in ambienti sensibili.
In Europa, il governo svedese sta valutando la possibilità di dotarsi di una piattaforma cloud sovrana per ospitare dati classificati delle forze armate e del servizio di sicurezza SAPO. I servizi segreti svedesi hanno individuato il rischio di fughe di notizie tramite piattaforme straniere e hanno presentato un rapporto al governo. Il ministro della Difesa Paul Johnson ha sottolineato l'esperienza ucraina e l'enorme quantità di dati provenienti dal campo di battaglia, raccolti da sensori aerei, droni e satelliti, sostenendo che l'utilizzo di soluzioni cloud è diventato essenziale in tali circostanze.
Questi sviluppi internazionali mettono in luce le sfide associate alla qualità dei dati, alla sicurezza delle infrastrutture e all'affidabilità dei modelli. In Cina, se il collasso dei modelli non viene affrontato adeguatamente, potrebbero emergere significative vulnerabilità nelle capacità di difesa. Le implicazioni previste si estendono oltre i confini nazionali, con diversi Stati che sottolineano la necessità di riesaminare le proprie strategie di intelligenza artificiale alla luce dei limiti e dei rischi documentati, siano essi relativi alla qualità dei dati, al ragionamento robusto o alla superficie di attacco del software.
Ci si aspetta quindi che i ricercatori cinesi apportino modifiche metodologiche per preservare una proporzione sufficiente di dati reali e rafforzare le misure di sicurezza contro l'autoapprendimento incontrollato. Il monitoraggio attento di questi sviluppi rimane cruciale per gli attori della difesa, soprattutto perché la rapida integrazione dell'IA nei processi sensibili aumenta la richiesta di affidabilità. Nel frattempo, la finestra di vulnerabilità evidenziata dalle valutazioni rimane aperta, consentendo di consolidare approcci di addestramento in grado di prevenire qualsiasi crollo delle prestazioni.
