Un nuovo benchmark accademico mette a nudo quanto siano ancora fragili gli agenti basati su large language model quando devono affrontare uno dei compiti più delicati della cybersecurity: la ricostruzione catena di attacco a partire da prove digitali reali. Si chiama DiagChain e, secondo i dati riportati dai suoi stessi autori, anche la configurazione più performante tra sei modelli testati riesce a completare correttamente solo il 39,6% dei passaggi previsti. Un numero che dice molto sulla distanza che separa l’entusiasmo attorno agli agenti AI in sicurezza informatica dalla loro reale efficacia operativa.
Punti chiave
- DiagChain è un benchmark diagnostico pensato per valutare gli agenti LLM nella ricostruzione di catene di attacco basata su prove (evidence-grounded).
- Include MAIN-69, una suite di 69 scenari che copre diversi sistemi operativi, livelli di rumore nelle prove e lunghezze delle catene di attacco.
- Introduce ECRAG, un metodo che unisce il recupero delle prove a una rappresentazione strutturata ed evolutiva della catena ricostruita.
- Su sei LLM testati, la configurazione migliore ha raggiunto solo il 39,6% di successo sugli 849 passaggi di riferimento previsti da MAIN-69.
- I modelli più piccoli faticano a integrare le prove recuperate, mentre quelli più grandi arrivano più lontano ma sbagliano nell’ordinare correttamente gli indizi.
Cos’è DiagChain e perché serve un benchmark diagnostico per la ricostruzione della catena di attacco
DiagChain nasce per colmare un vuoto preciso nella valutazione degli agenti AI applicati alla sicurezza informatica. Fino a oggi, spiegano gli autori del paper, i benchmark esistenti si concentravano quasi esclusivamente sul risultato finale o su una accuratezza aggregata, senza dare visibilità su dove e come un modello sbaglia durante le fasi intermedie del ragionamento. DiagChain propone invece una valutazione per stadi, capace di isolare il momento esatto in cui il processo di ricostruzione si interrompe o devia.
Il cuore operativo del benchmark è MAIN-69, una suite composta da 69 scenari che spaziano su più sistemi operativi, diversi livelli di rumore nelle prove disponibili e catene di attacco di lunghezza variabile. Questa varietà serve a simulare le condizioni reali in cui un analista, o un agente automatizzato, deve districarsi tra telemetria eterogenea e informazioni non sempre pulite o complete.
ECRAG e le cinque metriche pensate per la diagnostica degli attacchi con LLM
Per rendere possibile questo tipo di analisi granulare, i ricercatori hanno introdotto Evidence-Centric Retrieval-Augmented Generation, noto come ECRAG. Il meccanismo unisce il recupero delle prove digitali a una rappresentazione strutturata della catena che si aggiorna progressivamente man mano che l’agente procede nella ricostruzione, offrendo un tracciamento più fedele del percorso logico seguito dal modello.
Accanto a ECRAG, il benchmark introduce cinque metriche complementari, ciascuna pensata per misurare uno stadio distinto del processo di ricostruzione. Questo approccio permette una diagnosi sistematica dei fallimenti: non basta sapere che un modello ha sbagliato, conta capire in quale fase esatta della catena l’errore si è generato e come si è propagato nei passaggi successivi.
Perché la valutazione per stadi conta
Questo livello di granularità è il vero valore aggiunto di DiagChain rispetto ai benchmark tradizionali. Una diagnostica evidence-based che scomponga il processo in fasi distinte offre indicazioni molto più utili di una semplice percentuale di accuratezza end-to-end, perché indica agli sviluppatori esattamente dove intervenire per migliorare gli agenti destinati alla sicurezza informatica.
Sei modelli alla prova: il tasso di successo si ferma al 39,6%
Il test più concreto è arrivato con la valutazione su sei diversi LLM. I risultati mostrano che nemmeno la configurazione migliore riesce a superare quota 39,6% di successo sugli 849 passaggi di riferimento previsti dagli scenari di MAIN-69. Un dato che, letto in prospettiva, racconta quanto lavoro resti da fare prima che gli agenti AI possano essere considerati affidabili in compiti di analisi forense digitale o di ricostruzione automatica di incidenti.
Perché conta questo numero? Perché sposta il dibattito dalla semplice capacità dei modelli di “capire” un attacco alla loro reale tenuta operativa su compiti multi-step, dove ogni errore in una fase iniziale può compromettere l’intera catena successiva di deduzioni.
Perché modelli piccoli e grandi falliscono in modi diversi nella ricostruzione della catena di attacco
L’analisi dei risultati per dimensione dei modelli rivela due ostacoli distinti. I modelli più piccoli mostrano difficoltà già nella fase più elementare: incorporare correttamente le prove recuperate nei propri output, un limite che li blocca praticamente all’inizio del processo di ricostruzione.
I modelli più grandi, invece, riescono ad avanzare fino a stadi successivi del compito, ma incontrano un ostacolo diverso e altrettanto rilevante: ordinare correttamente le prove raccolte diventa il vero collo di bottiglia. Sanno raccogliere gli indizi giusti, ma non sempre riescono a metterli nella sequenza temporale e causale corretta che ricostruisce l’effettiva catena di attacco informatica.
Questa distinzione ha un peso strategico non trascurabile per chi lavora su strumenti per ricostruzione attacchi basati su AI: aumentare le dimensioni del modello non basta da solo a risolvere il problema, perché le due criticità richiedono interventi diversi, dal miglioramento del retrieval delle evidenze fino all’affinamento delle capacità di ordinamento sequenziale.
FAQ
Cosa è progettato per valutare DiagChain?
DiagChain è pensato per valutare gli agenti basati su large language model nella ricostruzione di catene di attacco fondata su prove, attraverso una valutazione diagnostica e per stadi successivi.
Cosa copre la suite di scenari MAIN-69?
MAIN-69 comprende 69 scenari che spaziano su diversi sistemi operativi, livelli variabili di rumore nelle prove disponibili e differenti lunghezze delle catene di attacco.
In che modo la metodologia ECRAG migliora la ricostruzione della catena di attacco?
ECRAG unisce il recupero delle prove a una rappresentazione strutturata ed evolutiva della catena in fase di ricostruzione, offrendo un supporto più solido nell’analisi delle sequenze di attacco.
Quali sono le principali difficoltà di prestazione individuate per gli LLM in questo benchmark?
I modelli più piccoli faticano a incorporare le prove recuperate nei propri output, mentre i modelli più grandi affrontano il problema di ordinare correttamente le prove durante la ricostruzione.
Contenuto realizzato con l’assistenza dell’intelligenza artificiale e con revisione editoriale umana.