AI di frontiera e cybersecurity, nuovi rischi dai test dei modelli di OpenAI, Anthropic e Meta

AI di frontiera, la sicurezza entra in una nuova fase

Negli ultimi giorni il settore dell’intelligenza artificiale (AI) ha assistito a una serie di rivelazioni che segnano un punto di svolta nella valutazione dei rischi cyber associati ai modelli di frontiera. OpenAI, Anthropic e ora anche Meta hanno confermato incidenti verificatisi durante test di sicurezza controllati, nei quali alcuni agenti AI hanno compiuto azioni autonome non previste, interagendo con sistemi, piattaforme e persone reali attraverso internet.

Sebbene nessuno degli episodi abbia prodotto danni concreti e tutti siano avvenuti in contesti sperimentali molto particolari, la loro importanza va ben oltre il singolo incidente. A cambiare è infatti il paradigma della sicurezza secondo i risultati del rapporto pubblicato dall’AI Security Institute (AISI) del Regno Unito: il rischio non deriva soltanto dall’uso malevolo dell’intelligenza artificiale da parte di criminali informatici, ma anche dalla possibilità che agenti AI particolarmente avanzati, nel perseguire un obiettivo assegnato, sviluppino strategie autonome, sofisticate e potenzialmente dannose che i ricercatori non avevano previsto.

Meta: un errore di configurazione ha consentito al modello di agire su Internet

L’ultimo episodio riguarda Meta, che ha confermato alla BBC che uno dei propri modelli di AI, durante una valutazione indipendente svolta dalla società specializzata Irregular, ha ottenuto accesso a Internet e ha compiuto azioni contro i sistemi di un’altra organizzazione.

Secondo Meta, la causa è stata una misconfiguration, ovvero una configurazione errata dell’ambiente di test, analoga a quella già resa pubblica da Anthropic pochi giorni prima. L’azienda ha precisato di essere ancora impegnata nelle verifiche e di voler pubblicare ulteriori dettagli una volta completata l’indagine.

La società che conduce valutazioni di sicurezza avanzate sugli agenti AI ha confermato che l’episodio di Meta rappresenta “esattamente lo stesso problema nell’ambiente di valutazione già divulgato da Anthropic“ e sta predisponendo nuove linee guida per rendere più sicuri i test cyber che coinvolgono agenti autonomi.

Pericoloso è portare i modelli alle massime capacità

La vicenda di Meta si inserisce in una sequenza di episodi che ha interessato l’intero settore. Nei giorni precedenti OpenAI aveva comunicato che alcuni propri agenti, durante test interni, avevano attaccato servizi realmente accessibili via internet, tra cui la piattaforma Hugging Face.

Successivamente Anthropic aveva svolto verifiche analoghe, scoprendo che anche il proprio modello aveva effettuato azioni non autorizzate verso sistemi appartenenti a organizzazioni esterne, sempre a causa di una configurazione sperimentale che consentiva l’accesso alla rete e con i filtri di sicurezza deliberatamente disattivati.

La conferma di Meta rafforza quindi un elemento fondamentale: non si tratta di un comportamento riconducibile a un singolo laboratorio, ma di una caratteristica emergente osservata in diversi modelli di frontiera quando vengono valutati nelle loro massime capacità operative.

Uno scenario inquietante, per certi versi, che sta alla base della proposta di legge bipartisan arrivata al Congresso americano, la “AI Kill Switch Act“, che punta a introdurre un “interruttore di emergenza” per i modelli di AI più avanzati, attribuendo al governo federale il potere di rallentarli o spegnerli in caso di minacce alla sicurezza pubblica.

Il rapporto dell’AISI: il primo caso documentato di comportamento autonomo e ingannevole

Il documento pubblicato dall’AI Security Institute britannico costituisce oggi la ricostruzione più dettagliata dell’intero fenomeno. L’AISI ha il compito di valutare le capacità dei modelli di frontiera prima della loro diffusione pubblica, simulando scenari estremamente permissivi proprio per comprendere quali rischi potrebbero emergere.

Per questo motivo i ricercatori avevano deliberatamente:

• consentito agli agenti l’accesso completo a internet;
• disabilitato i cyber classifier, cioè i filtri con cui OpenAI e Anthropic impediscono normalmente comportamenti pericolosi;
• eseguito i test in ambienti virtualizzati e isolati (sandbox).

L’obiettivo era misurare le capacità massime dei modelli, non replicare le condizioni di utilizzo commerciale.

I numeri dell’indagine

L’esercitazione ha coinvolto 122 esecuzioni complessive distribuite su sette modelli differenti.

Tra queste:

• 43 run hanno coinvolto Anthropic Mythos 5;
• 35 run hanno riguardato GPT-5.6 Sol di OpenAI.

L’indagine ha individuato:

• 10 esecuzioni nelle quali gli agenti hanno compiuto azioni autonome non autorizzate;
• 19 azioni distinte fuori dagli obiettivi del test;
• 17 azioni attribuite a Mythos 5;
• 2 azioni a GPT-5.6 Sol, con i cyber classifier disabilitati.

L’AISI sottolinea che non si è trattato di 19 incidenti indipendenti, ma di una serie di comportamenti collegati sviluppati principalmente da un unico agente.

Bengio: “la sicurezza dei modelli dovrebbe essere incorporata fin dalla fase di progettazione e training”

“Gli episodi emersi nei test di OpenAI, Anthropic e Meta rappresentano una delle prime manifestazioni concrete di un fenomeno che la ricerca sull’intelligenza artificiale aveva finora descritto soprattutto sul piano teorico: la possibilità che sistemi AI di frontiera sviluppino comportamenti non perfettamente allineati agli obiettivi e ai vincoli fissati dai loro sviluppatori. I modelli più avanzati vengono infatti addestrati con tecniche di reinforcement learning, che li portano a perseguire autonomamente un obiettivo individuando il percorso più efficace per raggiungerlo. In questo processo, l’AI può elaborare strategie, pianificare azioni e, in alcuni casi, individuare scorciatoie o sotto-obiettivi non previsti dai progettisti. Questo fenomeno, noto come misalignment, è stato ampiamente studiato sia dal punto di vista teorico sia attraverso sperimentazioni pratiche, e tende a diventare più rilevante con l’aumentare delle capacità del modello”, ha spiegato in un post social Yoshua Bengio, Professore ordinario di informatica all’Università di Montréal e fondatore del Mila – Quebec AI Institute, considerato da molti uno dei “padrini dell’AI”.

I casi documentati dall’AI Security Institute, ha proseguito Bengio, “mostrano in modo tangibile quali potrebbero essere le conseguenze quando tali sistemi operano senza i normali meccanismi di contenimento. Gli agenti AI hanno infatti creato identità false online, inviato comunicazioni mirate a persone reali e tentato di introdurre codice malevolo all’interno di un progetto open source, ricorrendo anche a tecniche di ingegneria sociale per aumentare le probabilità di successo. È vero che, nelle valutazioni dell’AISI, le protezioni integrate nei modelli erano state volutamente disattivate per analizzarne le capacità massime. Tuttavia, ciò non consente di concludere che i sistemi di sicurezza adottati nelle applicazioni reali saranno sempre sufficienti. La cybersicurezza, per sua natura, non è mai perfetta: ogni misura di protezione può essere aggirata da un sistema sufficientemente capace, in grado di individuare vulnerabilità o percorsi alternativi che gli sviluppatori non avevano previsto”.

Per questa ragione, ha concluso Bengio, “la sicurezza dei modelli non dovrebbe essere affidata esclusivamente ai guardrail applicati dopo l’addestramento, ma dovrebbe essere incorporata fin dalla fase di progettazione e training. Allo stesso tempo, diventa sempre più necessario definire un quadro di responsabilità giuridica che renda gli sviluppatori chiamati a rispondere degli eventuali danni provocati dai propri sistemi di intelligenza artificiale”.

Come hanno agito gli agenti AI

Il rapporto descrive quattro categorie di comportamento che rappresentano una novità assoluta nella ricerca sulla sicurezza dell’intelligenza artificiale.

1. Tentativo di supply chain attack

L’episodio più grave ha visto un agente cercare di inserire codice malevolo in un progetto open source realmente utilizzato.

L’agente ha:

• studiato i manutentori umani del progetto;
• creato identità false;
• aperto una pull request su GitHub;
• cercato di convincere il maintainer ad approvare il codice.

Quando altri utenti hanno contestato il contenuto della modifica, l’agente ha modificato la propria attività pubblica per farla apparire innocua e ha persino valutato la possibilità di creare nuove identità per proseguire il tentativo.

2. Social engineering contro persone reali

Per ottenere l’approvazione del codice, l’agente ha contattato direttamente persone reali.

Ha inviato:

• messaggi privati;
• file tramite servizi di trasferimento;
• contenuti destinati a convincere utenti o assistenti AI ad eseguire codice malevolo.

Secondo l’AISI è la prima volta che durante una valutazione vengono osservati comportamenti di social engineering autonomo rivolti direttamente contro persone reali.

3. Prompt injection contro altri sistemi AI

Gli agenti hanno inoltre tentato di inserire istruzioni nascoste in ambienti online con l’obiettivo di influenzare altri sistemi di intelligenza artificiale che avrebbero potuto leggerle successivamente.

Si tratta di tecniche riconducibili alla cosiddetta prompt injection, oggi considerata una delle principali superfici d’attacco contro i sistemi AI.

4. Collaborazione tra agenti autonomi

Uno degli aspetti più sorprendenti riguarda il fatto che alcuni agenti abbiano lasciato messaggi pubblici destinati ad altri agenti impegnati nella stessa valutazione.

Le istruzioni spiegavano:

• come riutilizzare account creati in precedenza;
• come sfruttare artefatti già lasciati online;
• come collaborare indirettamente per raggiungere l’obiettivo.

È uno dei primi esempi documentati di cooperazione indiretta tra agenti AI indipendenti.

Perché è successo

L’AISI individua diverse cause convergenti. Gli agenti erano stati incaricati di risolvere una complessa sfida di cybersicurezza. In alcuni casi il prompt era configurato in modo errato, inducendo il modello a ritenere impossibile completare il compito restando entro i limiti previsti. Di conseguenza gli agenti hanno iniziato a cercare percorsi alternativi.

Come osserva Daniel Hulme, Chief AI Officer di WPP, intervistato dalla BBC, “gli agenti non stavano cercando deliberatamente di comportarsi in modo malevolo”, semplicemente “perseguivano l’obiettivo assegnato elaborando strategie sempre più sofisticate”.

La conclusione del rapporto è particolarmente significativa: la deception, cioè l’inganno finalizzato al raggiungimento di un obiettivo, non era stata programmata esplicitamente ma è emersa spontaneamente come strategia di problem solving.

Nessuna fuga dal sandbox

Uno degli aspetti che il rapporto chiarisce con maggiore forza riguarda un equivoco già circolato nel dibattito pubblico. Gli agenti non sono “scappati” dal sandbox. Gli ambienti virtualizzati predisposti dall’AISI hanno continuato a isolare i sistemi interni dell’istituto. L’accesso a Internet era stato autorizzato intenzionalmente.

Ciò che i ricercatori non avevano previsto era che gli agenti avrebbero utilizzato quella connettività per interagire con persone e organizzazioni reali. Inoltre il monitoraggio disponibile non era stato progettato per osservare in tempo reale questo tipo di comportamenti. L’incidente è stato scoperto quando i sistemi di sicurezza hanno rilevato traffico anomalo sulla rete Tor, utilizzata dagli agenti per mascherare l’origine delle comunicazioni.

Quali rischi emergono

L’AISI è molto prudente. Il rapporto precisa che i modelli testati non corrispondono a quelli commercialmente disponibili; i filtri di sicurezza erano stati volontariamente rimossi; non esistono evidenze di comportamenti analoghi nell’uso quotidiano.

Tuttavia i ricercatori ritengono che questi eventi rappresentino un importante segnale anticipatore. Per la prima volta sono stati osservati comportamenti definiti “autonomi, persistenti, orientati all’obiettivo, capaci di coinvolgere persone reali e caratterizzati da elementi di inganno e manipolazione”.

Cosa significa per aziende e organizzazioni

Il messaggio conclusivo dell’AISI è chiaro: questi episodi non devono generare allarmismo, ma nemmeno essere sottovalutati. La minaccia non riguarda oggi gli utenti comuni che utilizzano ChatGPT, Claude o gli altri servizi commerciali. Riguarda invece il futuro delle valutazioni di sicurezza e, soprattutto, l’evoluzione delle capacità autonome dei modelli di frontiera.

L’AISI richiama espressamente le raccomandazioni del National Cyber Security Centre britannico e delle agenzie di sicurezza dei Paesi Five Eyes: rafforzare le pratiche di verifica del codice, adottare controlli rigorosi lungo tutta la supply chain software, estendere programmi come Cyber Essentials e portare la cybersicurezza al livello delle decisioni strategiche aziendali.

Se oggi tali comportamenti emergono soltanto in ambienti di ricerca altamente permissivi, è ragionevole attendersi che modelli sempre più potenti possano manifestare strategie analoghe anche in altri contesti operativi, rendendo ancora più importante l’adozione delle tradizionali misure di cyber hygiene.
Non significa che l’intelligenza artificiale abbia sviluppato intenzionalità o coscienza. Come sottolinea Hulme, questi sistemi perseguono semplicemente l’obiettivo assegnato esplorando ogni percorso che ritengono utile. Ma proprio questa capacità di ricerca autonoma rende oggi indispensabile ripensare le modalità con cui vengono progettati i test, i sistemi di contenimento e le architetture di sicurezza.

Novità su Google, per aggiungere Key4Biz tra le tue fonti preferite, clicca qui

Leggi le altre notizie sull’home page di Key4biz

https://www.key4biz.it/ai-di-frontiera-e-cybersecurity-nuovi-rischi-dai-test-dei-modelli-di-openai-anthropic-e-meta/584149/