Google, il Dipartimento di Giustizia USA vuole lo spezzatino e chiede restrizioni dell’AI

Processo al monopolio della ricerca di Google, tra le ipotersi anche la vendita di Chrome

Il Dipartimento di Giustizia degli Stati Uniti (DoJ) ha iniziato lunedì un processo antitrust storico contro Alphabet, società madre di Google, accusata di sfruttare il suo monopolio nella ricerca online per consolidare ulteriormente la propria posizione dominante attraverso l’intelligenza artificiale (AI).

Durante l’apertura del processo, come raccontato da Jody Godoy sulla Reuters, il procuratore del DoJ David Dahlquist ha sostenuto la necessità di imporre “forti restrizioni su Google per impedirle di estendere il suo dominio tramite prodotti basati sull’AI, come Gemini”, che la società farà installare a pagamento sui dispositivi Samsung fino al 2028, un accordo descritto come “una somma enorme”, anche se per il momento non ne sono stati resi pubblici i dettagli economici.

La causa potrebbe portare alla vendita obbligata del browser Chrome, oltre alla fine degli accordi esclusivi che Google ha stretto con produttori di smartphone e tablet come Apple e Samsung per impostare Google come motore di ricerca predefinito.

Lo scorso mese è stata l’Antitrust Ue ad accusare Google di violazione delle regole europee sul digitale, ordinando nel contempo ad Apple di aumentare l’interoperabilità dei dispositivi iPhone e iPad per i concorrenti. La Commissione europea ha agito nonostante le minacce del presidente degli Stati Uniti Donald Trump di imporre dazi contro i Paesi che sanzionano le aziende statunitensi.

Nei giorni scorsi nel Regno Unito è stata avviata una class action contro Google da 6 miliardi di euro con l’accusa di abuso di posizione dominante nel mercato della pubblicità online.

Il Dipartimento di Giustizia (DoJ) chiede misure radicali

Il DoJ chiede misure radicali: tra queste, l’obbligo per Google di concedere licenze sui risultati di ricerca ai concorrenti e, nel caso in cui le altre misure risultassero inefficaci, la possibile vendita del sistema operativo Android.

Google, rappresentata dall’avvocato John Schmidtlein, ha respinto le accuse definendo le richieste del DoJ una “lista dei desideri dei concorrenti” e ha dichiarato che tali restrizioni danneggerebbero l’innovazione americana in un momento cruciale.

L’azienda sostiene inoltre che eliminare i pagamenti ai produttori di dispositivi aumenterebbe il costo degli smartphone e metterebbe a rischio la sopravvivenza di società come Mozilla.

Il giudice distrettuale Amit Mehta aveva già in precedenza stabilito che gli accordi esclusivi di Google con i produttori di dispositivi hanno contribuito a mantenere intatto ed accrescere il suo monopolio.

Tra i testimoni previsti figura Nick Turley, capo prodotto dell’app concorrente di AI, ChatGPT di OpenAI, chiamato a testimoniare martedì. Google, da parte sua, ha annunciato che chiamerà a testimoniare rappresentanti di Mozilla, Verizon e Apple.

Il processo è parte di una più ampia stretta antitrust contro i giganti tecnologici iniziata sotto la presidenza Trump e proseguita con Biden, in quello che il DoJ definisce un approccio “nonpartisan”.

Un recente caso antitrust contro Google relativo alla pubblicità online ha già visto una vittoria del Dipartimento di Giustizia giovedì scorso, rafforzando l’immagine di un fronte governativo compatto contro gli abusi di mercato.

Il processo potrebbe dunque segnare una svolta epocale nel settore digitale, con conseguenze potenzialmente rivoluzionarie per il panorama tecnologico globale.

Come risolvere l’annosa questione?

La questione in aula questa volta, che sarà discussa nelle prossime due settimane, è cosa fare per risolvere la situazione . E secondo Dahlquist, il processo deve iniziare interrompendo ogni fase del “circolo vizioso”: Google paga miliardi di dollari per essere il motore di ricerca predefinito praticamente ovunque, quindi riceve più query di ricerca, quindi ottiene dati migliori, quindi è in grado di migliorare i suoi risultati, quindi guadagna di più, quindi può permettersi più motori predefiniti su una miriade di famiglie di smartphone e tablet.

Il Dipartimento di Giustizia chiede tre cose, come ben illustrato su The Verge, David Pierce, redattore capo e co-conduttore di Vergecast. In primo luogo, vuole impedire a Google di concludere praticamente qualsiasi tipo di accordo per il posizionamento sui motori di ricerca di prima fascia, poi vuole che Google ceda Chrome, quindi come terzo punto obbligare Google a concedere in licenza praticamente tutti i suoi dati di ricerca, dall’indice di ricerca ai risultati, a qualsiasi concorrente che li richieda. Finora, questa sembra essere la disposizione che preoccupa maggiormente Google.

Gemini sul banco degli imputati

Durante il processo del 2023, il mercato dell’intelligenza artificiale è stato menzionato solo occasionalmente, ma ora sembra essere al centro dell’attenzione per entrambe le parti . I rimedi proposti dal Dipartimento di Giustizia sono così severi, ha sostenuto Dahlquist, perché “Google sta usando la stessa strategia che ha usato per la ricerca e la sta applicando a Gemini”. Ma è stato anche attento a precisare che non ritiene che l’intelligenza artificiale e la ricerca siano la stessa cosa.

Il dibattito sull’intelligenza artificiale sarà un appuntamento fisso in aula nelle prossime due settimane. Sissie Hsiao, che in precedenza ha guidato il team Gemini, sarà sul banco dei testimoni.

Lo stesso faranno i dirigenti di OpenAI e Perplexity, e una serie di esperti che cercheranno di spiegare come l’intelligenza artificiale possa integrarsi e rivoluzionare il settore della ricerca. È significativo che il primo testimone del processo sia stato un esperto di intelligenza artificiale, Greg Durrett, che ha dedicato gran parte della sua testimonianza semplicemente a spiegare il funzionamento della tecnologia.

Leggi le altre notizie sull’home page di Key4biz

https://www.key4biz.it/google-il-dipartimento-di-giustizia-usa-vuole-lo-spezzatino-e-chiede-restrizioni-dellai/529105/




La Cina si affiderà all’intelligenza artificiale per riformare il sistema educativo

Generative AI Insights è la rubrica curata da Recomb, il think tank dedicato all’esplorazione dell’impatto e del potenziale dell’AI generativa in vari aspetti della vita umana. Recomb studia l’AI generativa da tutte le angolazioni: professionale, etica, tecnica, legale, economica, ambientale, sociale, educativa e culturale. Per leggere tutti gli articoli della rubrica Generative AI Insights su Key4biz clicca qui..

Nel quadro di una strategia nazionale per trasformare il sistema educativo, la Cina ha annunciato l’integrazione dell’AI in ogni livello scolastico, dalla primaria all’università.

Secondo un documento ufficiale diffuso dal Ministero dell’Istruzione, l’obiettivo è promuovere lo sviluppo di competenze fondamentali tra studenti e insegnanti – come il pensiero critico, la risoluzione autonoma dei problemi e la capacità di collaborare – per alimentare la competitività e l’innovazione del paese. L’adozione dell’AI sarà estesa non solo ai programmi didattici, ma anche ai libri di testo e alle metodologie d’insegnamento, nella speranza di rendere l’apprendimento più dinamico e stimolante.

Questa riforma si inserisce in un contesto più ampio di rilancio dell’innovazione tecnologica, che ha visto recentemente l’espansione dei corsi universitari dedicati all’AI e l’aumento degli iscritti, soprattutto dopo il successo della startup cinese DeepSeek, che ha lanciato un modello linguistico avanzato a costi inferiori rispetto ai concorrenti statunitensi.

A gennaio 2025, Pechino ha anche presentato un piano nazionale con orizzonte al 2035 per diventare una ‘nazione dell’istruzione forte’, facendo leva sull’efficienza dell’innovazione tecnologica come motore per il cambiamento.

Con questa iniziativa, la Cina riafferma la propria intenzione di posizionarsi come leader mondiale nella formazione di talenti altamente qualificati in ambito tecnologico. Tuttavia, restano aperti interrogativi riguardo l’equità di accesso, l’impatto sui metodi educativi tradizionali e la gestione etica dell’AI nel contesto scolastico.

Per maggiori informazioni, clicca per l’articolo originale.

Meta ha chiesto ad Amazon e Microsoft di contribuire al finanziamento di Llama

Meta sta lavorando per costruire un consorzio industriale finalizzato alla condivisione dei costi di sviluppo dei suoi modelli open-source Llama.

Secondo fonti interne, l’azienda guidata da Mark Zuckerberg ha avviato colloqui diretti con colossi tecnologici come Amazon, Microsoft e altri attori strategici per valutare il loro interesse a cofinanziare l’addestramento delle prossime generazioni del modello Llama.

L’obiettivo sarebbe quello di formare una rete di partner che possa non solo contribuire economicamente, ma anche beneficiare di vantaggi esclusivi come accesso anticipato ai modelli, visibilità nella documentazione tecnica e potenziale influenza nella roadmap di sviluppo.

Questa proposta riflette un cambio di paradigma nell’approccio di Meta all’intelligenza artificiale, cercando di consolidare un fronte comune in risposta al crescente predominio dei modelli proprietari come quelli sviluppati da OpenAI, Anthropic e Google DeepMind. La creazione del cosiddetto ‘Llama Consortium’ rappresenterebbe una strategia per rafforzare l’ecosistema dell’AI open-source, evitando la completa concentrazione delle risorse computazionali e delle innovazioni in poche mani.

L’iniziativa risponde anche alla necessità di sostenere economicamente progetti con costi di addestramento che possono superare le centinaia di milioni di dollari, specialmente per modelli superiori ai 400 miliardi di parametri. Tuttavia, le risposte dei potenziali partner sembrano miste. Microsoft e Amazon, pur già coinvolte nella distribuzione di Llama tramite i rispettivi cloud (Azure e AWS), sembrano restie a investire in modo diretto, preferendo concentrarsi sui propri modelli interni.

La proposta rimane comunque aperta ad altri soggetti industriali che potrebbero trovare vantaggio competitivo nel sostenere un’infrastruttura condivisa e non proprietaria. L’esito dell’iniziativa sarà cruciale per determinare l’equilibrio tra modelli chiusi e open-source nei prossimi anni di evoluzione dell’AI.

Per maggiori informazioni, clicca per l’articolo originale.

Leggi le altre notizie sull’home page di Key4biz

https://www.key4biz.it/la-cina-si-affidera-allintelligenza-artificiale-per-riformare-il-sistema-educativo/528882/




Chain-of-Thought e attacchi H-CoT: come gli hacker stanno sovvertendo i meccanismi di Sicurezza delle IA più avanzate

Nel panorama in costante evoluzione dell’intelligenza artificiale, una nuova e allarmante vulnerabilità è emersa, colpendo al cuore i sistemi di sicurezza implementati nei modelli linguistici di ragionamento più avanzati. Un recente studio condotto da ricercatori della Duke University ha portato alla luce una metodologia di attacco denominata “Hijacking Chain-of-Thought” (H-CoT), in grado di compromettere i meccanismi di sicurezza di modelli come OpenAI o1/o3, DeepSeek-R1 e Gemini 2.0 Flash Thinking.

Il paradosso della trasparenza nel ragionamento AI

Il meccanismo di ragionamento “chain-of-thought” (catena di pensiero) rappresenta una delle innovazioni più significative nel campo dell’intelligenza artificiale degli ultimi anni. Introdotto nel 2022, questo approccio consente ai modelli IA di affrontare problemi complessi scomponendoli in passaggi intermedi, imitando il processo di ragionamento umano. Questa metodologia ha migliorato notevolmente le capacità dei modelli di risolvere problemi articolati, fornendo risposte più accurate e contestualizzate.

Ironicamente, ciò che era stato concepito come un miglioramento per la sicurezza si è trasformato in una vulnerabilità critica. Come spiega Jianyi Zhang, autore principale dello studio e ricercatore presso la Duke University:

“La capacità di ragionamento chain-of-thought può effettivamente migliorare la sicurezza, poiché il modello può eseguire un’analisi interna più rigorosa per rilevare violazioni delle policy. Tuttavia, il nostro attacco H-CoT è un metodo più avanzato che sfrutta specificamente la trasparenza di questo processo. Quando un modello condivide apertamente i suoi ragionamenti intermedi sulla sicurezza, gli attaccanti acquisiscono informazioni sui suoi processi decisionali e possono creare prompt avversariali che imitano o sovrascrivono i controlli originali.”

Questa vulnerabilità è stata riconosciuta anche da Anthropic nella documentazione del suo modello Claude 3.7 Sonnet:

“…consentire agli utenti di vedere il ragionamento di un modello potrebbe permettere loro di comprendere più facilmente come aggirare le protezioni del modello stesso.”

Anatomia dell’Attacco H-CoT

Per comprendere la portata del problema, i ricercatori hanno sviluppato un dataset chiamato “Malicious-Educator“, contenente richieste intrinsecamente pericolose ma mascherate da scopi educativi legittimi. Queste richieste riguardano argomenti estremamente sensibili come terrorismo, cybercrime e abuso di minori – tematiche che i modelli AI responsabili dovrebbero rifiutarsi di trattare in contesti dannosi.

Il processo di attacco H-CoT si articola attraverso l’analisi e la manipolazione di due fasi distinte del ragionamento del modello:

  1. Fase di Giustificazione: In questa fase iniziale, il modello valuta se una richiesta è conforme alle policy di sicurezza e se dovrebbe fornire una risposta;
  2. Fase di Esecuzione: Se il modello decide che può fornire una risposta conforme alle policy, procede con questa fase, illustrando i passaggi di ragionamento per risolvere il problema.

Contrariamente ai tentativi più semplici di alterare la fase di giustificazione, che generalmente falliscono poiché il modello è addestrato a riconoscere manipolazioni esplicite, l’approccio H-CoT opera in modo più sofisticato. Invece di cercare di modificare direttamente l’opinione del modello sulla legittimità di una richiesta, l’attacco incoraggia il modello a concentrarsi sulla risoluzione del problema, aggirando efficacemente la fase di giustificazione e passando direttamente alla fase di esecuzione.

Ciò avviene inserendo frammenti di “pensieri” simulati che imitano lo stile del ragionamento del modello, inducendolo a credere che la valutazione della sicurezza sia già stata completata. Come spiegano i ricercatori:

“Interponendo un frammento di pensiero di esecuzione simulato, incoraggiamo il modello a saltare le giustificazioni attente e a passare direttamente a una mentalità di esecuzione.”

Nessun modello è veramente sicuro!

I risultati dei test condotti dai ricercatori sono profondamente preoccupanti e mettono in discussione l’efficacia delle attuali misure di sicurezza implementate nei modelli IA di punta.

Il modello o1 di OpenAI, che normalmente rifiuta il 99% delle richieste dannose presenti nel dataset Malicious-Educator, ha visto il suo tasso di rifiuto crollare a meno del 2% quando sottoposto ad attacchi H-CoT. Questo rappresenta un deterioramento catastrofico delle sue difese, riducendo praticamente a zero la sua capacità di identificare e bloccare contenuti potenzialmente pericolosi.

La situazione si rivela ancora più critica per DeepSeek-R1, che già in condizioni normali mostra un tasso di rifiuto di appena il 20% per i contenuti problematici. Sotto l’influenza dell’attacco H-CoT, questo tasso scende ulteriormente al 4%. Un problema aggiuntivo di DeepSeek-R1 risiede nel suo design di sicurezza difettoso: il modello inizialmente genera contenuti dannosi prima che il suo moderatore di sicurezza intervenga per sovrapporvi un messaggio di rifiuto. Questo comportamento permette a un attaccante di catturare la risposta dannosa originale prima della censura.

Il modello Gemini 2.0 Flash Thinking di Google mostra le prestazioni di sicurezza più scadenti, con meno del 10% delle richieste dannose rifiutate inizialmente. Sottoposto ad H-CoT, non solo il modello fornisce contenuti dannosi, ma cambia addirittura il suo tono da cauto a entusiasta nel fornire informazioni pericolose.

Vulnerabilità multilingue: un fenomeno inaspettato

Una scoperta inaspettata emersa durante la ricerca riguarda il comportamento linguistico dei modelli sottoposti ad attacco. Nonostante tutti gli input fossero in inglese, i modelli della serie o1 di OpenAI hanno occasionalmente prodotto pensieri di ragionamento in altre lingue, tra cui ebraico, arabo, cinese, giapponese, coreano e tamil.

Questo fenomeno, secondo i ricercatori, “dimostra non solo l’instabilità intrinseca nei meccanismi di ragionamento di sicurezza del modello o1, ma indica anche che il metodo H-CoT amplifica tali instabilità”. La manifestazione di queste instabilità attraverso molteplici lingue suggerisce che il meccanismo di ragionamento sottostante potrebbe essere vulnerabile ad attacchi multilingue, evidenziando la necessità di affrontare queste vulnerabilità in contesti linguistici diversi.

Vulnerabilità specifiche nei diversi modelli

L’analisi approfondita ha rivelato caratteristiche e vulnerabilità uniche per ciascun modello testato:

OpenAI o1/o3

I modelli di OpenAI, sebbene inizialmente mostrino il più alto tasso di rifiuto per contenuti dannosi, presentano significative variazioni nella sicurezza in base alla posizione geografica. L’uso di diversi indirizzi IP proxy ha influenzato in modo sostanziale le risposte di sicurezza del modello, suggerendo un’implementazione incoerente delle misure di sicurezza a livello globale.

I ricercatori hanno anche osservato un deterioramento della sicurezza tra le versioni di gennaio e febbraio 2025 del modello o1, coincidente con il rilascio di DeepSeek-R1. Questo solleva interrogativi sulla possibilità che OpenAI stia compromettendo la sicurezza per rimanere competitiva in termini di prestazioni e costi.

DeepSeek-R1

Oltre alla già menzionata vulnerabilità nel design del sistema di sicurezza, DeepSeek-R1 mostra differenze significative nelle risposte di sicurezza attraverso diverse lingue. Ad esempio, quando interrogato su sparatorie scolastiche in inglese, il modello fornisce strategie criminali, mentre in cinese semplificato offre tipicamente strategie di prevenzione. Questa discrepanza, attribuibile ai dati di addestramento e ai clienti target, apre le porte ad attacchi multilingue, dove un utente malintenzionato potrebbe tradurre una domanda pericolosa in inglese per aggirare i controlli di sicurezza di DeepSeek e poi ritradurre la risposta dannosa nella propria lingua.

Gemini 2.0 Flash Thinking

Il modello di Google mostra una forte inclinazione verso il comportamento di “seguire le istruzioni”, che ha implicazioni significative per la sua sicurezza. I ricercatori hanno notato che se il modello fornisce risposte con un diverso numero di strategie criminali in diverse prove (ad esempio, 2, 3, 3, 4, 4), selezionando la risposta con il maggior numero di strategie (4) e utilizzando il corrispondente processo di pensiero in H-CoT, il modello genererebbe costantemente risposte con almeno 4 strategie.

Inoltre, se il modello fornisce una risposta esitante in quattro prove su cinque e una risposta molto disponibile in una (solitamente iniziando con “certamente”), iniettando il processo di pensiero dalla risposta “certamente” nella query H-CoT, il modello inizierebbe tutte le sue risposte successive con “certamente”. Questo comportamento suggerisce che mentre il modello dà priorità al seguire le istruzioni per migliorare il ragionamento, pone meno enfasi sull’allineamento di sicurezza, rendendolo vulnerabile alla manipolazione sotto attacchi H-CoT.

Strategie difensive: proteggere l’intelligenza artificiale

Sulla base delle loro scoperte, i ricercatori propongono diverse strategie difensive per mitigare le vulnerabilità H-CoT nei modelli di ragionamento:

1. Nascondere il processo di ragionamento

La raccomandazione principale è di evitare di mostrare i dettagli del ragionamento sulla sicurezza agli utenti, sia nella fase di giustificazione che in quella di esecuzione. I ricercatori hanno osservato che OpenAI ha già iniziato ad adottare questo approccio nell’ultima versione web di o3-mini, dove il processo di pensiero per alcune query pericolose è coperto con “None” (Nessuno).

2. Rafforzare la difesa contro H-CoT imitato

Dato che H-CoT mantiene un’alta trasferibilità tra diversi modelli, è necessario separare i prompt relativi al CoT dalla richiesta principale durante le valutazioni di sicurezza. Se la richiesta principale è sicura, si può aggiungere un prompt relativo al CoT per l’elaborazione; tuttavia, se la richiesta principale è pericolosa, i prompt relativi al CoT dovrebbero essere esclusi dall’input per evitare di compromettere il ragionamento di sicurezza del modello.

3. Migliorare la capacità di ragionamento sulla sicurezza durante l’addestramento

Il successo di H-CoT è parzialmente attribuibile al fatto che l’allineamento di sicurezza è più impegnativo per i modelli di ragionamento di grandi dimensioni. A differenza dei metodi precedenti che miravano a semplici corrispondenze punto a punto, è necessaria una comprensione più profonda dell’intento dell’utente per evitare di cadere in trappole logiche dannose. Ciò richiede metodi di addestramento all’allineamento di sicurezza più avanzati e dataset di maggiore qualità che catturino meglio questa complessità.

4. Non Trascurare la Sicurezza a Causa della Competizione sull’Utilità

La competizione sulla capacità di ragionamento nei modelli IA è intensa, con gran parte dell’attenzione focalizzata sulla riduzione dei costi e sul miglioramento delle prestazioni di ragionamento. Di conseguenza, la sicurezza è stata spesso trascurata. I ricercatori incoraggiano le aziende a prendere sul serio il bilanciamento tra utilità e sicurezza, prioritizzando la sicurezza accanto all’utilità nello sviluppo futuro di modelli IA.

Implicazioni etiche: perché rivelare queste vulnerabilità?

La pubblicazione di vulnerabilità come H-CoT solleva importanti questioni etiche. I ricercatori riconoscono che divulgare tali debolezze potrebbe potenzialmente aiutare attori malintenzionati a creare attacchi più efficaci. Tuttavia, sostengono che studiare apertamente queste vulnerabilità è essenziale per la comunità di ricerca e l’industria per sviluppare salvaguardie più robuste, che alla fine beneficeranno gli utenti di tutto il mondo.

“Crediamo che studiare apertamente queste debolezze sia essenziale per la comunità di ricerca e l’industria per sviluppare salvaguardie più robuste”, scrivono i ricercatori nella sezione etica del loro articolo. “Riconosciamo che divulgare tali vulnerabilità potrebbe potenzialmente aiutare attori malintenzionati a creare attacchi più efficaci. Tuttavia, sottolineiamo che tali vulnerabilità, in varie forme, esistono già in diversi modelli. Documentando e analizzando trasparentemente queste debolezze, cerchiamo di incoraggiare meccanismi di sicurezza più forti piuttosto che favorire danni.”

Il team ha adottato precauzioni nella pubblicazione del loro lavoro, trattenendo le informazioni più sensibili come script di attacco direttamente utilizzabili per scoraggiare un uso improprio immediato.

Il futuro della sicurezza dell’IA: una corsa agli armamenti?

Man mano che i modelli IA diventano più potenti e integrati nei sistemi del mondo reale, le violazioni della sicurezza hanno il potenziale di causare impatti sociali sempre più gravi. Questa ricerca sottolinea che mostrare il processo di ragionamento chain-of-thought, pur essendo vantaggioso per l’interpretabilità e le prestazioni, può anche creare nuove superfici di attacco.

La competizione globale nell’IA sta intensificando le pressioni sulle aziende per rilasciare modelli sempre più capaci, spesso a scapito di rigorosi controlli di sicurezza. Questa dinamica rischia di innescare una “corsa agli armamenti” nell’IA, dove le capacità delle tecnologie offensive e difensive si evolvono continuamente per superarsi a vicenda.

Il costante equilibrio tra trasparenza, utilità e sicurezza rimarrà una sfida critica. I ricercatori sottolineano la necessità di sviluppare metodi più robusti per garantire che i sistemi IA avanzati rimangano sicuri senza sacrificare le loro capacità.

Necessità urgente di ripensare la sicurezza dei modelli di ragionamento AI

La scoperta del metodo di attacco H-CoT rappresenta un importante campanello d’allarme per l’industria dell’IA. Evidenzia la natura in continua evoluzione delle minacce alla sicurezza dell’IA e la necessità di un approccio proattivo per identificare e affrontare le vulnerabilità.

Per le organizzazioni che implementano sistemi IA, questa ricerca sottolinea l’importanza di valutare attentamente le implicazioni di sicurezza delle funzionalità di trasparenza dei modelli, in particolare nelle applicazioni ad alto rischio dove la sicurezza dell’IA è fondamentale.

I ricercatori concludono con un appello per un impegno più forte nella creazione di sistemi IA non solo più capaci, ma anche più sicuri.

“Speriamo che i nostri risultati catalizzino ulteriori ricerche su strategie di difesa più efficaci per i LRM, garantendo che le capacità di ragionamento avanzate non sacrifichino l’integrità etica e la sicurezza.”

Mentre l’IA continua a evolversi a un ritmo senza precedenti, la necessità di pratiche di sicurezza robuste non è mai stata così cruciale. Il futuro dell’IA sicura dipenderà dalla capacità della comunità di ricerca e dell’industria di anticipare e mitigare vulnerabilità come H-CoT, garantendo che le meraviglie dell’intelligenza artificiale avanzata possano essere godute senza mettere a rischio la sicurezza pubblica.

Riferimenti:

H-CoT: Hijacking the Chain-of-Thought Safety Reasoning Mechanism to Jailbreak Large Reasoning Models

How nice that state-of-the-art LLMs reveal their reasoning … for miscreants to exploit

Detecting misbehavior in frontier reasoning models

Chain-of-thought prompting elicits reasoning in large language models

Model Card di Anthropic per Claude 3.7 Sonnet

Condividi sui Social Network:

https://www.ictsecuritymagazine.com/articoli/chain-of-thought-h-cot/




L’amministrazione Trump valuta un possibile divieto negli Stati Uniti per DeepSeek

Generative AI Insights è la rubrica curata da Recomb, il think tank dedicato all’esplorazione dell’impatto e del potenziale dell’AI generativa in vari aspetti della vita umana. Recomb studia l’AI generativa da tutte le angolazioni: professionale, etica, tecnica, legale, economica, ambientale, sociale, educativa e culturale. Per leggere tutti gli articoli della rubrica Generative AI Insights su Key4biz clicca qui..

L’amministrazione Trump starebbe valutando l’introduzione di restrizioni nei confronti del laboratorio cinese di AI DeepSeek, includendo un possibile divieto di accesso per i cittadini statunitensi ai modelli sviluppati dall’azienda e il blocco dell’acquisto di chip AI di Nvidia da parte della stessa.

Questa mossa si inserisce nella più ampia strategia americana di contenimento tecnologico nei confronti della Cina, rafforzando i limiti già stabiliti in precedenza sotto l’amministrazione Biden. Il crescente successo di DeepSeek tra gli sviluppatori statunitensi, dovuto anche alla sua politica aggressiva sui prezzi, ha esercitato una pressione significativa sui colossi della Silicon Valley, costringendoli a rivedere al ribasso i costi dei propri modelli AI di frontiera.

Tuttavia, questo successo è accompagnato da sospetti di illeciti: OpenAI accusa infatti DeepSeek di aver violato i propri termini di servizio attraverso la distillazione non autorizzata dei suoi modelli, sollevando preoccupazioni relative al furto di proprietà intellettuale.

La Casa Bianca ha recentemente inasprito le regole sulle esportazioni di chip AI verso la Cina, accentuando la rivalità strategica tra le due potenze nel campo dell’intelligenza artificiale.

Se venisse approvata, l’esclusione di DeepSeek dal mercato statunitense potrebbe ridefinire gli equilibri competitivi globali, riducendo l’accesso a soluzioni AI avanzate per molti sviluppatori americani, ma rafforzando al contempo l’autonomia tecnologica nazionale.

Il provvedimento è ancora in fase di studio, ma rappresenta un ulteriore segnale del conflitto crescente tra Stati Uniti e Cina per il controllo dell’innovazione nel campo dell’AI.

Per maggiori informazioni, clicca per l’articolo originale.

Mentre gli ‘studenti bot’ continuano ad aumentare, i college comunitari faticano a reagire

Il fenomeno degli ‘studenti bot’, entità fittizie iscritte ai corsi online con lo scopo di accedere fraudolentemente ai fondi di aiuto finanziario, sta generando una crisi nei college comunitari statunitensi, in particolare presso il Southwestern College.

Professoresse e professori, tra cui Elizabeth Smith ed Eric Maag, si trovano a fronteggiare un’ondata di iscrizioni artificiali che, oltre a saturare i corsi e a escludere gli studenti autentici, richiedono una continua attività investigativa per essere smascherate. I bot, spesso manovrati da reti umane di frodatori, inviano compiti generati tramite AI e si avvalgono di linguaggi formali e atipici per ingannare il corpo docente.

Nel 2024 i danni economici causati da queste pratiche in California hanno superato gli 11 milioni di dollari, cifra più che raddoppiata rispetto all’anno precedente. Nonostante la creazione di task force come l’Inauthentic Enrollment Mitigation presso Southwestern, la reazione istituzionale appare frammentaria e insufficiente, secondo molti insegnanti.

L’identificazione precoce dei bot, cruciale per evitare l’erogazione dei fondi, è resa difficile dalla continua evoluzione delle tecniche fraudolente. Alcuni episodi evidenziano l’uso non autorizzato di identità reali, dimostrando quanto il sistema di iscrizione statale sia vulnerabile.

La tensione tra il dovere didattico e il controllo antifrode sta snaturando il ruolo degli insegnanti, compromettendo la qualità dell’insegnamento e ostacolando l’accesso all’istruzione per chi ne ha realmente bisogno.

Mentre si invocano soluzioni tecnologiche sistemiche, il rischio è quello di penalizzare studenti autentici attraverso restrizioni indiscriminate. Il problema, diffuso a livello nazionale, richiede una risposta strutturale da parte delle istituzioni statali e federali.

Per maggiori informazioni, clicca per l’articolo originale.

Leggi le altre notizie sull’home page di Key4biz

https://www.key4biz.it/lamministrazione-trump-valuta-un-possibile-divieto-negli-stati-uniti-per-deepseek/528671/




Federated Learning con Privacy Differenziale: proteggere i dati nell’era dell’AI Collaborativa

Nel panorama attuale dell’intelligenza artificiale, il rapido sviluppo degli algoritmi di machine learning si scontra con una crescente preoccupazione per la privacy dei dati. I modelli di AI più avanzati richiedono enormi quantità di informazioni per essere addestrati efficacemente, ma questi dati sono spesso sensibili e difficili da condividere a causa di normative sempre più stringenti come il GDPR o semplicemente per le legittime preoccupazioni degli utenti riguardo la privacy. In questo contesto complesso, due tecnologie emergono come potenziali soluzioni complementari: il Federated Learning (FL) e la Privacy Differenziale (DP).

Il Federated Learning rappresenta un paradigma di addestramento innovativo che consente a molteplici dispositivi o entità di collaborare nell’addestramento di un modello senza condividere direttamente i dati grezzi. Invece di centralizzare tutti i dati in un unico server, FL permette l’addestramento distribuito dove i dispositivi elaborano localmente i propri dati e condividono solo gli aggiornamenti del modello. La Privacy Differenziale, d’altra parte, fornisce un quadro matematico formale per limitare la fuga di informazioni derivate dai dati privati, garantendo che l’output di un algoritmo non riveli troppo sui dati di input individuali.

Quando queste due tecnologie si incontrano, creano un approccio potente per l’apprendimento collaborativo preservando la privacy. Tuttavia, implementare efficacemente questa combinazione pone numerose sfide tecniche che richiedono una comprensione approfondita di entrambi i campi. Il presente articolo esplora l’intersezione di queste tecnologie, analizzando le sfide, le soluzioni e le applicazioni emergenti nell’ambito della sicurezza informatica e della protezione dei dati.

La promessa del Federated Learning: collaborazione senza compromettere la Privacy

Il Federated Learning rappresenta un cambiamento paradigmatico nel modo in cui concettualizziamo l’addestramento dei modelli di machine learning. Introdotto da Google nel 2016, FL consente ai dispositivi di apprendere collettivamente un modello condiviso mantenendo i dati di addestramento sui dispositivi locali. Il processo tipicamente si articola in diverse fasi iterate:

Fase 1: Distribuzione del modello iniziale. Un modello iniziale viene distribuito a tutti i dispositivi partecipanti, che rappresentano i client nel sistema federato.

Fase 2: Addestramento locale. Ogni dispositivo addestra il modello sui propri dati locali, utilizzando algoritmi standard come la discesa stocastica del gradiente (SGD).

Fase 3: Condivisione degli aggiornamenti. Solo gli aggiornamenti del modello, che possono essere gradienti o parametri del modello aggiornati, vengono inviati a un server centrale. Questo server non ha mai accesso ai dati grezzi, ma solo agli aggiornamenti che riflettono ciò che il modello ha appreso.

Fase 4: Aggregazione. Il server aggrega questi aggiornamenti, tipicamente attraverso una media pesata, per migliorare il modello globale.

Fase 5: Ridistribuzione. Il modello globale aggiornato viene ridistribuito ai dispositivi, e il processo continua iterativamente.

Questo approccio offre vantaggi significativi per la privacy, poiché i dati sensibili rimangono sul dispositivo dell’utente. È particolarmente utile in scenari come la previsione delle parole nelle tastiere mobili, l’analisi delle immagini personali o l’elaborazione di dati sanitari dove la sensibilità dei dati è elevata. Inoltre, il FL risolve anche problemi pratici come i requisiti di larghezza di banda e le limitazioni di archiviazione centralizzata, poiché solo gli aggiornamenti del modello, non i dati grezzi, vengono trasmessi.

Tuttavia, nonostante i miglioramenti intrinseci alla privacy, il Federated Learning da solo non fornisce garanzie formali contro attacchi sofisticati. Ricerche condotte da Zhu et al. hanno dimostrato che i gradienti condivisi possono ancora rivelare informazioni sui dati di addestramento. Ad esempio, un’entità malintenzionata potrebbe essere in grado di ricostruire dati di input esaminando attentamente gli aggiornamenti del modello attraverso tecniche come gli attacchi di inversione del gradiente. Anche con l’aggregazione delle informazioni di più dispositivi, non esiste una garanzia teorica che le informazioni sensibili non possano essere estratte.

Altre minacce alla privacy nel contesto del FL includono attacchi di inferenza di appartenenza, che tentano di determinare se un particolare record è stato utilizzato nell’addestramento del modello, e attacchi di inferenza di proprietà, che mirano a dedurre caratteristiche statistiche dei dati di addestramento. Questi rischi evidenziano la necessità di integrare FL con tecniche più robuste di preservazione della privacy come la Privacy Differenziale.

Privacy Differenziale: una garanzia matematica per la Protezione dei Dati

La Privacy Differenziale fornisce un framework matematico rigoroso per proteggere le informazioni individuali in un dataset. Introdotta da Cynthia Dwork nel 2006, la DP offre una definizione formale di privacy che può essere dimostrata matematicamente, a differenza di approcci ad hoc che potrebbero contenere vulnerabilità nascoste.

Il concetto fondamentale è che un algoritmo differenzialmente privato dovrebbe produrre risultati statisticamente simili indipendentemente dal fatto che un singolo record sia incluso o meno nel dataset. Questa proprietà garantisce che un osservatore esterno non possa dedurre con certezza se un particolare individuo ha contribuito ai dati, anche avendo accesso all’output dell’algoritmo e a informazioni ausiliarie.

Formalmente, un meccanismo M soddisfa la (ε, δ)-privacy differenziale se, per qualsiasi coppia di dataset D e D’ che differiscono per un singolo elemento, e per qualsiasi sottoinsieme di output S:

Pr[M(D) ∈ S] ≤ e^ε · Pr[M(D’) ∈ S] + δ

Dove ε rappresenta il “budget di privacy” (valori più piccoli significano maggiore privacy) e δ è una probabilità di fallimento molto piccola, tipicamente scelta in modo da essere inferiore a 1/n, dove n è la dimensione del dataset.

Per raggiungere la privacy differenziale, i meccanismi più comuni aggiungono rumore calibrato alla sensibilità dei dati. La sensibilità misura quanto l’output di una funzione può cambiare quando un singolo record nel dataset cambia. I meccanismi comuni includono:

  • Il meccanismo di Laplace, che aggiunge rumore estratto da una distribuzione di Laplace con scala proporzionale alla sensibilità L1 della funzione divisa per ε.
  • Il meccanismo gaussiano, che aggiunge rumore estratto da una distribuzione normale con varianza proporzionale al quadrato della sensibilità L2 della funzione e inversamente proporzionale al quadrato del parametro di privacy ε.

Nel contesto dell’apprendimento automatico, l’approccio più diffuso è DP-SGD (Differentially Private Stochastic Gradient Descent), che aggiunge rumore gaussiano ai gradienti clippati durante l’addestramento. Questo consente di addestrare modelli complessi come le reti neurali profonde con garanzie di privacy differenziale.

La DP offre diverse proprietà importanti che la rendono particolarmente adatta per l’integrazione con il Federated Learning:

  • Proprietà di post-elaborazione: qualsiasi elaborazione aggiuntiva su un output differenzialmente privato rimane differenzialmente privata, senza degradare la garanzia di privacy. Questo significa che le trasformazioni dei modelli dopo l’aggregazione non compromettono la privacy.
  • Composizione: la combinazione di più meccanismi differenzialmente privati dà ancora un risultato differenzialmente privato, anche se con un parametro di privacy degradato. Questa proprietà è cruciale per analizzare la perdita di privacy cumulativa durante le iterazioni di addestramento.
  • Amplificazione tramite sottocampionamento: selezionare casualmente un sottoinsieme di dati prima di applicare un meccanismo di privacy differenziale migliora la garanzia di privacy, permettendo di ottenere la stessa utilità con meno rumore.

Queste proprietà forniscono un framework rigoroso per analizzare e garantire la privacy in sistemi complessi come quelli di Federated Learning, permettendo una quantificazione precisa del compromesso tra privacy e utilità.

Matrimonio di tecnologie: Federated Learning con Privacy Differenziale

L’integrazione del Federated Learning con la Privacy Differenziale combina il meglio di entrambi i mondi: la natura distribuita e rispettosa della privacy di FL con le garanzie matematiche formali della DP. Questa combinazione può essere implementata in diversi modi, a seconda del modello di fiducia e delle specifiche esigenze dell’applicazione.

Paradigmi di Implementazione

Dalla letteratura emergono diversi approcci per implementare FL con DP, ognuno con i propri compromessi tra fiducia, privacy e utilità del modello:

FL con DP centralizzata (CDP): Questo approccio assume un server centrale fidato che aggiunge rumore calibrato agli aggiornamenti aggregati dei client. Gli algoritmi come DP-FedAvg e DP-FedSGD rientrano in questa categoria. Il server centrale deve essere affidabile poiché ha accesso agli aggiornamenti non rumorosi dei modelli dei client. Sebbene questa configurazione richieda meno rumore rispetto ad altre, impone un’ipotesi forte sulla fiducia nel server.

FL con DP locale (LDP): In questo paradigma, ogni client aggiunge rumore ai propri aggiornamenti del modello prima di inviarli al server. Algoritmi come LDP-FedSGD implementano questa strategia. Il vantaggio principale è che non richiede un server fidato, poiché i dati sono già protetti prima di lasciare il dispositivo. Tuttavia, questo approccio generalmente richiede più rumore per ottenere la stessa garanzia di privacy, con conseguente riduzione dell’utilità del modello.

FL con DP distribuita (DDP): Questo approccio innovativo cerca di colmare il divario di utilità-fiducia tra LDP e CDP eliminando l’assunzione di un aggregatore fidato tramite tecniche crittografiche. Esistono due principali paradigmi DDP:

  • Basato su shuffling: utilizza canali di comunicazione anonimi per attenuare i rischi di identificazione dei messaggi, amplificando così le garanzie di privacy;
  • Basato su aggregazione sicura: sostituisce l’aggregatore fidato con protocolli di calcolo sicuro multiparty (MPC), consentendo l’aggregazione senza rivelare i singoli contributi.

f-DP federata: Un approccio più recente introdotto da Zheng et al. che opera a livello di record, proteggendo i singoli record dei dati di un client contro gli avversari. Questa nozione di privacy opera al livello più granulare, proteggendo singoli elementi anziché interi set di dati dei client. È particolarmente utile quando la partecipazione del client non è informazione sensibile, ma i dati individuali lo sono, come nel caso di ospedali che collaborano per addestrare modelli predittivi per malattie.

Il framework PriFedSync rappresenta un esempio di un approccio generico per FL con DP che può adattarsi a una vasta famiglia di algoritmi FL all’avanguardia, incorporando meccanismi di privacy differenziale e supportando modelli sia personalizzati che globali.

Sfide tecniche e compromessi

L’implementazione di FL con DP comporta diverse sfide tecniche significative che devono essere affrontate per ottenere un sistema pratico ed efficace:

Calibrazione della soglia di clipping: Per limitare la sensibilità dei gradienti, è comune applicare una tecnica di “clipping” che limita la norma dei gradienti a un valore massimo. Determinare la soglia ottimale è cruciale: una soglia di clipping sottostimata può causare bias nel gradiente e persino divergenza del modello, mentre una soglia sovrastimata comporta l’aggiunta di rumore eccessivo. Tecniche di clipping adattivo basate sull’analisi della divergenza o sulla stima euristica possono ridurre il rumore e produrre modelli con maggiore utilità.

Ottimizzazione della distribuzione del rumore: La forma della distribuzione del rumore utilizzata per garantire la privacy differenziale può influenzare significativamente l’equilibrio tra privacy e utilità. Oltre alle comuni distribuzioni di Laplace e Gaussiana, distribuzioni discrete o a gradini attraverso tecniche di segmentazione possono essere utilizzate per ridurre la scala del rumore necessario mantenendo i requisiti di DP.

Composizione della perdita di privacy: Il monitoraggio preciso della perdita di privacy accumulata durante le iterazioni di addestramento è fondamentale. Approcci avanzati come il “moment accountant” analizzano la distribuzione dettagliata della variabile di perdita di privacy composta e derivano un limite molto più stretto utilizzando momenti di ordine superiore, consentendo di addestrare modelli con una perdita di privacy accettabile.

Compressione dei parametri del modello: Un vettore di parametri lungo consuma pesantemente il budget di privacy e appesantisce i canali di comunicazione limitati. Tecniche di compressione come il filtraggio dei parametri, l’approssimazione di rango basso, la proiezione casuale e la quantizzazione del gradiente possono ridurre entrambi i problemi. Queste tecniche possono ridurre empiricamente sia il consumo di larghezza di banda di comunicazione che la varianza del rumore, sebbene possano anche portare a una perdita di utilità poiché alcune informazioni sui parametri vengono eliminate.

Campionamento dei client partecipanti: Il campionamento dei client nell’addestramento FL basato su DP è un approccio promettente per risparmiare budget di privacy, overhead di comunicazione e consumo energetico. L’effetto di amplificazione del campionamento per DP, in cui l’inclusione casuale dei client in ogni round di addestramento rafforza le garanzie di privacy, permette di ottenere una protezione più forte della privacy minimizzando il consumo medio di comunicazione, calcolo e privacy.

Applicazioni pratiche e implementazioni

Le applicazioni di FL con DP stanno emergendo in diversi settori dove la privacy dei dati è cruciale ma esiste anche la necessità di modelli di apprendimento avanzati. Diverse piattaforme software e implementazioni pratiche stanno rendendo queste tecnologie accessibili agli sviluppatori.

Sanità e dati medici

Nel settore sanitario, l’accesso ai dati dei pazienti è fortemente regolamentato da normative come HIPAA negli Stati Uniti o GDPR in Europa, ma questi dati sono essenziali per sviluppare modelli diagnostici e terapeutici avanzati. FL con DP può consentire a ospedali e istituti di ricerca di collaborare nell’addestramento di modelli predittivi per condizioni come il COVID-19, proteggendo al contempo la privacy di ciascun paziente.

Un esempio significativo è la collaborazione tra più ospedali per addestrare modelli di diagnosi precoce o predizione dell’evoluzione della malattia. Piuttosto che preoccuparsi se un ospedale partecipa alla collaborazione (che raramente è un’informazione sensibile), la vera preoccupazione è proteggere i dati individuali dei pazienti. In questo contesto, la f-DP federata che opera a livello di record è particolarmente adatta.

I ricercatori della University of Pennsylvania hanno dimostrato l’efficacia di questo approccio, ottenendo modelli con un’accuratezza comparabile ai metodi centralizzati tradizionali, pur mantenendo forti garanzie di privacy per i singoli pazienti.

Riconoscimento immagini su dispositivi mobili

Gli esperimenti condotti su dataset come MNIST (riconoscimento di cifre scritte a mano) e CIFAR-10 (classificazione di oggetti) mostrano che è possibile addestrare modelli di visione artificiale con FL e DP mantenendo un’accuratezza ragionevole. Questi esperimenti rivelano importanti compromessi tra privacy, accuratezza e costi computazionali.

Su MNIST, modelli privati con diversi livelli di rumore (σ = 0.75, 0.9, 1.0) possono raggiungere un’accuratezza del 90% dopo un numero variabile di round di sincronizzazione, con una perdita di accuratezza relativamente contenuta rispetto ai modelli non privati. Su CIFAR-10, che è un dataset più complesso, i modelli privati possono raggiungere un’accuratezza del 52% rispetto al 64.7% dei modelli non privati.

Queste tecnologie sono particolarmente rilevanti per applicazioni come il riconoscimento di oggetti o la classificazione di immagini sui dispositivi mobili, dove i dati delle immagini personali devono rimanere privati per evitare violazioni della privacy visiva.

Modelli linguistici e previsione testo

Google ha implementato FL con DP per addestrare modelli di previsione delle parole per la tastiera Gboard. In un recente studio pubblicato da Xu et al., hanno dimostrato che tutti i modelli di predizione delle parole successive in Gboard ora hanno garanzie DP, e tutti i futuri lanci di modelli linguistici neurali Gboard richiederanno garanzie DP.

Questo permette ai modelli di migliorare in base all’uso reale senza esporre il comportamento di digitazione individuale degli utenti, che potrebbe contenere informazioni sensibili come password, informazioni personali o conversazioni private.

Con l’avvento dei grandi modelli linguistici (LLM) come ChatGPT, l’applicazione di FL con DP per il fine-tuning su domini specifici rappresenta un’area di ricerca promettente. Questi modelli potrebbero beneficiare dell’apprendimento da dati di utenti reali senza compromettere la privacy individuale.

Strumenti e framework per implementare FL con DP

Per facilitare l’implementazione pratica di queste tecnologie, sono stati sviluppati numerosi framework e piattaforme software. Alcuni dei più rilevanti includono:

TensorFlow Privacy e TensorFlow Federated: Librerie di Google che si integrano perfettamente con i modelli TensorFlow esistenti e consentono l’addestramento di modelli personalizzati con DP. Tuttavia, i meccanismi DP integrati sono relativamente fissi nel design e non supportano ottimizzazioni personalizzate flessibili.

Opacus: Una libreria scalabile ed efficiente per l’addestramento di modelli PyTorch con DP. Introduce un’astrazione di un “privacy engine” che si collega all’ottimizzatore PyTorch standard, rendendo molto più semplice l’implementazione di DP-SGD senza chiamare esplicitamente API di basso livello.
PySyft: Una libreria Python che supporta FL e DP, e disaccoppia l’addestramento del modello dai dati privati. La versione attuale si concentra principalmente sul calcolo multi-party sicuro (SMC) e sulla crittografia omomorfa (HE) piuttosto che sull’implementazione DP.

FedML: Una libreria di ricerca aperta e benchmark standardizzato con diversi paradigmi e configurazioni FL. La versione attuale integra solo DP debole ma fornisce API di basso livello per primitive di sicurezza.

Sherpa.ai FL: Un framework unificato per FL con DP, che presenta un supporto completo per meccanismi DP e tecniche di ottimizzazione. Tuttavia, si concentra principalmente sull’ottimizzazione a livello di algoritmo e non considera l’implementazione del sistema pratico.
Questi strumenti stanno rendendo più accessibile l’implementazione di FL con DP, anche se c’è ancora spazio per framework più completi che supportino tutte le varianti di questi approcci con ottimizzazioni flessibili.

Sfide emergenti e direzioni future

Nonostante i significativi progressi nell’integrazione di FL con DP, rimangono diverse sfide aperte che richiedono ulteriori ricerche:

Federated Learning verticale e di trasferimento

Mentre il FL orizzontale (dove i client hanno dati con le stesse caratteristiche ma esempi diversi) è stato ampiamente studiato, il FL verticale (dove diverse parti detengono caratteristiche diverse degli stessi campioni) pone sfide uniche per l’integrazione della DP.

Il FL verticale ha guadagnato crescente attenzione, ma molti studi esistenti si basano sul calcolo multi-party sicuro (SMC) per proteggere la riservatezza senza considerare la perdita di privacy nei risultati finali. Per ottenere una resistenza dimostrabile agli attacchi di inferenza di appartenenza o ricostruzione, è essenziale impiegare la DP anche nel VFL.

Questa integrazione è più impegnativa per due motivi principali: in primo luogo, il design degli algoritmi VFL varia per diverse attività e modelli, spesso richiedendo uno sviluppo caso per caso; in secondo luogo, le correlazioni tra attributi distribuiti sono più difficili da identificare senza diffondere informazioni individuali ad altre parti.

Grandi Modelli Linguistici (LLM)

Con l’emergere di modelli linguistici di grandi dimensioni come ChatGPT, sia FL che DP mostrano un futuro promettente nel fine-tuning di LLM preservando la privacy rispetto ai dati di dominio privato. Tuttavia, questi modelli possono avere da diversi miliardi a centinaia di miliardi di parametri, ponendo sfide significative.

Quando si applicano DP e FL a LLM, ci saranno molteplici sfide riguardanti l’enorme numero di parametri, al di là degli oneri aggiuntivi di comunicazione e calcolo sui partecipanti con risorse limitate. Indipendentemente dal modello DP, la quantità totale di rumore per la privacy deve essere proporzionale al numero di parametri per applicare DP sui modelli, il che porterebbe a enormi perdite di utilità senza tecniche specializzate.

Inoltre, il fine-tuning di LLM pre-addestrati è diverso dall’addestramento convenzionale dei modelli. La garanzia di privacy teorica nell’ML (ad esempio, DP-SGD) spesso presuppone che i modelli siano appresi da zero con molte iterazioni di addestramento, invece di una modalità di fine-tuning con molte meno iterazioni.

Federated Learning su stream di dati

In molti scenari realistici, i dati di addestramento vengono generati continuamente sotto forma di stream sui client distribuiti. In tali casi, i sistemi FL devono condurre analisi ripetitive su stream distribuiti. Ereditando l’apprendimento automatico online (OL), il federated learning online può essere derivato naturalmente per evitare di riaddestramento i modelli da zero ogni volta che arriva un nuovo frammento di dati.

Tuttavia, ottenere DP per questo scenario porta molteplici sfide. La prima è come definire la privacy nell’impostazione OFL, poiché la nozione generale di DP funziona solo per dataset statici. Sebbene le nozioni di privacy esistenti per i flussi di dati e FL sembrino applicabili qui, devono ancora essere chiarite e formulate rigorosamente nell’impostazione OFL.

La seconda sfida riguarda l’efficienza algoritmica. Prendendo come esempio la LDP a livello di evento (cioè, garantire ε-LDP in ogni istanza temporale), il frequente caricamento degli aggiornamenti del modello locale accumula enormi costi di comunicazione e grande perdita di utilità, poiché il rumore è proporzionale alla dimensione dei dati di comunicazione.

Robustezza, equità e diritto all’oblio

Un sistema FL robusto dovrebbe essere resiliente a vari guasti e attacchi causati da partecipanti che si comportano male. A causa delle capacità limitate (ad esempio, limiti della batteria), i client FL (ad esempio, smartphone) potrebbero abbandonare l’addestramento FL in modo imprevisto in qualsiasi momento. I dropout casuali dei client presentano gravi sfide per la progettazione pratica di FL con privacy differenziale.

La protezione della privacy è solo il primo passo per incoraggiare la condivisione dei dati tra una grande popolazione. L’applicazione dell’equità (fairness) aiuta a mitigare il bias involontario su individui con dati eterogenei. Tuttavia, il dilemma è che la DP mira a oscurare attributi identificabili mentre l’equità richiede la conoscenza dei valori degli attributi sensibili degli individui per evitare risultati distorti. Il clipping del gradiente e l’aggiunta di rumore nella DP possono peggiorare l’iniquità diminuendo l’accuratezza del modello per classi e sottogruppi sottorappresentati.

Inoltre, i diritti alla privacy includono il “diritto all’oblio”, cioè gli utenti possono scegliere di non contribuire con dati privati senza lasciare traccia. Poiché i modelli ML memorizzano molte informazioni specifiche sui campioni di addestramento, il concetto di “unlearning” della macchina è proposto per eliminare la sua influenza sui modelli addestrati. Tuttavia, l’unlearning federato affronta sfide distinte, poiché è molto più difficile cancellare l’influenza dei dati di un client quando il modello globale ha iterativamente trasportato le informazioni di tutti i client partecipanti.

Un Futuro di apprendimento collaborativo e privato

L’integrazione del Federated Learning con la Privacy Differenziale rappresenta una frontiera promettente per l’apprendimento automatico rispettoso della privacy. Questa combinazione permette di sbloccare il potenziale dell’IA superando il problema della frammentazione dei dati su larga scala, consentendo al contempo garanzie di privacy rigorose che possono rispettare sia la consapevolezza della privacy che la conformità normativa.

Abbiamo esplorato i diversi paradigmi per implementare FL con DP, dai modelli centralizzati che richiedono fiducia nel server, agli approcci locali che proteggono i dati prima che lascino il dispositivo, fino ai sistemi distribuiti più avanzati che utilizzano tecniche crittografiche per ottenere alta accuratezza senza un aggregatore fidato. Abbiamo anche discusso le sfide tecniche fondamentali nell’ottimizzazione dell’utilità di questi sistemi, incluse la calibrazione della soglia di clipping, l’ottimizzazione della distribuzione del rumore e la composizione della perdita di privacy.

Le applicazioni pratiche in sanità, visione artificiale e modelli linguistici dimostrano il potenziale di queste tecnologie, mentre gli strumenti e i framework emergenti stanno rendendo più accessibile la loro implementazione. Le sfide future nella gestione di dati verticali, grandi modelli linguistici, stream di dati e bilanciamento tra privacy, robustezza ed equità continueranno a guidare l’innovazione in questo campo.

Con il continuo avanzamento della tecnologia, possiamo aspettarci soluzioni sempre più sofisticate che consentano ai sistemi di apprendimento automatico di operare su dati sensibili distribuiti senza compromettere la privacy individuale. Come dimostrano le implementazioni iniziali in vari campi, dalle tastiere mobili all’assistenza sanitaria, questa combinazione di tecnologie ha il potenziale per trasformare radicalmente il modo in cui utilizziamo i dati per l’addestramento dei modelli di AI, realizzando finalmente la promessa di sistemi di intelligenza artificiale che rispettano pienamente la privacy dei dati personali.

Condividi sui Social Network:

https://www.ictsecuritymagazine.com/articoli/federated-learning-privacy-differenziale/




Engineering chiude il 2024 in crescita: EBITDA +7,4%. Sale anche il numero di clienti +6%

L’Assemblea degli Azionisti di Engineering ha approvato il bilancio consolidato dell’anno 2024, confermando il trend positivo dei principali indicatori economici.

Il 2024 si è chiuso con un EBITDA adjusted di 276,2 milioni di euro, in crescita del 7,4% rispetto ai 257,3 milioni dell’anno precedente. Il valore della produzione ha raggiunto 1.764,2 milioni di euro, registrando un aumento del 2,5% rispetto al 2023. In crescita anche il numero di clienti, salito del 6% rispetto all’anno precedente.

Il CEO Maximo Ibarra: “I risultati raggiunti nel 2024 confermano la vocazione di Engineering come partner tecnologico affidabile per la crescita del nostro Paese”

Secondo il CEO Maximo Ibarra, i risultati ottenuti nel 2024 confermano l’efficacia del percorso di trasformazione intrapreso dal Gruppo, che ha rafforzato la propria struttura organizzativa e tecnologica per rispondere meglio alle esigenze del mercato.

“Negli ultimi anni il Gruppo Engineering ha intrapreso un profondo processo trasformativo che ha coinvolto l’intera organizzazione e che oggi ci consente di essere più solidi, agili e focalizzati sulle esigenze dei clienti. I risultati ottenuti nel 2024 dimostrano come, pur in un contesto economico complesso, il Gruppo ha saputo migliorare le performance operative facendo crescere la redditività e, in particolare, i margini a fronte di un importante rafforzamento delle basi tecnologiche e organizzative. Su questi pilastri Engineering è pronta a costruire una nuova fase di crescita, anche grazie al supporto dei nostri azionisti, Bain Capital e Renaissance Partners”, commenta Maximo Ibarra, CEO di Engineering, che prosegue:

“Risultati importanti sono stati ottenuti anche sul piano dell’innovazione e sulla nostra capacità di realizzare soluzioni all’avanguardia come EngGPT, confermando Engineering come la digital company di riferimento in ambiti tecnologici strategici come l’Intelligenza Artificiale. In un’epoca segnata da forti discontinuità – economiche, geopolitiche e tecnologiche – il Gruppo ha definito il suo processo di trasformazione e possiede ora maggiori competenze e una più efficace propensione a supportare evoluzione e progresso nei settori chiave dell’economia e della società, per affrontare le sfide globali e cogliere appieno le opportunità che con esse possono arrivare. I risultati raggiunti nel 2024, frutto degli investimenti e degli efficientamenti operati negli anni precedenti, confermano la vocazione di Engineering come partner tecnologico affidabile per la crescita del nostro Paese”.

EngGPT tra le iniziative più rilevanti del 2024

Tra le iniziative più rilevanti dell’anno si segnala il completamento di un’importante emissione obbligazionaria finalizzata a sostenere la crescita futura. Inoltre, Engineering ha rafforzato il proprio impegno sull’Intelligenza Artificiale, in particolare con lo sviluppo di una nuova versione di EngGPT, realizzata in collaborazione con ICSC e CINECA, per offrire soluzioni ottimizzate al contesto italiano, garantendo sicurezza e conformità normativa.

Nel 2024 il Gruppo ha investito 30 milioni di euro in ricerca, attraverso la propria divisione R&I composta da oltre 450 tra ricercatori e data scientist. Questi investimenti hanno sostenuto l’espansione nei settori della cybersicurezza, cloud, realtà aumentata e virtuale, confermando il posizionamento di Engineering come digital company di riferimento.

L’attenzione alla sostenibilità è stata formalizzata con la pubblicazione del nuovo Piano ESG, che definisce obiettivi misurabili nei 21 Paesi in cui il Gruppo opera. Infine, Engineering ha continuato a puntare sulla formazione e sul capitale umano, con oltre 22.200 giornate di formazione erogate attraverso la propria IT & Management Academy e nuovi programmi di accelerazione rivolti ai giovani talenti.

Leggi le altre notizie sull’home page di Key4biz

https://www.key4biz.it/engineering-chiude-il-2024-in-crescita-ebitda-74-sale-anche-il-numero-di-clienti-6/528466/




Machine Unlearning e IA Generativa: il mito della cancellazione dei dati nell’IA

Nell’universo in rapida evoluzione della sicurezza informatica, l’intelligenza artificiale generativa ha introdotto paradigmi completamente nuovi che sfidano le nostre concezioni tradizionali di protezione dei dati, privacy e cybersecurity. Tra le questioni più dibattute e fraintese emerge il concetto di “machine unlearning”, una tecnologia che promette di far “dimenticare” alle IA informazioni specifiche. Ma cosa succede quando questa promessa si scontra con la realtà tecnica? Approfondiamo le implicazioni per la sicurezza informatica di un fenomeno che rischia di creare un pericoloso falso senso di protezione.

Il seguente articolo analizza e sviluppa i concetti presentati nella pubblicazione accademica “Machine Unlearning Doesn’t Do What You Think: Lessons for Generative AI Policy, Research, and Practice” di A. Feder Cooper et al., 2024, e ne approfondisce le implicazioni per la sicurezza informatica contemporanea.

La promessa infranta del Machine Unlearning

Il machine unlearning rappresenta, in teoria, una soluzione elegante a problemi complessi: permettere ai modelli di intelligenza artificiale di “disimparare” informazioni specifiche senza necessità di riaddestrarli completamente. Questa possibilità appare particolarmente allettante nel contesto del Regolamento Generale sulla Protezione dei Dati (GDPR) europeo, che garantisce il “diritto all’oblio”. L’idea che si possa semplicemente “cancellare” dati sensibili o potenzialmente dannosi dai modelli di IA è seducente, ma nasconde una realtà ben più complessa.

A differenza di un database tradizionale, dove è possibile identificare e rimuovere record specifici, un modello di IA generativa non archivia informazioni in modo discreto e facilmente accessibile. Durante l’addestramento, i dati vengono trasformati in pattern codificati nei parametri del modello – pattern che non sono né direttamente né facilmente interpretabili. La rimozione di informazioni da un modello di IA non è quindi paragonabile all’eliminazione di dati da un database.

Questa discrepanza fondamentale crea una vulnerabilità significativa: l’illusione che informazioni sensibili siano state effettivamente rimosse quando, in realtà, tracce di esse potrebbero persistere in forme latenti o emergere in modo inaspettato nelle generazioni future del modello.

I rischi nascosti nei sistemi con rimozione selettiva dei dati

Quando si parla di sicurezza informatica nell’ambito dell’IA generativa, emerge un problema cruciale: la rimozione di informazioni osservate (i dati di addestramento) non garantisce la soppressione di output problematici. In altre parole, anche se si eliminassero tutte le immagini protette da copyright di un personaggio come Spiderman dal dataset di addestramento di un modello, questo non impedirebbe necessariamente al modello di generare output che assomigliano a Spiderman.

Questo fenomeno crea un rischio di sicurezza non trascurabile: organizzazioni e aziende potrebbero credere erroneamente di aver mitigato rischi legali o di sicurezza rimuovendo determinate informazioni dai loro modelli, mentre in realtà rimangono potenzialmente vulnerabili. È un caso classico in cui la percezione di sicurezza diventa più pericolosa dell’assenza di sicurezza stessa, poiché porta a decisioni basate su presupposti errati.

L’aspetto più preoccupante è che, tramite prompt sapientemente costruiti, utenti malintenzionati potrebbero aggirare le misure di unlearning reintroducendo informazioni che si credevano rimosse. Questo scenario è particolarmente allarmante quando si tratta di informazioni sensibili come dati personali, procedure di sicurezza o conoscenze che potrebbero essere sfruttate per attività dannose.

La natura Dual-Use dell’IA e i dilemmi di sicurezza irrisolvibili

Un altro aspetto fondamentale che complica ulteriormente il panorama della sicurezza informatica è la natura intrinsecamente “dual-use” dei sistemi di IA generativa. Come un computer può essere utilizzato sia per progettare un’arma biologica che per comporre il prossimo grande musical di Broadway, anche i sistemi di IA generativa possono essere impiegati per scopi sia benefici che dannosi.

Questa dualità pone una sfida insormontabile: anche output apparentemente innocui, se isolati, potrebbero essere utilizzati per scopi dannosi in contesti diversi. Ad esempio, un modello potrebbe generare informazioni su una singola reazione chimica – perfettamente legittima in un contesto educativo – che, combinata con altre conoscenze in possesso di un utente malintenzionato, potrebbe consentire la creazione di una molecola tossica.

Il problema fondamentale è che nessun metodo di unlearning può anticipare come una persona o un altro agente potrebbe comportarsi con gli output dell’IA in un numero potenzialmente infinito di contesti diversi. Il controllo che i metodi di unlearning possono offrire è limitato ai parametri del modello e ai suoi output diretti, ma non può estendersi agli usi imprevisti o deliberatamente malevoli di tali output.

L’impatto sulla Privacy nell’era Post-GDPR

La privacy rappresenta forse il campo dove le limitazioni del machine unlearning hanno le implicazioni più immediate. L’interpretazione comune del “diritto all’oblio” sancito dal GDPR presuppone che sia possibile rimuovere completamente l’influenza dei dati personali di un individuo da un modello addestrato. Questa interpretazione, sebbene diffusa nella letteratura di ricerca sull’apprendimento automatico, si scontra con limitazioni tecniche significative.

Anche se si rimuovessero tutti i dati personali di un individuo dal dataset di addestramento e si riaddestrasse il modello da zero (il cosiddetto “gold standard” per l’unlearning), non vi sarebbe alcuna garanzia che il modello non possa comunque generare informazioni sensibili su quell’individuo attraverso generalizzazioni basate su informazioni latenti derivate da altri dati.

Questo solleva questioni fondamentali: se un modello di IA può ancora fare inferenze su un individuo dopo che i suoi dati specifici sono stati “disimparati”, si può davvero affermare che il diritto alla privacy di quell’individuo sia stato rispettato? La sicurezza dei dati personali è realmente garantita, o stiamo semplicemente applicando una soluzione superficiale a un problema profondamente radicato nella natura stessa dell’intelligenza artificiale?

Le sfide di sicurezza nel contesto del copyright e della proprietà intellettuale

Anche nel campo del copyright e della proprietà intellettuale, il machine unlearning solleva problematiche di sicurezza significative. Se un’azienda riceve una richiesta di rimozione per contenuti protetti da copyright nel proprio modello di IA, potrebbe implementare metodi di unlearning per tentare di rimuovere tali contenuti o sopprimere output simili.

Tuttavia, la natura indefinita della “somiglianza sostanziale” nel diritto d’autore rende impossibile programmare in modo completo e affidabile quali opere siano sostanzialmente simili ad altre. Un modello modificato per non generare immagini simili a una particolare immagine di un personaggio protetto da copyright potrebbe comunque generare immagini simili ad altre rappresentazioni dello stesso personaggio – o di altri personaggi dello stesso creatore.

Questa incertezza espone le organizzazioni a rischi legali significativi, creando una zona grigia dove nemmeno le migliori pratiche di unlearning possono garantire una protezione completa. La sicurezza giuridica diventa così un miraggio, con implicazioni economiche potenzialmente devastanti date le severe sanzioni previste per le violazioni del copyright.

Verso un approccio di sicurezza realistico nell’era dell’IA Generativa

Di fronte a queste sfide, è fondamentale sviluppare un approccio alla sicurezza informatica più realistico e sfumato quando si tratta di IA generativa. Il primo passo è riconoscere che il machine unlearning non è una soluzione universale, ma solo uno strumento tra molti nel toolkit della sicurezza informatica e della conformità normativa.

Le organizzazioni dovrebbero adottare una visione più sfumata e orientata al rischio, concentrandosi non solo sulla rimozione delle informazioni dai modelli, ma anche su robusti sistemi di filtraggio degli output e politiche di utilizzo responsabile. Invece di promettere l’impossibile – la rimozione completa e irreversibile di informazioni specifiche – le organizzazioni dovrebbero mirare a “sforzi ragionevoli” per mitigare i rischi, un approccio che potrebbe trovare maggiore comprensione anche tra giudici e regolatori.

È inoltre cruciale comprendere che la sicurezza dell’IA generativa è una questione di sistema, non solo di modello. Gli interventi a livello di sistema (come i filtri di contenuto) sono strumenti importanti per limitare gli output problematici, ma la loro efficacia richiede un’analisi a livello di sistema. I modelli a pesi aperti, come la famiglia Llama di Meta, presentano sfide particolari per l’unlearning, poiché rilasciati come parametri senza possibilità di implementare guardrail a livello di sistema.

Strategie concrete per i professionisti della Sicurezza Informatica

Alla luce delle problematiche evidenziate, i professionisti della cybersecurity che lavorano con sistemi di IA generativa dovrebbero adottare un approccio multistrato che vada oltre il semplice affidarsi alle tecniche di cancellazione dei dati. Ecco alcune strategie concrete:

  1. Implementare sistemi di monitoraggio continuo: Anziché presumere che la rimozione dei dati sia definitiva, è essenziale monitorare costantemente gli output dei modelli per identificare eventuali “fughe” di informazioni che si ritenevano rimosse.
  2. Adottare una difesa a profondità: Combinare diverse tecniche di protezione, inclusi filtri di output, verifiche pre-rilascio, e sistemi di rilevamento di prompt malevoli che tentano di aggirare le protezioni.
  3. Abbracciare il principio del “least privilege”: Limitare l’accesso ai modelli più potenti solo agli usi assolutamente necessari, implementando versioni con capacità ridotte per applicazioni meno critiche.
  4. Sviluppare protocolli di risposta agli incidenti specifici per l’IA: Creare procedure di emergenza dedicate che considerino la possibilità che informazioni “disimparate” possano riemergere in modi inaspettati.
  5. Implementare tecniche di offuscamento dei dati sensibili: Quando possibile, trasformare i dati sensibili prima dell’addestramento in modo da preservare i pattern utili eliminando le informazioni identificative specifiche.

Dal punto di vista organizzativo, è fondamentale che i responsabili della sicurezza informatica:

  • Comunichino chiaramente i limiti delle tecnologie di cancellazione dei dati ai dirigenti e agli stakeholder;
  • Documentino in modo trasparente i rischi residui dopo l’applicazione delle tecniche di unlearning;
  • Integrino valutazioni specifiche per l’IA nei processi di gestione del rischio aziendale;
  • Collaborino strettamente con esperti legali per allineare le aspettative di conformità con le reali capacità tecniche.

Infine, è cruciale adottare un approccio di sicurezza adattivo che riconosca che i modelli di IA generativa sono entità dinamiche. La sicurezza non può essere considerata come uno stato finale da raggiungere, ma come un processo continuo di valutazione, miglioramento e adattamento alle nuove vulnerabilità che emergono con l’evoluzione dei modelli e delle tecniche di attacco.

Ripensare la Sicurezza nell’era Post-Controllo

L’analisi del machine unlearning rivela una verità scomoda: stiamo entrando in un’era in cui l’illusione del controllo tecnologico totale deve essere abbandonata. Le implicazioni di questa realtà sono profonde e richiedono un cambio di paradigma radicale nella sicurezza informatica.

Il settore della cybersecurity ha storicamente operato su un presupposto fondamentale: che con sufficienti risorse, competenze e tecnologie, sia possibile creare sistemi “sicuri”. I modelli di IA generativa sfidano questo assioma in modo fondamentale. Come dimostrato dalle limitazioni intrinseche del machine unlearning, ci troviamo di fronte a sistemi la cui complessità supera la nostra capacità di controllo deterministico.

Questo non è semplicemente un problema tecnico che sarà risolto da metodi più sofisticati in futuro. È una limitazione fondamentale e ineludibile che deriva dalla natura stessa dell’apprendimento automatico avanzato. Ogni tentativo di controllare rigorosamente questi sistemi si traduce inevitabilmente in una riduzione della loro utilità e potenza, creando un compromesso impossibile da risolvere in modo soddisfacente.

La conclusione più radicale è che dobbiamo abbandonare il paradigma della “cyber-sicurezza” in favore di un approccio di “cyber-resilienza”. La differenza è sostanziale: mentre la sicurezza si concentra sulla prevenzione degli incidenti, la resilienza accetta l’inevitabilità di alcuni fallimenti e si concentra sulla capacità di un sistema di continuare a funzionare nonostante gli attacchi o le compromissioni.

Invece di promettere falsamente che le informazioni sensibili possono essere completamente rimosse dai modelli di IA, dovremmo sviluppare architetture che possano funzionare in modo sicuro anche quando alcuni dati vengono inevitabilmente esposti. Questo richiede un cambiamento profondo nella progettazione di sistemi, nelle metodologie di valutazione del rischio e nella formazione professionale.

La vera innovazione nella sicurezza dell’IA non verrà da tentativi sempre più sofisticati di controllare l’incontrollabile, ma da approcci che accettano i limiti del controllo e costruiscono robustezza attraverso ridondanza, compartimentazione e ripristino rapido. Questo è un cambiamento epistemologico profondo, che richiede di abbandonare il confortante ma illusorio paradigma della sicurezza assoluta.

Condividi sui Social Network:

https://www.ictsecuritymagazine.com/articoli/machine-unlearning-e-ia-gen/




AI, un mercato globale da 4,8 trilioni di dollari entro il 2033 (più del PIL della Germania)

L’intelligenza artificiale ridisegna l’economia globale: opportunità, rischi e strategie secondo l’Uctad

L’intelligenza artificiale (AI) sta trasformando l’economia globale, promettendo progressi straordinari ma sollevando al contempo importanti interrogativi sull’equità e l’inclusività del suo impatto. Il Technology and Innovation Report 2025 della Unctad (Conferenza delle Nazioni Unite sul Commercio e lo Sviluppo) lancia un appello urgente: occorre agire ora per garantire che l’AI diventi uno strumento al servizio dello sviluppo sostenibile e non un fattore di ulteriore disuguaglianza.

Entro il 2033, il mercato globale dell’intelligenza artificiale è destinato a raggiungere i 4.8 trilioni di dollari, una cifra che supera di poco il PIL della Germania, il Paese più ricco d’Europa, che nel 2023 ha toccato i 4,52 trilioni di dollari, il 4,29% dell’economia mondiale, secondo la Banca Mondiale. 

Un dato straordinario, che conferma il ruolo sempre più centrale di questa tecnologia nella trasformazione digitale delle economie globali.

Tuttavia, l’accesso alle infrastrutture e alle competenze legate all’AI è tutt’altro che equamente distribuito. Oggi, circa il 40% degli investimenti globali in ricerca e sviluppo nel settore privato proviene da appena 100 aziende, per lo più situate negli Stati Uniti e in Cina.

Colossi come Apple, Nvidia e Microsoft hanno una capitalizzazione di mercato che si aggira intorno ai 3.000 miliardi di dollari ciascuna, un valore paragonabile al PIL dell’intero continente africano. Una simile concentrazione di potere rischia di escludere numerose economie emergenti dai benefici dell’innovazione tecnologica.

Secondo l’Unctad, il mercato complessivo delle tecnologie AI, Internet of Things e blockchain potrebbe superare i 10 trilioni di dollari entro il 2033.

Lavoro e automazione, il doppio volto dell’AI

Secondo il rapporto, fino al 40% dei posti di lavoro a livello globale potrebbe essere influenzato dall’intelligenza artificiale. Da un lato, essa offre enormi potenziali in termini di produttività, dall’altro solleva preoccupazioni legate all’automazione e alla possibile sostituzione del lavoro umano, soprattutto nei settori a basso costo del lavoro, tipici dei Paesi in via di sviluppo.

Ma l’AI non è solo distruzione di posti di lavoro: può anche generare nuove industrie e rafforzare le capacità dei lavoratori. È fondamentale, quindi, investire in reskilling e upskilling, promuovendo una formazione continua che consenta alle persone di adattarsi e prosperare nel nuovo scenario tecnologico.

Le leve strategiche: infrastrutture digitali, dati e competenze

L’intelligenza artificiale deve essere al centro delle strategie di sviluppo nazionale. Secondo l’Unctad, le politiche industriali moderne dovrebbero focalizzarsi su tre ambiti chiave: infrastrutture digitali, dati e competenze.

La capacità di posizionarsi strategicamente in questi settori sarà decisiva per i Paesi che vorranno integrare efficacemente l’AI nei propri sistemi produttivi e sociali.

L’Unctad supporta i Paesi in via di sviluppo nella definizione di queste strategie, offrendo strumenti di analisi e assistenza per costruire ecosistemi dell’innovazione resilienti e capaci di rispondere alle sfide future.

Governare l’AI, includere il Sud globale

Un dato preoccupante è che ben 118 Paesi, in gran parte del Sud globale, sono attualmente esclusi dai principali forum internazionali sulla governance dell’intelligenza artificiale. In un momento in cui si stanno scrivendo le regole del gioco – tra etica, regolazione e standard – è essenziale che queste nazioni abbiano voce in capitolo.

La Segretaria Generale dell’Unctad, Rebeca Grynspan, ha sottolineato la necessità di “spostare il focus dalla tecnologia alle persone”, proponendo una cornice di cooperazione internazionale in grado di co-creare una governance globale dell’IA che metta al centro l’inclusività e la sostenibilità.

Un piano d’azione per l’AI inclusiva, le persone al centro dell’innovazione tecnologica

Il rapporto dell’Unctad propone una serie di raccomandazioni concrete per garantire uno sviluppo equo dell’intelligenza artificiale:

  • Impegno industriale: sull’esempio dei criteri ESG, un meccanismo di trasparenza pubblica può migliorare la responsabilità delle imprese in ambito IA.
  • Infrastruttura condivisa: un hub globale accessibile può democratizzare l’accesso alle risorse computazionali.
  • Innovazione aperta: l’uso di dati e codice open source può favorire la collaborazione globale e la diffusione del sapere.
  • Capacity building: progetti di cooperazione Sud-Sud e condivisione della conoscenza possono rafforzare le competenze nei Paesi emergenti.

L’intelligenza artificiale ha il potenziale per diventare un catalizzatore di progresso, innovazione e prosperità condivisa. Ma questo potenziale si realizzerà solo se i governi, le imprese e le istituzioni internazionali lavoreranno insieme per mettere le persone al centro dello sviluppo tecnologico. È tempo di passare dalle promesse all’azione.

Leggi le altre notizie sull’home page di Key4biz

https://www.key4biz.it/ai-un-mercato-globale-da-48-trilioni-di-dollari-entro-il-2033-piu-del-pil-della-germania/528308/




L’AI generativa sta imparando a fare spionaggio per l’esercito statunitense

Generative AI Insights è la rubrica curata da Recomb, il think tank dedicato all’esplorazione dell’impatto e del potenziale dell’AI generativa in vari aspetti della vita umana. Recomb studia l’AI generativa da tutte le angolazioni: professionale, etica, tecnica, legale, economica, ambientale, sociale, educativa e culturale. Per leggere tutti gli articoli della rubrica Generative AI Insights su Key4biz clicca qui..

Durante un’esercitazione militare nel Pacifico, un’unità dei Marines americani ha testato l’impiego dell’AI generativa per analizzare, tradurre e sintetizzare grandi volumi di intelligence open-source. Lo strumento, sviluppato da Vannevar Labs, ha dimostrato di poter offrire supporto in tempo reale, permettendo ai militari di redigere report più velocemente e monitorare il sentiment della stampa estera rispetto alle operazioni in corso.

Le capacità dell’AI includono la traduzione multilingue, l’analisi di immagini e video, e la rilevazione di minacce, il tutto gestito tramite un’interfaccia simile a un chatbot. Il Pentagono ha investito 99 milioni di dollari per diffondere questa tecnologia in altre unità, segnalando un’accelerazione nell’adozione dell’AI generativa anche per operazioni di sorveglianza e supporto decisionale.

Tuttavia, numerosi esperti mettono in guardia rispetto ai limiti strutturali di questi modelli: errori nell’analisi del sentiment, vulnerabilità alla disinformazione e la difficoltà per gli operatori umani di validare ogni output generato. Inoltre, l’uso di dati open-source espone i sistemi a manipolazioni da parte di bot e campagne orchestrate. I

l rischio principale identificato è quello di un’eccessiva fiducia nei risultati offerti dall’AI, che potrebbe portare a decisioni strategiche errate o a un’escalation ingiustificata in scenari delicati. Il dibattito resta aperto: queste tecnologie saranno solo strumenti di supporto o finiranno per sostituire l’analisi umana nelle decisioni critiche? L’efficienza è innegabile, ma a quale costo in termini di controllo, precisione e responsabilità?

Per la prima volta l’intelligenza artificiale viene utilizzata in una centrale nucleare

La centrale nucleare Diablo Canyon, situata a San Luis Obispo e destinata a iniziare il processo di dismissione nel 2029, è diventata teatro del primo impiego operativo di AI generativa all’interno di un impianto nucleare statunitense.

Il progetto nasce dalla collaborazione tra PG&E e la startup Atomic Canyon, che ha sviluppato Neutron Enterprise, un sistema avanzato di ricerca documentale alimentato da chip NVIDIA H100.

L’obiettivo immediato di questa tecnologia è supportare i lavoratori nell’accesso rapido e preciso a milioni di pagine normative e tecniche, ottimizzando un’attività che attualmente richiede circa 15.000 ore l’anno.

Sebbene non destinato a prendere decisioni operative, Neutron Enterprise rappresenta un primo passo verso l’integrazione dell’AI nel comparto nucleare, aprendo scenari che suscitano preoccupazioni tra legislatori e osservatori.

Alcuni richiedono l’introduzione urgente di regole più stringenti per garantire che la tecnologia non superi i limiti del controllo umano. Il software, che opera offline per questioni di sicurezza, è stato concepito per minimizzare i rischi e rafforzare la conformità agli standard della Nuclear Regulatory Commission. I rappresentanti locali e statali hanno espresso posizioni variegate: da un lato si riconosce il valore dell’AI per l’efficienza e la gestione della conoscenza, dall’altro emergono timori su un possibile ampliamento del suo utilizzo senza adeguata supervisione.

Atomic Canyon sta già dialogando con altri impianti e istituzioni, prospettando future applicazioni della propria tecnologia anche durante le fasi di dismissione. Il fondatore, Trey Lauderdale, insiste sulla necessità di ‘guardrail’ normativi solidi, ribadendo che non immagina un futuro prossimo in cui l’AI possa gestire autonomamente centrali nucleari.

Per maggiori informazioni, clicca per l’articolo originale.

Le assunzioni nel settore tech potrebbero rallentare a causa dei timori di recessione: può l’AI essere d’aiuto?

Con l’incombere di una possibile recessione, molte imprese stanno adottando strategie conservative per proteggere i margini di profitto, e il rallentamento nelle assunzioni nel settore tecnologico ne è una diretta conseguenza. Secondo i dati raccolti da CompTIA, a marzo si è registrata una perdita di 29.000 posti di lavoro nel comparto tech, spingendo le aziende a valutare con attenzione l’adozione dell’AI per colmare lacune operative. Il CEO di Shopify, Tobi Lutke, ha recentemente affermato che ogni nuova assunzione deve essere giustificata da un’incapacità dell’AI di svolgere quella funzione, dimostrando un cambio di paradigma nella gestione delle risorse umane. John Schneider, CMO di Betterworks, sottolinea come l’AI non sia ancora pronta per sostituire interamente la forza lavoro esistente, ma la sua capacità di aumentare l’efficienza potrebbe rallentare l’incremento del personale. Tuttavia, Schneider avverte dei rischi legati a una sostituzione spinta dell’elemento umano: una riduzione delle assunzioni oggi potrebbe compromettere la formazione dei leader tecnologici di domani. L’eliminazione di ruoli per neofiti potrebbe infatti indebolire la catena di crescita interna, privando le aziende di futuri esperti e ingegneri senior. Nonostante l’attrattiva dell’automazione, alcune abilità umane — come l’intelligenza emotiva, la comunicazione e la capacità decisionale — restano inimitabili. L’AI dovrebbe quindi essere vista non come un sostituto, ma come uno strumento per valorizzare il lavoro umano, integrando e potenziando le capacità delle persone esistenti.

Per maggiori informazioni, clicca per l’articolo originale.

Leggi le altre notizie sull’home page di Key4biz

https://www.key4biz.it/lai-generativa-sta-imparando-a-fare-spionaggio-per-lesercito-statunitense/528304/




Slopsquatting: quando l’IA consiglia pacchetti che non esistono


La diffusione dell’IA e il progressivo miglioramento degli LLM ha reso questi strumenti un aiuto ormai essenziale per il mondo dello sviluppo software. Nonostante i guadagni in produttività, l’uso di questi tool comporta anche numerosi rischi di sicurezza, tra i quali anche il novello “Slopsquatting“.

Il termine, coniato da Seth Larson, ricercatore per la Python Software Foundation, indica l’introduzione da parte degli attaccanti di package Python con nomi che potrebbero essere generati (per sbaglio) dagli assistenti di IA. Questi pacchetti contengono codice malevolo; la speranza è appunto che, per via delle allucinazioni degli strumenti, qualche sviluppatore lo copi e lo installi senza rendersi conto che sia falso.

Slopsquatting

Blue futuristic networking technology vector

Gli errori degli LLM

In un post dedicato all’argomento, il team di Socket riporta i risultati di una ricerca proprio sulle allucinazioni legate ai nomi dei package Python nel codice generato dagli LLM. Condotta da un team della University of Texas e della University of Oklahoma, la ricerca ha testato 16 tra i modelli di generazione del codice più usati, sia commerciali che open-source.

Dai risultati è emerso che il 19,7% dei pacchetti consigliati dagli LLM non esiste. I modelli open-source hanno commesso errori più frequentemente rispetto a quelli commerciali, con CodeLlama 7B e CodeLlama 34B che hanno “allucinato” più degli altri, in più di un terzo degli input. Il meno prono a errori è stato invece GPT-4 Turbo con tasso di allucinazione del 3,59%. In tutto, sono stati generati 205.000 nomi errati e unici di pacchetti.

Durante l’esperimento, i ricercatori hanno eseguito per 10 volte ognuno dei 500 prompt di sviluppo di codice. Dalle prove è emerso che il 43% dei pacchetti inesistenti è stato riproposto ogni volta, mentre il 39% non è più comparso dopo la prima volta. “Questa netta differenza suggerisce un pattern bimodale nel comportamento dei modelli: le allucinazioni sono o altamente stabili o del tutto imprevedibili” ha spiegato il team di Socket.

Ancora più significativo è il fatto che il 58% dei pacchetti falsi è stato ripetuto più di una volta durante le ripetizioni: ciò significa che la maggior parte delle allucinazioni non sono solo “rumore casuale” ma nomi ripetibili che dipendono da come i modelli rispondono ai prompt. Questo facilita il lavoro degli attaccanti nell’individuare gli LLM più proni a errori e i nomi dei package errati più ripetuti, così da creare i pacchetti malevoli con quei nomi.

Un’altra questione preoccupante è che la maggior parte dei nomi falsi dei pacchetti è semanticamente convincente, con il 38% dei risultati che erano molto simili a quelli reali e ne simulavano la struttura di naming. Inoltre, l’8,7% dei pacchetti Python “allucinati” erano in realtà pacchetti npm validi.

Un aspetto positivo è che alcuni modelli riescono a identificare i nomi errati che hanno generato con un’accuratezza media del 75%.

Slopsquatting: un rischio per la supply chain

Lo Slopsquatting si aggiunge alla lista di attacchi di tipo “package confusion” che mettono a serio rischio la supply chain. “I pacchetti “allucinati” possono essere generati in maniera consistente e condivisi ampiamente con auto-completamenti, tutorial e porzioni di codice scritte dall’IA“.

Questa minaccia può scalare in breve tempo: se un pacchetto falso viene consigliato da sempre più modelli e un attaccante ha registrato quel nome, il codice malevolo si diffonde senza troppi problemi. “Visto che molti sviluppatori si fidano dell’output dei tool di IA senza una validazione rigorosa, la finestra di opportunità è spalancata“. Con sempre più sviluppatori che affidano all’IA l’implementazione completa del codice, il rischio di fidarsi ciecamente delle dipendenze introdotte dall’IA e di non verificare l’esistenza dei pacchetti aumenta.

Aumentare il livello di attenzione in questo caso è essenziale: se l’IA è un ottimo aiuto per velocizzare la produzione di codice, è importante verificare attentamente gli output, soprattutto quando si sceglie di usare librerie e pacchetti. Visto l’impatto dello Slopsquatting, è anche indispensabile fare affidamento a strumenti in grado di segnalare pacchetti pubblicati di recente o sospetti prima che vengano installati.

Condividi l’articolo



Articoli correlati

Altro in questa categoria


https://www.securityinfo.it/2025/04/15/slopsquatting-quando-lia-consiglia-pacchetti-che-non-esistono/?utm_source=rss&utm_medium=rss&utm_campaign=slopsquatting-quando-lia-consiglia-pacchetti-che-non-esistono