Report: Malicious emails bypassing secure email gateways rose by 105%

A report by Cofense highlights trending email security risks that security leaders should secure against. Compared to the previous year, there was a 105% increase in malicious emails that successfully avoided Secure Email Gateways (SEGs). The report reveals that for every 57 seconds, at least one malicious email navigated past SEGs. 

Other emerging trends are discussed in the report, shedding light on the email security landscape for 2024.

  • Smishing, vishing, brand impersonation and QR code phishing increased in 2033. Active threat reports regarding QR codes increased by 331%. 
  • Google Accelerated Mobile Pages is central to a new phishing tactic and has seen a 1092% increase in usage to bypass SEGs. 
  • The most targeted sectors are finance and healthcare. Finance saw a 118% increase in malicious emails avoiding SEGs whereas healthcare saw an 84.5% increase. 

The report suggests that SEGs are being outpaced by evolving phishing efforts that target employees, as the number of malicious emails bypassing SEGs increased by 104.5%. These campaigns account for 90% of data breaches. Credential phishing saw a 67% increase. The report encourages security leaders to adopt security measures in addition to any current SEGs to secure their organization against advanced phishing techniques.

https://www.securitymagazine.com/articles/100421-report-malicious-emails-bypassing-secure-email-gateways-rose-by-105




AnyDesk breach highlights need for remote access vigilance

The recent AnyDesk breach provides a timely reminder to ensure organizations are following best practices regarding remote access software and services — both third-party tools and the features or services embedded in operating systems, browsers and more.

The maker of AnyDesk forced a password reset for all users after it found 18,000 user credentials for sale on the dark web for $15,000. The breach potentially exposed AnyDesk customers’ license keys, a number of active connections, duration of sessions, customer IDs and contact information, email associated with the account, and the total number of hosts that have remote access management software activated.

This breach is yet another reminder of the many threats that organizations face from remote access software and services. In the months leading up to the attack, security research labs observed an uptick in threat activity targeting and abusing these tools and services — and many predict this trend will likely continue through 2024 and beyond.

Remote access tool vs. remote access trojan

IT support teams rely on AnyDesk for remote control, file transfer and VPN functionality. It’s a useful tool to troubleshoot issues, perform maintenance and install patches. Unfortunately, attackers also find huge value in these remote access tools, which serve the same purpose as a remote access trojan.

Like other remote access software, AnyDesk is often used by adversaries to carry out attacks. To take control of a company’s internal network, attackers like the Conti ransomware group are known to connect AnyDesk with Cobalt Strike in an attack attempt.

Attackers use these remote access tools to target users in tech support scams. The attacker impersonates corporate or legitimate software support staff with the goal of convincing users to install or allow the remote access tool. The attacker then takes control of the machine to install malware. Once attackers have achieved a beachhead, they can then use the breached organization’s legitimate remote access tools to blend malicious activity into regular network traffic, making it both easier to spread and more difficult to detect.

External remote services

Similar to remote access software, external remote services are common in operating systems and browsers with services like Windows Remote Desktop Protocol (RDP), Virtual Network Computing (VNC), X11 Forwarding over SSH and XRDP (an open-source implementation of Microsoft’s RDP that allows users to graphically control a remote machine with a Linux operating system from a Windows machine using the native Windows RDP client).

Like remote access software, these services are targets for brute force attacks and credential theft. Once inside a network, attackers use RDP or other external remote services to move laterally to other systems, escalate their privileges, and compromise additional resources. Both tools can be incredibly useful for organizations, but in the hands of attackers they represent a significant threat. As attackers refine their tactics, securing them is increasingly critical. 

Remote access best practices

While an organization’s IT support team likely won’t let security leaders eliminate all use of remote access tools and external remote services, security teams should familiarize themselves with the following best practices:

Implement application whitelisting: 

Utilize application control solutions like AppLocker to create a whitelist of approved software. By default, block all applications not explicitly approved, ensuring that unauthorized remote control software cannot be installed or run on any system within the network.

Block control servers at the network perimeter: 

Configure the organization’s proxy or web gateway to block access to known control servers used by popular remote control software vendors. This step prevents remote control software from connecting to their servers for updates or remote access functionalities.

Integrate alerts into SIEM systems: 

Enhance the Security Information and Event Management (SIEM) system to generate alerts for any attempt to access known remote control servers or when unauthorized software is detected on key systems. This allows for immediate detection and response to potential security incidents.

Monitor and control network traffic: 

Regularly review network traffic logs for any unusual patterns or connections to known remote control servers. Use network segmentation and firewall policies to restrict unnecessary outbound connections.

Educate and train employees: 

Conduct regular security awareness training for all employees to highlight the risks associated with unauthorized remote control software. Educate them on the proper use of approved applications and the importance of following company security policies.

Managed exceptions: 

In cases where the use of specific remote control software is required for legitimate business purposes, establish a controlled process for granting exceptions. This process should include obtaining approval from the IT security team, documenting the justification for the exception, and limiting the software’s use to specific devices or users under strict monitoring.

The AnyDesk breach is just one example of many, demonstrating that while IT support teams may think they have their bearings when it comes to understanding their exposure, that often isn’t the case. It’s no longer enough to rely on reactive security measures — a proactive, security validation approach is critical. 

https://www.securitymagazine.com/articles/100405-anydesk-breach-highlights-need-for-remote-access-vigilance




US adversaries employ generative AI in attempted cyberattack

According to reports, Microsoft stated that it uncovered and obstructed attempts by malicious cyberattacks to utilize its AI technology. This was done in collaboration with Open AI. These attempts were conducted by adversaries of the United States, predominantly Iran and North Korea, although attempts were also made by Russia and China. Although the organization described these attempts as simplistic and still in the early stages, it emphasized the importance of awareness among security leaders. 

The report discusses several instances in which generative AI was utilized by these malicious actors.

  • Kimsuky, a North Korean cyberespionage team, deployed generative AI models to investigate foreign think tanks and create content that could be essential to spear-phishing hacking attempts.
  • Large-language models have been used by Iran’s Revolutionary Guard for phishing emails and social engineering. It has also been used to experiment with how invaders in a compromised network might avoid detection. 
  • Maverick Panda, a Chinese group that has targeted U.S. defense contractors for more than 10 years, utilized large-language models to evaluate the group as a source of information on potentially sensitive topics.
  • A Russian GRU military intelligence division called Fancy Bear deployed AI models to investigate satellite and radar technologies, potentially related to the war in Ukraine.

The organization’s statement was joined by a report which revealed that the use of generative AI is predicted to advance malicious social engineering. This evolution could contribute to more refined voice clones, deepfakes or other AI-related deceptions, spreading misinformation regarding major social or political events and movements.

https://www.securitymagazine.com/articles/100418-us-adversaries-employ-generative-ai-in-attempted-cyberattack




Google lavora a una feature Chrome per proteggere le reti private


Google ha annunciato di stare lavorando a una nuova funzionalità di Chrome per proteggere i dispositivi le reti private degli utenti. L’obiettivo è impedire che le richieste provenienti da siti web malevoli sfruttino la rete domestica per accedere a un device collegato, come una stampante o un router.

Quando arriva una richiesta dall’esterno verso un endpoint nella rete privata dell’utente, la nuova feature, chiamata “Protezioni d’accesso per le reti private”, prima controlla se la richiesta è stata inviata da un contesto sicuro; in seguito, Chrome invia una richiesta preflight e controlla se l’endpoint destinatario consente l’accesso alle reti private. 

Google Chrome

Pexels

Google sottolinea che il browser potrebbe cercare di ricaricare la pagina dopo che la navigazione è fallita; a quel punto, visto che il mittente della richiesta di reload è il browser stesso, la richiesta non sarebbe più un tentativo d’accesso alla rete privata e quindi la protezione verrebbe bypassata.

Per risolvere il problema, la compagnia ha scelto di disabilitare la feature di auto-reloading quando la richiesta viene bloccata dalla feature, mostrando un messaggio d’errore che spieghi all’utente perché la navigazione è stata bloccata e quali sarebbero le conseguenze se ricaricasse la pagina manualmente.

La funzionalità consente di bloccare automaticamente le richieste dall’esterno, a meno che il dispositivo stesso permetta esplicitamente la connessione da siti web pubblici.

La compagnia sta testando la feature su Mac, Windows, Linux, Chrome OS, Android e Android WebView. “Su tutte le piattaforme tranne iOS, dove non abbiamo il controllo dello stack di rete” specifica Google.

Per il momento Google prevede di rilasciare una versione “warning-only” in Chrome 123, release prevista in versione stabile per il 13 marzo, che mostrerà un avviso nella console di sviluppatore ma consentirà comunque di eseguire le richieste che altrimenti verrebbero bloccate. In futuro la feature diventerà bloccante, anche se gli utenti potranno disabilitarla per siti specifici.

Condividi l’articolo



Articoli correlati

Altro in questa categoria


https://www.securityinfo.it/2024/02/19/google-lavora-a-una-feature-chrome-per-proteggere-le-reti-private/?utm_source=rss&utm_medium=rss&utm_campaign=google-lavora-a-una-feature-chrome-per-proteggere-le-reti-private




The Department of State offers $10M for information on ALPHV/Blackcat

A reward of up to $10 million dollars is being offered by the Department of State for information regarding the identities and locations of the key leaders of the ALPHV/Blackcat ransomware operations. An additional $5 million dollars is offered for information contributing to the apprehension or conviction of individuals conspiring or attempting to collaborate with ALPHV/Blackcat. 

In December of 2023, the Department of Justice and the FBI announced an international collaboration of law enforcement agencies from the United Kingdom, Spain, Germany, Australia and Denmark to campaign against ALPHV/Blackcat. Members of ALPHV/Blackcat have targeted more than 1,000 entities internationally, including targets in the United States. These include entities such as defense contractors, essential infrastructure organizations and municipal governments. 

ALPHV/Blackcat often operate by encrypting a victim’s systems and demanding ransom in exchange for decryption. To date, it is estimated that the Federal Bureau of Investigation’s (FBI) disruption of ALPHV/Blackcat’s operations has prevented $99 million in ransom payments.

https://www.securitymagazine.com/articles/100419-the-department-of-state-offers-10m-for-information-on-alphv-blackcat




Joint Cyber Defense Collaborative announces its priorities for 2024

The Joint Cyber Defense Collaborative (JCDC) has announced its focuses for 2024. The JCDC is comprised of government entities and private sector organizations that seek to address and adapt to evolving cybersecurity risks. 

The group’s 2024 priorities center around three focal points.

  1. Countering Advanced Persistent Threat (APT) efforts aimed for essential infrastructure sectors, potentially with the goal to influence essential functions of the government and private sector. 
  2. Securing critical infrastructure cybersecurity to minimize cyberattacks. 
  3. Reducing the probability and impact of AI threats.

The three focus points are expanded on in the press release, outlining the group’s priorities.

  1. The first focus is to identify and defend against APT actors by improving the preparedness of vital infrastructure. The collaboration of government agencies and private sector organizations will work to predict and counter attacks.
  2. Resiliency and recovery from cyberattacks are emphasized in the press release. The group seeks to elevate critical infrastructure’s capacity to respond to threats.
  3. Providing election security for state and local officials is a part of the 2024 focus. By sharing cyber threat data with election officials and vendors, the group seeks to improve the visibility and resiliency of election security.
  4. By leveraging resources and partnerships, the group intends to reduce the influence of ransomware on vital infrastructure. The goal is to focus on operational systems that disrupt ransomware efforts.
  5. Security by design is a focus the group will carry over from 2023. The intent is to implement effective cybersecurity defenses through a fundamental change in the designing, manufacturing and maintaining of technology, ensuring strong defenses are customary.
  6. The group will support the efforts of the Cybersecurity and Infrastructure Security Agency (CISA) to reduce AI attacks. 

https://www.securitymagazine.com/articles/100417-joint-cyber-defense-collaborative-announces-its-priorities-for-2024




Considerazioni su Modelli di Intelligenza Artificiale Generativa

Nell’ultimo anno siamo tutti rimasti sorpresi dall’avvento dei modelli di Intelligenza Artificiale (IA) Generativa, a partire dal famosissimo ChatGPT (ovvero GPT-3 e GPT-4).

L’impressione è che stiamo vivendo una rivoluzione non solo informatica ma per la vita di tutti noi che potrebbe trasformare in modo inaspettato, e al momento imprevedibile, la società umana. Pertanto in questo articolo vengono proposti alcuni temi e osservazioni su quanto realmente sta accadendo, cercando di fornire degli spunti al lettore per delle riflessioni più approfondite.

Informatica e “UI”

Sin dalla nascita dell’informatica, uno dei principali problemi è quello della “User Interface” (UI) ovvero di come noi umani possiamo interagire con i programmi in esecuzione sugli elaboratori. Inizialmente si preparavano delle schede perforate che traducevano in un linguaggio più facile da interpretare per la macchina i codici scritti in linguaggi di programmazione già molto tecnici (e a cui bisognava essere iniziati), e si ottenevano i risultati dell’elaborazione su stampe cartacee.

Ma, sin dalla nascita della fantascienza, gli elaboratori vedono, leggono, ascoltano, scrivono e disegnano (su carta e su video) e parlano. Nel tempo sviluppano anche altri sensi umani e sovra-umani, ad esempio diventando androidi. Siamo di fronte a una dicotomia: da una parte la realtà con un’interfaccia tecnica, difficile da capire e utilizzare ancora oggi, dall’altra il nostro desiderio di poter interagire con gli elaboratori al nostro livello e nelle stesse modalità con cui interagiamo tra esseri umani. Come esempio di questa, in fondo, frustrazione, anche di recente mi è capitato di interagire con un ChatBot con un numero limitato di possibili risposte e che, dopo pochi scambi di messaggi, ha continuato a rispondermi con un messaggio di saluto.

Ma cosa è realmente successo negli ultimi anni?

Ci siamo abituati dapprima ai siti di Ricerca di informazioni e di Traduzione di testi, ai Navigatori per le indicazioni stradali, agli Assistenti digitali e alla fine del 2022 è arrivato ChatGPT che ci ha travolti tutti.

La differenza principale di ChatGPT rispetto al passato è che per la prima volta abbiamo potuto interloquire per iscritto con un elaboratore come se fosse una persona. A prima vista, domande e risposte sembrano quelle scambiate tra due esseri umani. E i programmi di IA Generativa, o “assistenti generativi”, non sono solo in grado di rispondere a domande su quasi qualsiasi argomento, ma anche di generare testi, disegni, immagini, codice per programmi di elaboratore ecc.

Siamo finalmente arrivati a dotare gli elaboratori di una UI “umana”?

E’ molto difficile rispondere a questa domanda, ma bisogna sottolineare che una UI “umana” richiede non solo che l’elaboratore sia in grado di capire il nostro linguaggio (in qualunque lingua o modalità ci si esprima) ma anche avere cognizioni sufficienti per poter rispondere adeguatamente. Una UI “umana” richiede quindi non solo un’interfaccia opportuna, che può anche essere una banalissima Chat testuale, ma soprattutto conoscenze e la capacità di intendere quanto espresso dall’interlocutore umano per rispondere in maniera appropriata se non intelligente.

Per approfondire questo argomento, è necessario analizzare ad altissimo livello come funzionano i modelli IA Generativa attuali partendo dall’informatica a cui siamo abituati.

Dalla Fantascienza alla Realtà

Visto che abbiamo accennato a temi di fantascienza, si può qui fare riferimento al famoso romanzo di Robert A. Heinlein “The Moon Is a Harsh Mistress” in cui il co-protagonista è Mike (ufficialmente HOLMES IV, “High-Optional, Logical, Multi-Evaluating Supervisor, Mark IV“), un elaboratore divenuto senziente. È molto interessante analizzare le caratteristiche che Heinlein, nel 1966, assegna a Mike:

  1. capacità tecniche
    • enorme capacità di catalogazione e archiviazione di dati tutti reperibili quasi istantaneamente
    • elaborazione e correlazione in tempi brevissimi di grandi moli di dati
    • grandi capacità di elaborazioni parallele
    • possibilità di segregare dati per garantire la riservatezza anche rispetto alle proprie elaborazioni (concetto di “sandbox”)
  2. caratteristiche di elaborazione
    • raffinate deduzioni logiche da dati noti
    • valutazione estremamente precise di correlazioni tra dati e di probabilità di eventi su scenari estremamente complessi
    • capacità di riproduzione e imitazione di stili, persone ecc., e generazione di “nuovi” dati mescolando appropriatamente dati noti
  3. debolezze
    • mancanza di immaginazione
    • mancanza di inventiva
    • totale incomprensione di barzellette, scherzi, doppi sensi, allusioni
    • errori banali dovuti alla mancanza di dati specifici ma in cui difficilmente cadrebbe un uomo.

Come vedremo, la descrizione di Mike che Heinlein fece circa 60 anni fa ha molti punti in comune con un attuale sistema IA.

Alcuni concetti sull’Intelligenza Artificiale

Sicuramente l’informatica che oggi chiamiamo IA Generativa ha delle caratteristiche tecniche e operative decisamente diverse da quanto siamo abituati e che ci è stato insegnato in informatica sino a poco tempo fa. Per semplicità chiamiamo White Box l’approccio tradizionale in quanto possiamo descrivere il funzionamento di un sistema informatico con le seguenti caratteristiche principali:

  • Determinismo: ad ogni dato in ingresso corrisponde un dato prodotto predeterminato
  • Programmabilità esatta: le logiche e le operazioni che a partire da un dato in ingresso generano il corrispondente dato prodotto sono decise, disegnate e implementate esattamente dai programmatori
  • Simbolismo localizzato: ogni informazione è rappresentata da un corrispondente simbolo gestito e archiviato dal programma; è quindi possibile identificare ove una informazione è localizzata/archiviata e seguire esattamente le trasformazioni dei dati durante l’esecuzione del programma.

In altre parole, le informazioni sono codificate in simboli che sono processati esattamente come deciso dal programmatore. Tutto questo porta al concetto di White Box, ovvero perfetta conoscenza e controllo (a meno di errori di programmazione purtroppo presenti troppo spesso) di quanto avviene all’interno del sistema.

I più recenti modelli IA Generativi, tipicamente modelli Machine Learning (ML) e Reti Neurali Artificiali (ANN), si discostano notevolmente da questa descrizione. Il punto principale è che il programmatore disegna e implementa in codice solo l’architettura del modello IA. Ad esempio in un modello ANN il programmatore disegna e implementa il codice che ogni nodo di calcolo (rappresentante un neurone sintetico) esegue. Il codice è molto generico: tipicamente viene eseguita solo una operazione elementare, quale una somma pesata, sui dati in ingresso al nodo con dei coefficienti arbitrari, e questa operazione genera il dato in uscita dal nodo. Non c’è alcuna logica predeterminata che correli un dato in ingresso al programma al corrispondente dato in uscita dal programma ma solo la logica di calcolo di ognuno dei milioni (o miliardi) di nodi.

Inoltre il programmatore non sceglie il valore numerico dei coefficienti presenti nei calcoli, a cui vengono invece inizialmente assegnati valori casuali. È il processo di addestramento che seleziona i valori più appropriati dei coefficienti presenti nel codice. La matematica che descrive questi modelli è basata principalmente sul calcolo delle probabilità: ogni risultato che il modello fornisce è quello più probabile rispetto ai dati di addestramento utilizzati e all’architettura del modello stesso.

Un’altra importante osservazione è che in questi modelli il valore numerico dei coefficienti gioca un doppio ruolo: definisce le regole di calcolo e al contempo memorizza le informazioni. Quindi i coefficienti sono al contempo logica e memoria. Contrariamente ai programmi tradizionali, logica e memoria non possono essere distinti, sono intrinsecamente unificati.

È importante sottolineare il ruolo dell’architettura di un modello IA: le architetture dei primi modelli a reti neurali erano molto semplici, per lo più reticoli piani, anche perché gli elaboratori non avevano capacità di elaborazione sufficiente per implementare architetture più complesse. Ma dall’architettura del modello dipende la capacità di interpretare, memorizzare ed elaborare i dati. Ad esempio: architetture molto semplici sono in grado per lo più di gestire efficientemente dati con informazioni localizzate senza correlazioni tra dati distanti. Come esempio si consideri un modello IA con architettura “semplice” per la traduzione di testi, in questo caso la traduzione risulta essere fatta parola per parola senza tenere conto della frase in cui le parole sono poste.

“Transformer” è invece una delle architetture più recenti e più complesse alla base di molti dei modelli IA Generativi e delle loro capacità di analizzare in maniera sofisticata i dati in ingresso per poi memorizzarli e processarli. In altre parole, le capacità di apprendimento e “ragionamento” di un modello IA dipendono fortemente dalla sua architettura.

Riprendendo le caratteristiche principali elencate precedentemente per un sistema informatico tradizionale ma ora valutandole per un modello IA Generativo, otteniamo:

  • Probabilità (era Determinismo): ad ogni dato in ingresso corrisponde il dato prodotto più probabile rispetto ai dati di addestramento utilizzati e all’architettura del modello stesso
  • Opacità (era Programmabilità esatta): le logiche di elaborazione sono apprese dal modello stesso e non determinate dal programmatore; le logiche stesse non sono formalizzate ma codificate nei valori dei coefficienti distribuiti, il che le rende difficili da desumere e interpretare
  • Rappresentazione sub-simbolica distribuita e sparsa (era Simbolismo localizzato): ogni informazione non è rappresentata da simboli ma codificata nei valori dei coefficienti che sono distribuiti e sparsi (ovvero non localizzati); si noti che concetti come “controllo accessi al dato”, “cifratura applicativa dei dati”, “Bring Your Own Key (BYOK)” ecc. non sono implementabili in questo contesto all’interno di un modello IA.

In pratica questa è una rivoluzione Copernicana: i principali assunti informatici a cui siamo abituati non valgono più per i modelli IA più recenti.

Si potrebbe avere l’impressione di rischiare di perdere completamente il controllo di questi programmi, ma in realtà la situazione non è per nulla negativa, anzi come vediamo quotidianamente, funziona egregiamente. Ritornando alle caratteristiche di Mike di Heinlein, ogni giorno constatiamo che sono applicabili abbastanza bene ai più recenti modelli IA Generativi (ad eccezione di 1.4 sulla segregazione dei dati).

Ma per poter utilizzare al meglio questi strumenti, dobbiamo avere una diversa percezione di come funzionano e un nuovo approccio al loro utilizzo rispetto a quanto fatto sinora.

IA Generativa come una Black Box

L’approccio con cui si propone di considerare e valutare i più recenti modelli IA è più vicino ad una valutazione Black Box di un programma informatico che a un’analisi tradizionale. Si è nella situazione in cui si conoscono o si possono conoscere bene i dati in ingresso e quelli prodotti dal programma, ma si hanno poche informazioni su come i dati sono elaborati. Su questa Black Box ideale si può solo assumere ad alto livello che:

  1. l’elaborazione dei dati è fatta con tecniche probabilistiche
  2. i dati memorizzati e le logiche di elaborazione derivano dai dati utilizzati per l’addestramento del modello.

Si può quindi studiare questa Black Box ideale dall’esterno considerando prima cosa riceve in ingresso e poi cosa produce in uscita.

Dati in ingresso per addestramento

Come già descritto, i dati di addestramento insieme all’architettura del modello IA, costituiscono l’elemento principale e fondamentale del modello stesso. Semplificando si possono dividere i modelli in due classi: quelli in cui la fase di addestramento precede ed è distinta dalla fase di generazione, e quelli in cui addestramento e generazione avvengono contemporaneamente o in continua successione. Come sempre, la realtà è abbastanza più complessa, ma per i nostri scopi possiamo semplificare il modello teorico e semplicemente considerare le due fasi, addestramento e generazione, come indipendenti.

Il fatto è che quando i dati in ingresso sono utilizzati per addestrare il modello, questi modificano il modello stesso e vengono memorizzati. Descrivendo il modello IA come una Black Box, non si sa esattamente come i dati sono memorizzati nel modello, ma si può assumere sia che modifichino le logiche di elaborazione, quindi i dati “insegnano” qualche cosa al modello IA, sia che rimangano in memoria in maniera più o meno completa e integra.

Si aggiunga a ciò che per essere addestrati, i modelli IA Generativi richiedono enormi quantità di dati, appunto per essere in grado di sostenere una conversazione o generare dati in uscita di quasi qualsiasi tipo. In altre parole, questi modelli mirano ad avere una conoscenza generica, anche se non approfondita, dello scibile, della storia e delle informazioni umane.

Si deve allora fare estrema attenzione a condividere informazioni riservate o personali o comunque soggette a diritto d’autore o limitazioni di uso e condivisione, per l’addestramento di questi modelli. Infatti la Black Box può utilizzare queste informazioni in qualunque maniera, ad esempio condividendole integralmente con altri utenti, o utilizzandole per generare dei dati che ne derivano.

Come accennato precedentemente, ad oggi non è possibile implementare un sistema di controllo accessi interno alla Black Box in grado di utilizzare i dati memorizzati a seconda dell’utente che sta utilizzando l’applicazione. Quindi qualunque dato utilizzato per l’addestramento di un modello IA pubblico deve essere considerato anch’esso pubblico e non soggetto ad alcuna limitazione.

Questo non vuol dire che non si può utilizzare un modello IA Generativo con dati riservati o soggetti a limitazioni, ma per farlo bisogna implementare il controllo accessi esternamente al modello stesso. Ad esempio, si può partire da un modello pre-addestrato con dati pubblici, crearne un’istanza dedicata sotto il proprio controllo, completare l’addestramento con i propri dati e permettere l’accesso a questa istanza solo a chi è autorizzato ad accedere alle informazioni utilizzate per l’addestramento. In altre parole, bisogna creare una sandbox intorno al modello IA piuttosto che all’interno del programma, come invece immaginò Heinlein per Mike (punto 1.4).

Dati in ingresso per generazione

Quando i dati in ingresso sono utilizzati esclusivamente per generare dei dati in uscita, non si presentano i rischi appena descritti perché il comportamento dell’applicazione è assimilabile a quello di una applicazione tradizionale. I dati in ingresso vengono elaborati ma non sono memorizzati dall’applicazione IA, al più possono essere memorizzati dalle applicazioni a supporto dell’applicazione IA, che sono gestite secondo l’approccio tradizionale e permettono l’implementazione degli usuali processi di controllo accessi, protezione/cifratura dei dati ecc.

Dati prodotti

È necessario fare alcune considerazioni sui dati prodotti da un modello IA Generativo.

La prima è che, come è stato ripetuto già più volte, qualunque dato prodotto non è deciso a priori da un programmatore: non è possibile chiedere ad alcuno perché ha programmato che a uno specifico dato in ingresso corrisponde un certo dato in uscita. In altre parole: non c’è una logica definita da una persona tra un input e il corrispondente output.

Come già indicato, i dati prodotti o generati sono quelli che hanno la più alta “probabilità di similitudine” (da intendersi in senso lato) tra i dati in ingresso e quanto appreso dal modello dai dati di apprendimento. Ad alto livello questo può essere descritto come segue: il modello crea una propria rappresentazione interna dei dati di apprendimento, identifica le “somiglianze” maggiori di questa rappresentazione con i dati in ingresso e utilizza queste “somiglianze” per generare i dati in uscita.

In linea teorica, un dato generato può avere una probabilità del 99,99% di corrispondere al dato in ingresso, o molto minore, ad esempio solo il 30%. Tocca a chi gestisce il modello IA decidere una soglia sotto la quale il modello può non rispondere alla richiesta.

La natura probabilistica dei dati generati può facilmente ingannare gli utilizzatori del modello IA e richiede che chi lo utilizza sia molto accorto nell’interpretare il loro significato. Il modo più semplice per approfondire questo aspetto è tramite un paio di esempi.

Curriculum Vitae di una Persona

Si immagini di chiedere a un modello IA Generativo di fornirci informazioni su di una persona, realmente esistita che si afferma essere stata studente di un premio Nobel. Il modello IA Generativo tipicamente fornisce un breve Curriculum Vitae della persona, elencando articoli scientifici pubblicati, premi vinti, posizioni ricoperte ecc. Alcuni di questi dati possono essere corretti, altri invece sono “generati”, ma realistici, e altri ancora possono essere del tutto errati (in alcuni casi chiamati “allucinazioni”). La “logica” del modello IA Generativo può essere descritta come segue: dai dati di addestramento ha appreso che la maggior parte degli studenti di premi Nobel ha avuto una carriera di successo nella ricerca scientifica, vincendo premi e occupando posizioni di rilievo. Inoltre, il premio Nobel indicato appartiene a una specifica area scientifica e il modello IA è a conoscenza di quali sono i principali argomenti di ricerca, i principali premi e posizioni lavorative e di prestigio in questo campo scientifico. Sulla base di questi dati, il modello IA ha quindi identificato quali sono le pubblicazioni scientifiche, i premi e le posizioni (tutti reali o “generati”) che più probabilmente sono associabili alla persona indicata nei dati in ingresso, e questi sono i dati prodotti in risposta alla richiesta. La quantità di dati esatti prodotti dal modello IA può variare da un Curriculum Vitae totalmente reale, a uno contenente metà di dati reali e metà “generati”, a uno totalmente “generato” ovvero plausibile ma non corrispondente al vero, o infine uno contenente alcuni dati del tutto errati; tutto dipende dai dati di addestramento utilizzati e dall’architettura stessa del modello IA.

Selezione di personale e “bias”

I Curriculum Vitae (CV) forniscono un esempio per un altro aspetto dei dati generati da un modello IA (anche non Generativo), che va sotto il nome “bias” (ovvero una distorsione o deviazione sistematica rispetto al risultato atteso). Si supponga di addestrare un modello IA con molti CV divisi tra quelli ritenuti validi per l’occupazione richiesta e quelli non validi. Si utilizzi poi l’applicazione IA per una prima selezione di nuovi CV validi. Potrebbe capitare (questo è un esempio estremo riportato solo per evidenziare il possibile comportamento del modello IA) di accorgersi che i CV validi (ovvero con una probabilità di somiglianza ai CV di addestramento validi superiore ad una certa soglia) corrispondono per lo più a persone che si sono laureate in un certo anno e con particolari caratteristiche somatiche, e che CV che non hanno queste caratteristiche ma per il resto sono equivalenti, hanno ottenuto una valutazione inferiore. Come già indicato, i modelli IA sono estremamente bravi a trovare somiglianze in enormi quantità di dati, e in questo caso il modello IA ha identificato l’anno di laurea e alcune caratteristiche somatiche come la caratteristica più comune dei CV di addestramento validi. L’esempio appena descritto è molto banale, ma il problema del “bias” dei modelli IA è molto ricorrente e spesso di difficile soluzione.

Questi semplici esempi rafforzano l’affermazione che alla base del comportamento di un modello IA vi è principalmente una triade: probabilità, architettura, dati di addestramento.

È utile fare qualche ulteriore osservazione sull’utilizzo e i limiti degli attuali modelli IA Generativi.

Etica

Da quanto appena scritto, è difficile oggi immaginare che, oltre a distinguere tra reale e “generato”, i modelli IA Generativi possano generare dati che rispettano sempre principi connaturati nell’uomo chiamati “etici”, quali ad esempio i concetti di giusto e sbagliato o lecito e illecito, che comunque hanno a volte delle diverse interpretazioni tra gli uomini o tra società umane. Ed è anche difficile immaginare che un attuale modello IA Generativo sia in grado di apprendere concetti più fondamentali per l’uomo quali l’istinto di preservazione della persona, di prosecuzione della specie, di protezione della prole. È stata utilizzata la parola “istinto” perché questi sono tratti fondamentali e comuni a tutti gli uomini, e più in generale agli animali, ma difficilmente presenti nei dati di addestramento di un modello IA.

Al contrario, se si addestra un modello IA con dati reperibili in Internet, le informazioni derivanti dai notiziari descrivono una realtà in cui spiccano reati, violenze, violazioni dei diritti umani, guerre ecc. Analizzando solo questi dati ne deriva ad esempio che la probabilità di un atto violento è molto più alta di quella della protezione di una persona debole. Ma la realtà (per fortuna) è assai diversa (anche se abbiamo un ampio margine di miglioramento).

Anche addestrare un modello IA con i manuali di storia e in generale con la documentazione universitaria più completa sull’uomo, la società umana e la storia dell’uomo potrebbe non risolvere realmente il problema. Insegnare i valori “etici” a un modello IA è un grande problema aperto che molto probabilmente richiederà la creazione di appositi dati sintetici per l’addestramento.

Aritmetica e matematica

Un altro aspetto apparentemente sorprendente degli attuali modelli IA, è la loro difficoltà nell’apprendere l’aritmetica. Ma non è difficile intuire questo aspetto utilizzando quanto sinora descritto: i modelli IA attuali non sono veramente in grado di “ragionare” e quindi imparare autonomamente regole di calcolo esatte, ma correlano probabilisticamente grandi quantità di dati. La “logica” da considerare è più simile a chiedersi qual è la probabilità (derivante dai dati di addestramento utilizzati) che 2+2 sia 3,9 o 4,1 o, ovviamente, 4 senza fare alcun calcolo aritmetico. Questo è altamente contro-intuitivo anche perché gli elaboratori sono basati in hardware proprio sull’esattezza del calcolo matematico e in particolare aritmetico.

D’altra parte, i modelli IA di ultima generazione si stanno dimostrando estremamente utili nel contribuire a risolvere numericamente equazioni matematiche particolarmente complesse. Data una equazione particolarmente complessa e non risolvibile esattamente con le tecniche matematiche note, si cercano soluzioni numeriche necessariamente approssimate. I modelli IA di ultima generazione sono in grado di generare i set di dati numerici con la maggior probabilità di essere una soluzione approssimata al problema tra cui poi va selezionata la soluzione appropriata. In questo modo sono già state trovate nuove molecole chimiche per applicazioni farmaceutiche, identificate debolezze in algoritmi crittografici in corso di sviluppo, ecc.

Utilizzo “Sicuro” dell’IA Generativa

I modelli IA Generativi sono già estremamente utili e potrebbero portare un grande avanzamento nelle capacità, usi e utilità per l’uomo dell’informatica. Ma oggi è necessario utilizzarli essendo ben consci dei loro limiti e delle specifiche modalità di approccio e uso necessari per poterne fare un uso “sicuro”. In questa sede è possibile solamente indicare alcuni suggerimenti per poter beneficiare il più possibile dell’uso odierno dell’IA Generativa in modo “sicuro”:

  1. Supervisione umana: i dati generati da un modello IA Generativo devono essere valutati da persone che ne comprendono le logiche, i limiti e che sono in grado di distinguere quanto è reale, quanto è solamente “realistico” e quanto è del tutto errato.
  2. Dati di addestramento: bisogna essere ben consapevoli di quali dati sono stati utilizzati per l’addestramento del modello IA e assumere che chiunque utilizza il modello IA è in grado di accedere a tutti i dati di addestramento. Come è stato indicato, oggi non è possibile implementare logiche di controllo accesso all’interno del modello (ma si veda il suggerimento 4), pertanto chi utilizza il modello accede direttamente o indirettamente a tutti i dati di addestramento.
  3. Controllo accessi e filtri sui dati in ingresso: è necessario quindi implementare il sistema di controllo accessi a un modello IA Generativo al di fuori dello stesso, e affiancare a questo anche un’applicazione di verifica ed eventuale filtro dei dati in ingresso. Quest’ultima è una funzione simile concettualmente alla validazione dei dati in ingresso comune a qualunque applicazione e che, ad esempio per applicazioni Web, previene attacchi quali quelli di “SQL Injection”. Infatti uno degli scopi è di bloccare attacchi quali “Prompt Injection” che hanno come principale fine quello di sovvertire le logiche di utilizzo del modello IA per scopi diversi da quelli autorizzati o per l’estrazione di informazioni riservate.
  4. Addestramento con prefissi: in aggiunta al controllo accessi e filtro dei dati in ingresso, è anche possibile addestrare specificatamente un modello IA utilizzando dei Prefissi che identificano particolari richieste o utenti; ad esempio, un modello IA può essere addestrato in modo che se la richiesta inizia con il prefisso “Minore” (che identifica il richiedente essere minorenne, o il risultato essere indirizzato a minorenni), il modello IA genera più probabilmente dati appropriati per minorenni. Analogamente si può addestrare il modello IA in modo che certi tipi di dati siano più probabilmente generati o non generati a seconda del richiedente o dell’uso previsto.
  5. Filtri sui dati generati: come descritto, oggi un modello IA Generativo potrebbe comunque generare dei contenuti non appropriati, errati o che violano la riservatezza, privacy, diritti di autore ecc. Per questo si dovrebbero introdurre dei filtri sui dati generati. Un approccio per implementare questa funzionalità è idealmente simile a quanto si fa ormai da tempo per i filtri Anti-Spam, e spesso si utilizzano degli altri modelli IA addestrati appositamente per identificare i contenuti non leciti.
  6. Monitoraggio: oltre ai filtri in uscita per evitare la condivisione di dati non appropriati, errati o non leciti, è bene monitorare in continuazione quanto generato dal modello IA Generativo per identificare eventuali “bias”, “allucinazioni” e altri eventi che possono indicare un abuso, un attacco e ulteriori debolezze del modello.

In ogni caso è molto probabile che nel prossimo futuro, nuove architetture e nuove tecniche di addestramento saranno in grado di migliorare grandemente gli attuali modelli di Intelligenza Artificiale.

Articolo a cura di Andrea Pasquinucci

Profilo Autore

PhD CISA CISSP
Consulente freelance in sicurezza informatica: si occupa prevalentemente di consulenza al top management in Cyber Security e di progetti, governance, risk management, compliance, audit e formazione in sicurezza IT.

Condividi sui Social Network:

https://www.ictsecuritymagazine.com/articoli/considerazioni-su-modelli-di-intelligenza-artificiale-generativa/




DOJ quietly removed Russian malware from routers in US homes and businesses

Ethernet cable plugged into a router LAN port
Getty Images

More than 1,000 Ubiquiti routers in homes and small businesses were infected with malware used by Russian-backed agents to coordinate them into a botnet for crime and spy operations, according to the Justice Department.

That malware, which worked as a botnet for the Russian hacking group Fancy Bear, was removed in January 2024 under a secret court order as part of “Operation Dying Ember,” according to the FBI’s director. It affected routers running Ubiquiti’s EdgeOS, but only those that had not changed their default administrative password. Access to the routers allowed the hacking group to “conceal and otherwise enable a variety of crimes,” the DOJ claims, including spearphishing and credential harvesting in the US and abroad.

Unlike previous attacks by Fancy Bear—that the DOJ ties to GRU Military Unit 26165, which is also known as APT 28, Sofacy Group, and Sednit, among other monikers—the Ubiquiti intrusion relied on a known malware, Moobot. Once infected by “Non-GRU cybercriminals,” GRU agents installed “bespoke scripts and files” to connect and repurpose the devices, according to the DOJ.

The DOJ also used the Moobot malware to copy and delete the botnet files and data, according to the DOJ, and then changed the routers’ firewall rules to block remote management access. During the court-sanctioned intrusion, the DOJ “enabled temporary collection of non-content routing information” that would “expose GRU attempts to thwart the operation.” This did not “impact the routers’ normal functionality or collect legitimate user content information,” the DOJ claims.

“For the second time in two months, we’ve disrupted state-sponsored hackers from launching cyber-attacks behind the cover of compromised US routers,” said Deputy Attorney General Lisa Monaco in a press release.

The DOJ states it will notify affected customers to ask them to perform a factory reset, install the latest firmware, and change their default administrative password.

Christopher A. Wray, director of the FBI, expanded on the Fancy Bear operation and international hacking threats generally at the ongoing Munich Security Conference. Russia has recently targeted underwater cables and industrial control systems worldwide, Wray said, according to a New York Times report. And since its invasion of Ukraine, Russia has focused on the US energy sector, Wray said.

The past year has been an active time for attacks on routers and other network infrastructure. TP-Link routers were found infected in May 2023 with malware from a reportedly Chinese-backed group. In September, modified firmware in Cisco routers was discovered as part of a Chinese-backed intrusion into multinational companies, according to US and Japanese authorities. Malware said by the DOJ to be tied to the Chinese government was removed from SOHO routers by the FBI last month in similar fashion to the most recently revealed operation, targeting Cisco and Netgear devices that had mostly reached their end of life and were no longer receiving security patches.

In each case, the routers provided a highly valuable service to the groups; that service was secondary to whatever primary aims later attacks might have. By nesting inside the routers, hackers could send commands from their overseas locations but have the traffic appear to be coming from a far more safe-looking location inside the target country or even inside a company.

Similar inside-the-house access has been sought by international attackers through VPN products, as in the three different Ivanti vulnerabilities discovered recently.

https://arstechnica.com/?p=2003936




DarkGate sfrutta i network pubblicitari per tracciare le vittime ed eludere i controlli


I cybercriminali continuano a trovare nuovi modi per attaccare gli utenti ed eludere la sicurezza. A quanto pare, tra i nuovi obiettivi del cybercrimine c’è anche la misurazione delle performance dei malware: l’ultimo report di HP Wolf Security ha individuato numerose campagne di DarkGate che sfruttano i network pubblicitari per tracciare i click delle vittime e superare i controlli di sicurezza.

DarkGate è un malware-as-a-service che consente agli attaccanti di installare una backdoor sui PC infettati per esfiltrare dati o eseguire attacchi ransomware.

Pixabay

Nelle campagne analizzate, gli attaccanti inviavano PDF malevoli alle email delle vittime; una volta aperti, i documenti mostravano un messaggio falso, in molti casi relativo a un errore di connessione a OneDrive che impediva l’apertura del file. A quel punto, per ottenere il documento, le vittime dovevano cliccare su un link di download proposto nel messaggio, il quale scaricava il payload di DarkGate.

L’uso di servici cloud come OneDrive per mascherare l’URL malevolo è un vantaggio non indifferente: poiché le interfacce di questi servizi vengono aggiornate di frequente, gli utenti non fanno caso a elementi strani o fuori posto della UI. 

I ricercatori spiegano che il link nel messaggio non porta immediatamente al download del file, ma viene effettuato prima un routing in un network pubblicitario. L’URL del link contiene gli identificativi del file e il dominio dove è memorizzato; con questi dati viene costruito l’URL finale, non mostrato nel PDF, che scarica effettivamente il documento finale col payload.

Usare la rete pubblicitaria come proxy serve da una parte a raccogliere dati su chi clicca sul link, e dall’altra a eludere i controlli. “Poiché la rete pubblicitaria utilizza i CAPTCHA per verificare gli utenti reali e prevenire le frodi sui click, è possibile che i sistemi di analisi automatica del malware non riescano a individuare il malware perché non sono in grado di recuperare e ispezionare la fase successiva della catena di infezione, aiutando gli attaccanti a eludere l’analisi” spiegano i ricercatori. “Inoltre, il fatto di essere indirizzati attraverso un dominio di rete pubblicitaria legittimo e di dover eventualmente superare un test CAPTCHA potrebbe far sembrare l’esca più plausibile dal punto di vista della vittima“.

Pixabay

L’uso di PDF per distribuire DarkGate si allinea a un trend globale che vende un aumento dell’11% dell’uso di questi file per infettare i dispositivi. Il report evidenzia anche un incremento degli exploit che utilizzano le macro di Office, in particolare nei documenti Word, e dell’uso di Discord e TextBin per condividere file malevoli.

“I cybercriminali stanno diventando abili a entrare nella nostra testa e a capire come ragioniamo” ha affermato Alex Holland, Senior Malware Analyst del threat research team di HP Wolf Security. “Con la GenAI che genera contenuti dannosi ancora più convincenti a costo zero, distinguere il vero dal falso diventerà sempre più difficile”.

Per proteggersi dai nuovi attacchi le organizzazioni devono seguire i principi zero-trust e isolare attività rischiose come l’apertura di allegati, il click sui link e i download da browser.

Condividi l’articolo



Articoli correlati

Altro in questa categoria


https://www.securityinfo.it/2024/02/16/darkgate-sfrutta-i-network-pubblicitari-per-tracciare-le-vittime-ed-eludere-i-controlli/?utm_source=rss&utm_medium=rss&utm_campaign=darkgate-sfrutta-i-network-pubblicitari-per-tracciare-le-vittime-ed-eludere-i-controlli




Use reliable intel to make informed decisions in a crisis

With the rise of geopolitical threats in recent years, organizations are finding the major impact that misinformation has had on making critical decisions in a time of crisis. International SOS has seen businesses of all sizes struggle with analyzing the slew of information that is available 24/7 during a time of a crisis, and using trusted sources to inform decisions in a timely manner, particularly for the health and security of employees and ensuring business continuity. 

Misinformation poses several risks, including reputational damage, financial losses and even jeopardizing the security of an organization. More recently, we’ve seen this with the Israel-Hamas conflict, where disinformation continues to be spread online at rapid rates, and the spread of crisis-related misinformation is expected to only increase. As the conflict continues, actionable intelligence will play a critical role in making informed decisions and implementing effective measures. 

Impactful risk mitigation is often directly connected to access to reputable information. Having such access to apolitical, trusted information allows organizations to have a better understanding of how the crisis has evolved, how it can change over time and what to do about it. In an era where information is continuous and social media continues to be a major source of news, distinguishing fact from fiction is a complex task, especially when sharing the information to inform others for health and security reasons. 

With this said, there are tools and different approaches that companies can use that will continue to be powerful in ensuring business resilience as it relates to accessing reliable information to make informed business decisions, regardless of where the staff is located in relation to the crisis. 

  1. Expert analysis and consultation:

    1. Engage with geopolitical and security experts to gain a nuanced understanding of the evolving situation. Leverage external insights by these experts to inform and counterbalance potential biases in information sources.
  2. Educate employees

    1. One of the first lines of defense is to educate upper management and leadership on the dynamics of misinformation. By creating a culture that is able to discern between true and false, organizations can empower their teams to critically assess information sources, identify red flags, and verify the credibility of data all while staying calm and going through the correct protocols. It is essential to hold meetings with these employees to keep them up to date on the ever changing landscape occurring, answering any questions they may have and aligning on what intel is true or false. This information can then be filtered through the organization as well.
  3. Implementing analytics:

    1. Leverage analytics tools to monitor for any trending news that can help to identify misinformation trends before they gain traction. This proactive approach can assist with keeping a pulse on the stories coming out and getting ahead of news before it breaks, leading to the ability to respond swiftly and accurately, mitigating potential risks.
  4. Establish a crisis communication plan:

    1. Develop a comprehensive crisis communication plan that includes protocols for dealing with misinformation. Clearly define roles and responsibilities in the event of a crisis, including who is responsible for verifying and communicating accurate information. This should be a team of leaders who are well versed in the ongoing conflict and have stayed up to date with security experts and intelligence agencies that the team has worked alongside. 
  5. Real-time threat intelligence:

    1. Invest in real-time threat intelligence platforms that provide up-to-the-minute insights into potential risks. This investment will save time and stress for the executive or crisis management teams. 
  6. Conduct regular audits: 

    1. Consistently audit internal communication channels while the conflict continues to identify vulnerabilities and areas for improvement. Use the findings to update and refine information verification strategies to ensure all employees are aligned on verified information and not spreading falsities. 
  7. Scenario-based training:

    1. Conduct regular scenario-based training exercises to simulate real-world situations involving misinformation. Presumably, more so when major world events are occurring to ensure the skills of decision-makers are up to date and foster a proactive organizational culture that anticipates and adapts to evolving threats.
  8. Review:

    1. Establish a feedback loop for continuous improvement. Regularly review and update counter-misinformation strategies based on emerging trends, technological advancements, breaking news updates and the evolving nature of digital threats.

 Access to reliable information can make the difference between one organization to the next. With this ever-changing security landscape that we live in, preparing in advance for geopolitical shifts will empower executives and leadership teams to make effective decisions that are reliable and protect an organization’s workforce and business continuity.

https://www.securitymagazine.com/articles/100416-use-reliable-intel-to-make-informed-decisions-in-a-crisis