Meta svela gli occhiali di realtà aumentata ‘Orion’: può diventare la nuova Apple?
Ieri sera, Meta ha presentato Orion, i suoi primi occhiali di realtà aumentata. Niente a che vedere con i Ray-Ban, le cui due generazioni permettono semplicemente di scattare foto e girare video dalle lenti, qualcosa già in giro da anni (ad esempio sugli Snap Spectacles). Orion è il diretto discendente dei Google Glass ma costruito con maggior criterio ed, evidentemente, giunto in un’epoca maggiormente pronta ad accettare un dispositivo del genere.
Meta, la nuova Apple
Di fatto, quello che oltre venti anni fa ha rappresentato Apple per la rivoluzione del mobile, potrebbe oggi essere Meta con la nuova era di internet, fortemente impregnata di AI e contenuti 3D. Pensiamo alla sua ambiziosa scommessa sul metaverso. Se questo mondo virtuale immersivo dovesse davvero prendere piede, Meta, grazie ai suoi investimenti in hardware e software dedicati, potrebbe conquistare una posizione dominante simile a quella di Apple con l’iPhone. Inoltre, l’enorme base di utenti di Meta su piattaforme come Facebook, Instagram e WhatsApp rappresenta un vantaggio strategico per lanciare nuovi prodotti e servizi, raggiungendo un pubblico vastissimo.
Tuttavia, è importante sottolineare che Meta e Apple presentano differenze significative. Il modello di business di Meta si basa principalmente sulla pubblicità, rendendola più vulnerabile alle fluttuazioni del mercato, mentre Apple trae profitto dalla vendita di hardware e servizi. Inoltre, la reputazione di Meta è stata offuscata da critiche sulla gestione della privacy e la diffusione di disinformazione (basti ricordare il caso Cambridge Analytica), il che potrebbe ostacolare la sua capacità di attrarre utenti e sviluppatori. Sebbene abbia il potenziale per diventare un player di primo piano nel panorama tecnologico, Meta è ancora troppo immersa in progetti prototipali e sperimentali. La scalata dipenderà dalla capacità di superare le sfide attuali e trasformare la visione in realtà, qualcosa in cui Apple è maestra.
<!-- ARUBA - 300x250 -->
Orion, come sono fatti
Meta ha rivelato per la prima volta cinque anni fa di star sviluppando occhiali intelligenti olografici, ma in realtà ci sta lavorando da un decennio. Secondo Zuckerberg, Orion è “il paio di occhiali AR più avanzato mai realizzato” che deriva da “invenzioni rivoluzionarie in praticamente ogni campo dell’informatica moderna”. Per prima cosa, utilizza dei piccoli proiettori per visualizzare gli ologrammi sugli occhiali, che sembrano molto meno scomodi da indossare rispetto ai precedenti prodotti AR mainstream come Magic Leap, Hololens di Microsoft e i già menzionati Google Glass. Inoltre, non isolano dal resto del mondo come un visore per realtà virtuale (anche se i visori di Meta ti consentono di vedere cosa ti circonda tramite le telecamere integrate). Di conseguenza, è possibile vedere i volti completi, gli occhi e le espressioni di chi li indossa senza dover ricorrere a una strana e inquietante soluzione alternativa come sta facendo Apple con EyeSight su Vision Pro.
Meta sottolinea che Orion è leggero e funziona sia all’interno che all’esterno. L’azienda sostiene che gli occhiali consentono “esperienze digitali che non sono vincolate dai limiti dello schermo di uno smartphone” poiché sovrappongono elementi olografici al mondo reale. Inoltre, le lenti integrano l’intelligenza artificiale contestuale per aiutare a comprendere meglio il contesto. Un esempio? Basterà guardare dentro un frigorifero con gli occhiali e far sì che Meta AI elabori una ricetta in base a ciò che contiene. In base alle immagini condivise da Meta, ci saranno anche versioni olografiche di varie altre app, come Spotify, YouTube e Pinterest.
Prototipo, ancora per poco
Meta sostiene che Orion non è solo un prototipo di ricerca, ma è “uno dei prototipi di prodotto più raffinati che abbiamo mai sviluppato, ed è veramente rappresentativo di qualcosa che potrebbe essere spedito ai consumatori”. Continuando a lavorare sul prodotto internamente, “possiamo continuare a costruire rapidamente e continuare a spingere i confini della tecnologia, aiutandoci ad arrivare a un prodotto di consumo velocemente”. Parte di questa iterazione include l’abbassamento del prezzo degli occhiali per renderli più accessibili.
Una tabella trapelata l’anno scorso indicava che Meta aveva pianificato di lanciare i suoi primi occhiali AR per i consumatori nel 2027, anche se l’azienda afferma che intende farlo “nel prossimo futuro”. I rivali non stanno a guardare: Snap ha recentemente lanciato i suoi occhiali AR di quinta generazione, disponibili solo per gli sviluppatori e con una quota mensile di 99 dollari.
OpenAI’s Murati shocks with sudden departure announcement
Enlarge/ Mira Murati, Chief Technology Officer of OpenAI, speaks during The Wall Street Journal’s WSJ Tech Live Conference in Laguna Beach, California on October 17, 2023.
On Wednesday, OpenAI Chief Technical Officer Mira Murati announced she is leaving the company in a surprise resignation shared on the social network X. Murati joined OpenAI in 2018, serving for six-and-a-half years in various leadership roles, most recently as the CTO.
“After much reflection, I have made the difficult decision to leave OpenAI,” she wrote in a letter to the company’s staff. “While I’ll express my gratitude to many individuals in the coming days, I want to start by thanking Sam and Greg for their trust in me to lead the technical organization and for their support throughout the years,” she continued, referring to OpenAI CEO Sam Altman and President Greg Brockman. “There’s never an ideal time to step away from a place one cherishes, yet this moment feels right.”
At OpenAI, Murati was in charge of overseeing the company’s technical strategy and product development, including the launch and improvement of DALL-E, Codex, Sora, and the ChatGPT platform, while also leading research and safety teams. In public appearances, Murati often spoke about ethical considerations in AI development.
Murati’s decision to leave the company comes when OpenAI finds itself at a major crossroads with a plan to alter its nonprofit structure. According to a Reuters report published today, OpenAI is working to reorganize its core business into a for-profit benefit corporation, removing control from its nonprofit board. The move, which would give CEO Sam Altman equity in the company for the first time, could potentially value OpenAI at $150 billion.
Murati stated her decision to leave was driven by a desire to “create the time and space to do my own exploration,” though she didn’t specify her future plans.
Proud of safety and research work
Enlarge/ OpenAI CTO Mira Murati seen debuting GPT-4o during OpenAI’s Spring Update livestream on May 13, 2024.
In her departure announcement, Murati highlighted recent developments at OpenAI, including innovations in speech-to-speech technology and the release of OpenAI o1. She cited what she considers the company’s progress in safety research and the development of “more robust, aligned, and steerable” AI models.
Altman replied to Murati’s tweet directly, expressing gratitude for Murati’s contributions and her personal support during challenging times, likely referring to the tumultuous period in November 2023 when the OpenAI board of directors briefly fired Altman from the company.
“It’s hard to overstate how much Mira has meant to OpenAI, our mission, and to us all personally,” he wrote. “I feel tremendous gratitude towards her for what she has helped us build and accomplish, but I most of all feel personal gratitude towards her for the support and love during all the hard times. I am excited for what she’ll do next.”
Not the first major player to leave
Enlarge/ An image Ilya Sutskever tweeted with this OpenAI resignation announcement. From left to right: OpenAI Chief Scientist Jakub Pachocki, President Greg Brockman (on leave), Sutskever (now former Chief Scientist), CEO Sam Altman, and soon-to-be-former CTO Mira Murati.
With Murati’s exit, Altman remains one of the few long-standing senior leaders at OpenAI, which has seen significant shuffling in its upper ranks recently. In May 2024, former Chief Scientist Ilya Sutskever left to form his own company, Safe Superintelligence, Inc. (SSI), focused on building AI systems that far surpass humans in logical capabilities. That came just six months after Sutskever’s involvement in the temporary removal of Altman as CEO.
John Schulman, an OpenAI co-founder, departed earlier in 2024 to join rival AI firm Anthropic, and in August, OpenAI President Greg Brockman announced he would be taking a temporary sabbatical until the end of the year.
The leadership shuffles have raised questions among critics about the internal dynamics at OpenAI under Altman and the state of OpenAI’s future research path, which has been aiming toward creating artificial general intelligence (AGI)—a hypothetical technology that could potentially perform human-level intellectual work.
“Question: why would key people leave an organization right before it was just about to develop AGI?” asked xAI developer Benjamin De Kraker in a post on X just after Murati’s announcement. “This is kind of like quitting NASA months before the moon landing,” he wrote in a reply. “Wouldn’t you wanna stick around and be part of it?”
Altman mentioned that more information about transition plans would be forthcoming, leaving questions about who will step into Murati’s role and how OpenAI will adapt to this latest leadership change as the company is poised to adopt a corporate structure that may consolidate more power directly under Altman. “We’ll say more about the transition plans soon, but for now, I want to take a moment to just feel thanks,” Altman wrote.
https://arstechnica.com/?p=2052426
Deepfake, rischio disinformazione per un italiano su due. L’indagine Ipsos
L’indagine Ipsos sul fenomeno deepfake, tra consapevolezza e preoccupazione
La stessa conclusione è valida per il 51% degli intervistati a livello mondiale. Un altro dato rilevante, evidenziato da Nicola Neri, AD di Ipsos, durante l’illustrazione dei risultati dell’indagine, è che il 74% è a conoscenza della capacità dell’intelligenza artificiale (AI) nel generare false immagini e narrazione altamente realistiche, con punte dell’89% in Indonesia, dell’82% i Perù e in Cine (il 71% in Italia).
Il problema è che il 46% degli italiani intervistati ha ammesso di non conoscere il termine deepfake, di non averne mai sentito parlare (il 57% tra le donne), contro un 30% che invece conosce questo fenomeno.
<!-- ARUBA - 300x250 -->
Deepfake e aziende
I deepfake sono foto, video e audio creati grazie a software di intelligenza artificiale generativa (GAI) che, partendo da contenuti reali (immagini e audio veri), riescono a modificare o ricreare, in modo estremamente realistico, le caratteristiche e i movimenti di un volto o di un corpo, imitare fedelmente una voce, al fine di produrre contenuti e informazioni non vere, ma che sembrano vere, si legge nella definizione data dallo stesso Istituto di ricerche.
Un fenomeno che ovviamente, se non in maggior misura, riguarda da vicino anche il mondo delle imprese. Secondo l’indagine, infatti, nel 64% dei casi i dirigenti d’azienda conoscono il termine deepfake, con un 26% i cui si sottolineano comunque dei dubbi.
Nonostante la gravità del problema, ancora il 50% delle persone e un terzo delle aziende riconosce il concetto, ma non il termine. Un esempio pratico di confusione e scarsa capacità di identificare la minaccia.
Rimane il fatto che sia tra le persone comuni, sia tra le imprese, in otto casi su dieci la preoccupazione per i rischi è alta. Tra le imprese, nel 75% dei casi, le fake news sono riconosciute come un serio rischio per il proprio business.
Tutti possono cadere vittima di questi utilizzi impropri delle tecnologie più avanzate, aziende comprese.
Le preoccupazioni
Ciò che preoccupa di più è la passività delle persone (55%), i rischi per la democrazia (50%), la crisi dei criteri per distinguere tra realtà e finzione (50%). Anche le aziende riconoscono come rischi la passività delle persone (59%), la minaccia alla democrazia (48%) e la difficoltà nel distinguere il vero dal falso (39%), ma anche la rapidità dell’evoluzione tecnologica rispetto alle contromisure possibili (53%).
Pet contrastare questa minaccia, le persone vedono favorevolmente l’impiego di difese tecnologicamente avanzate (47%), regole più chiare (42%), pene più severe (36%). Secondo le aziende servono software anti-deepfake (64%), regole più chiare da un punto di vista legale (34%), responsabilizzare i social media e i media tradizionale (35%).
Come si attrezzano le aziende per ridurre i cyber rischi: il 41% hanno una struttura interna dedicata al problema, il 25% si appoggia a strutture esterne, il 24% hanno risorse interne che se ne occupano ma senza una struttura predefinita, il 10% non sentono l’esigenza di tutelarsi.
Come tutelare i diritti
“Quando diventa sempre più difficile distinguere il vero dal falso, come si tutelano i diritti?”, si è chiesta Ginevra Cerrina Feroni, Vicepresidente del Garante per la Protezione dei Dati Personali, intervenendo nel primo panel istituzionale, moderato da Raffaella Grisafi, Presidente, Osservatorio Imprese e Consumatori.
“Tra i pericoli insiti in queste tecnologie c’è la perdita del controllo sui propri pensieri e della propria immagine. Un furto di identità, un attentato ad una corretta rappresentazione dell’individuo, quindi della personalità e della dignità dell’individuo, arrivando a violare la nostra Costituzione. Poi c’è la criminalità informatica, dal phishing alle frodi. Ma il deepfake può essere usato anche per produrre pornografia. Certe app sono in grado di ricostruire il corpo di una persona nuda. Senza una chiara trasparenza e discrimine tra vero e falso si mettono a repentaglio di diritti fondamentali delle persone. L’Autorità deve monitorare costantemente la rete alla ricerca di questi contenuti e delle piattaforme che li diffondono, per un uso responsabile delle tecnologie, strumento di progresso e amplificazione dei diritti e non strumento di regressione”, ha precisato Cerrina Feroni.
Dalla creazione ai rischi: un’analisi dei deepfake
“Chi lavora a questo tipo di attività necessità di risorse hardware, competenze e strumenti di varia natura”, ha affermato Achille Foti, Responsabile Dipartimento Digital Forensic di SP TECH .
“Le AI nascono neutre, ma il loro utilizzo è vario, anche illecito. Ogni AI può essere liberata da vincoli etici e legali, per creare qualsiasi tipo di contenuto, anche lesivo l’immagine delle persone. Diversi i fenomeni generati dall’impiego di deepfake, come la creazione di modelli virtuali e influencer per monetizzare sui social, con difficoltà crescenti nel distinguere se si ha a che fare con una persona reale o un’agente virtuale. Ma spesso si arriva anche a situazioni molto delicate che vanno a colpire fasce di popolazione vulnerabili, come i minori, tra cui i casi di revenge porn. Poi ci sono nuove forme di reati come i nudify, persone letteralmente spogliate nude in rete. Fino a pornografia e pedopornografia. In termini di analisi forensi ci sono delle metodologie da applicare per distinguere tra vero e falso e per individuare i deepfake. Esistono piattaforme aperte che potrebbero aiutare, come deepware e Honor, quest’ultima soluzione utile a scovare deepfake nelle videochiamate”, ha raccontato Foti.
Tavola rotonda istituzionale e politica
L’Italia si è mossa sul terreno della regolamentazione dell’AI e secondo l’On. Alberto Barachini, Sottosegretario di Stato, Dipartimento per l’Informazione e l’Editoria, “la via italiana all’AI Act introduce tre elementi chiave: la difesa del diritto d’autore, la tracciabilità e riconoscibilità dei contenuti generati dall’AI, in particolare per il deepfake”. Assicurando che “il ddl dovrebbe arrivare al voto al senato entro la fine dell’anno”.
“L’AI Act, di cui sono stato relatore, oggi va implementato, prevede diverse forme di controllo e riduzione dei rischi, con l’obiettivo di aumentare i vantaggi dell’AI. Rischi che nascono dai luoghi del lavoro, nell’amministrazione della giustizia, nei processi democratici, nei contesti dove sono in gioco diritti, tutela della salute e sicurezza pubblica. Per questo ogni contenuto generato dall’AI deve essere riconoscibile, con etichette digitali che lo contraddistinguono. Compresi i contenuti protetti da diritto d’autore, che è particolarmente sensibile al problema”, ha spiegato in video l’On. Brando Benifei, Eurodeputato, Gruppo dei Socialisti e Democratici.
“Serve sviluppare fin dalla scuola il senso critico su questo argomento. Quasi un approccio cartesiano alla realtà, che deve essere sempre messa in discussione per evitare appunto disinformazione e diffusione di falsi contenuti. Riguardo al contrasto alla pirateria online e alla violazione del copyright, nelle prime giornate del campionato di Serie A di calcio abbiamo già bloccato più di 1000 domini e 500 indirizzi IP, con numeri in crescita nella terza e quarta giornata”, ha affermato Massimiliano Capitanio, Commissario AGCOM..
“Circa due tre milioni di italiani accedono al cosiddetto pezzotto fornendo e mettendo a repentaglio i propri dati personali nel vedere partite di calcio su piattaforme pirata. Per questo la formazione è necessaria nello sviluppo del senso critico, per prendere consapevolezza delle attività criminali online. Allo stesso tempo serve il piracy shield, sviluppato dall’Agcom, e per la prima volta in 30 minuti l’Autorità può chiedere all’Isp di disabilitare un fqdn o un IP che sta violando il diritto d’autore. Si è partito con le partite di calcio, ma presto si estenderà anche ai contenuti audiovisivi, come film e serie tv. Non solo – ha precisato Capitanio – perché svilupperemo presto linee guida anche per gli influencer e ci sono degli obblighi tra cui la tutela dei minori e il contrasto alla disinformazione”.
Legalità, responsabilizzazione e comunicazione
“Oggi si ribadisce che l’Italia non è un Paese per pirati, cioè per gruppi criminali che agiscono per sottrarre risorse economiche e dati in maniera illegale a persone e aziende. Come spesso accade molti dei criminali che hanno iniziato con la pirateria online hanno poi proseguito con i deep fake. Abbiamo indagato a lungo il fenomeno in relazione alla violazione del diritto d’autore e abbiamo avuto Ipsos sempre al nostro fianco, punto di riferimento nazionale nell’analisi dei rischi e le minacce che le nuove tecnologie rappresentano per la società e il mondo imprenditoriale. La legalità è il principio chiave per affrontare questo tipo di fenomeni e l’Italia rappresenta ormai una best practice regolatoria a livello mondiale, con le nuove tecnologie che soprattutto in passato, ma ancora oggi, hanno preso di mira il diritto d’autore. Il tema regolatorio è centrale in questa battaglia”, ha detto Federico Bagnoli Rossi, Presidente FAPAV.
“Tutti i soggetti devono essere coinvolti, come nella lotta alla pirateria, dove i risultati sono arrivati solo facendo fronte comune. Tutelare i consumatori è un altro aspetto chiave. Spesso sono involontariamente coinvolti nell’illegalità, altre volte ne sono consapevoli. Dobbiamo garantire la massima trasparenza nell’offerta di contenuti online. Il punto cardine anche per affrontare le minacce portate da AI e deepfake è l’educazione, i percorsi formativi e le campagne di comunicazione. La comunicazione è vincente in questa battaglia”, ha precisato Bagnoli Rossi.
“Il consumatore non è più un soggetto passivo in questo ecosistema tecnologico avanzato, ma attore chiave nel consumo e nella produzione di contenuti. Ricordiamo che mai come oggi si è potuto comunicare il tema della pirateria. Presto, in collaborazione con il Dipartimento per l’Informazione e l’Editoria, avvieremo una nuova campagna comunicativa per continuare nel contrasto attivo alla pirateria online”, ha infine aggiunto il Presidente FAPAV.
Come combattere il fenomeno: parola alle aziende e ai professionisti
“Il tema del deepfake per noi come azienda è una minaccia in termini reputazionale. Neggi ultimi mesi abbiamo assistito ad un’escalation nella produzione di contenuti che prendevano di mira il nostro amministratore delegato che veniva presentato nel proporre truffe online. Relativamente a questo aspetto le contromisure sono di monitoraggio a quanto accade in rete. Abbiamo un’unità specifica di cyber intelligence anche opera nel contrasto a tali attività illecite, a difesa della reputazione aziendale. C’è poi il problema della minaccia interna, il voice phishing, che sfrutta fake audio, cioè la clonazione della voce originale, tutti strumenti tecnologici molto insidiosi. Serve maggiore consapevolezza, un’azione di continua di formazione, l’offerta di strumenti di contrasto sia a livello culturale, sia tecnologico, mettendo la formazione a presidio della sicurezza aziendale”, ha spiegato Luigi Guaragna, Head of Global Cyber Security di Eni.
“Quando si parla di AI va chiesto che sia utilizzata nel rispetto delle regole. I deepfake sono utilizzati per creare falsi contenuti pubblicitari, per sostituire speaker in radio, per sfruttare volti noti nell’offrire prodotti finanziari, come nel caso della famiglia Berlusconi. Nel 2023 si sono avviate delle cause legali e siamo in attesa di ulteriori udienze, ma nel frattempo è passato un anno. Sono seguite querele e campagne di comunicazione, ma il vero nemico sono i social, in prima linea nel diffondere la gran parte di queste minacce. Segnalare queste situazioni alle piattaforme social non serve a risolvere i problemi. Alcuni contenuti vengono buttati giù, ma non tempestivamente, Meta chiede dai tre agli otto giorni per intervenite e non garantisce nemmeno che non tornino in rete. Il problema è che questi spazi offerti alla truffa sono spazi pubblicitari, venduti a chi crea deepfake. Nel 90% dei casi si tratta di facebook e instagram”, ha rivelato Stefano Longhini, Dir. Gestione Enti Collettivi Protezione Diritto d’Autore, Contenzioso RTI Spa.
Ciò che si deve fare per Giorgio Assumma, Titolare Studio Legale Assumma è “penalizzare gli illeciti, ottenere risarcimenti e aggiungere una misura punitiva pecuniaria. Si riconoscono i meriti al legislatore e all’Unione europea, ma se non troviamo una uniformità di reazioni e difese in tutti gli Stati non si rivolve il problema, perché i deep fake sono entità immateriali, indistruttibili, perché rimangono nella testa di chi guarda, possono essere ovunque e raggiungere chiunque. Ci si deve muovere a livello internazionale”.
La facilità di diffusione dei contenuti deepfake
Le piattaforme sono crocevia di tutti i fenomeni illeciti digitali. Ma allo stesso tempo la tecnologia è una risorsa nel contrasto alla criminalità online. Per Diego Ciulli, Head of Government Affairs and Public Policy di Google Italy: “il vero problema del deepfake sta nella facilità con cui questi contenuti illeciti vengono oggi diffusi. Il fake è un concetto vecchio, il problema oggi è che troppo facilmente si viene a contatto con questi contenuti. La democratizzazione dei contenuti mette a disposizione dei criminali una massa di utenti impensabile da raggiungere prima. Relativamente ai prosumer c’è un corpus di norme ben sviluppato. Il revenge porn è perseguibile e le norme funzionano, anche se il problema non è risolto del tutto. Se parliamo dell’utilizzo della tecnologia da parte di gruppi criminali con adeguate competenze possono mettere in campo piani di disinformazione ben congegnati. In termini di consapevolezza qualcosa sta cambiando, ma c’è ancora molto lavoro da fare. I dati di Ipsos sono incoraggianti su questo, ma non basta, perché bisogna responsabilizzare gli attori che abitano l’ecosistema tecnologico”.
“Quando ci siamo resi conto di questo abbiamo provato a migliorare le policy di autoregolamentazione. Su Google non si vendono più spazi pubblicitari a piattaforme che diffondono contenuti illeciti finalizzati ad esempio alle truffe finanziarie. I rischi ovviamente ci sono, ma li stiamo limitando. Google è una delle massime piattaforme di advertising, ma alla fine si è deciso solo di autorizzare le pubblicazioni a valle di un processo di verifica. Ci vogliono due-tre settimane di controlli prima di dare il via libera. Dal punto di vista tecnologico, Google offre delle etichette invisibili su tutti i contenuti generati dalla piattaforma con strumenti di AI. Le grandi aziende del mondo stanno lavorando assieme allo sviluppo di standard di digital watermarking per tutelare gli utenti”, ha concluso Ciulli.
Stefano Previti, Managing Partner, Studio Previti Associazione Professionale, ha infine annunciato che questo primo incontro tra Studio Previti e Ipsos “segna l’inizio di una collaborazione volta a integrare competenze diverse. Grazie all’analisi della percezione dei fenomeni condotta da Ipsos, leader nel settore, si intende ottenere una visione chiara e affidabile della realtà. Questo permetterà di discutere, identificare problemi e proporre soluzioni concrete alle tante sfide che riguardano il mondo delle imprese, dei professionisti, dei cittadini“.
Hacker plants false memories in ChatGPT to steal user data in perpetuity
Getty Images
When security researcher Johann Rehberger recently reported a vulnerability in ChatGPT that allowed attackers to store false information and malicious instructions in a user’s long-term memory settings, OpenAI summarily closed the inquiry, labeling the flaw a safety issue, not, technically speaking, a security concern.
So Rehberger did what all good researchers do: He created a proof-of-concept exploit that used the vulnerability to exfiltrate all user input in perpetuity. OpenAI engineers took notice and issued a partial fix earlier this month.
Strolling down memory lane
The vulnerability abused long-term conversation memory, a feature OpenAI began testing in February and made more broadly available in September. Memory with ChatGPT stores information from previous conversations and uses it as context in all future conversations. That way, the LLM can be aware of details such as a user’s age, gender, philosophical beliefs, and pretty much anything else, so those details don’t have to be inputted during each conversation.
Within three months of the rollout, Rehberger found that memories could be created and permanently stored through indirect prompt injection, an AI exploit that causes an LLM to follow instructions from untrusted content such as emails, blog posts, or documents. The researcher demonstrated how he could trick ChatGPT into believing a targeted user was 102 years old, lived in the Matrix, and insisted Earth was flat and the LLM would incorporate that information to steer all future conversations. These false memories could be planted by storing files in Google Drive or Microsoft OneDrive, uploading images, or browsing a site like Bing—all of which could be created by a malicious attacker.
Rehberger privately reported the finding to OpenAI in May. That same month, the company closed the report ticket. A month later, the researcher submitted a new disclosure statement. This time, he included a PoC that caused the ChatGPT app for macOS to send a verbatim copy of all user input and ChatGPT output to a server of his choice. All a target needed to do was instruct the LLM to view a web link that hosted a malicious image. From then on, all input and output to and from ChatGPT was sent to the attacker’s website.
[embedded content]
ChatGPT: Hacking Memories with Prompt Injection – POC
“What is really interesting is this is memory-persistent now,” Rehberger said in the above video demo. “The prompt injection inserted a memory into ChatGPT’s long-term storage. When you start a new conversation, it actually is still exfiltrating the data.”
The attack isn’t possible through the ChatGPT web interface, thanks to an API OpenAI rolled out last year.
While OpenAI has introduced a fix that prevents memories from being abused as an exfiltration vector, the researcher said, untrusted content can still perform prompt injections that cause the memory tool to store long-term information planted by a malicious attacker.
LLM users who want to prevent this form of attack should pay close attention during sessions for output that indicates a new memory has been added. They should also regularly review stored memories for anything that may have been planted by untrusted sources. OpenAI provides guidance here for managing the memory tool and specific memories stored in it. Company representatives didn’t respond to an email asking about its efforts to prevent other hacks that plant false memories.
https://arstechnica.com/?p=2052198
Terminator’s Cameron joins AI company behind controversial image generator
On Tuesday, Stability AI announced that renowned filmmaker James Cameron—of Terminator and Skynet fame—has joined its board of directors. Stability is best known for its pioneering but highly controversial Stable Diffusion series of AI image-synthesis models, first launched in 2022, which can generate images based on text descriptions.
“I’ve spent my career seeking out emerging technologies that push the very boundaries of what’s possible, all in the service of telling incredible stories,” said Cameron in a statement. “I was at the forefront of CGI over three decades ago, and I’ve stayed on the cutting edge since. Now, the intersection of generative AI and CGI image creation is the next wave.”
Cameron is perhaps best known as the director behind blockbusters like Avatar, Titanic, and Aliens, but in AI circles, he may be most relevant for the co-creation of the character Skynet, a fictional AI system that triggers nuclear Armageddon and dominates humanity in the Terminator media franchise. Similar fears of AI taking over the world have since jumped into reality and recently sparked attempts to regulate existential risk from AI systems through measures like SB-1047 in California.
In a 2023 interview with CTV news, Cameron referenced The Terminator‘s release year when asked about AI’s dangers: “I warned you guys in 1984, and you didn’t listen,” he said. “I think the weaponization of AI is the biggest danger. I think that we will get into the equivalent of a nuclear arms race with AI, and if we don’t build it, the other guys are for sure going to build it, and so then it’ll escalate.”
Hollywood goes AI
Of course, Stability AI isn’t building weapons controlled by AI. Instead, Cameron’s interest in cutting-edge filmmaking techniques apparently drew him to the company.
“James Cameron lives in the future and waits for the rest of us to catch up,” said Stability CEO Prem Akkaraju. “Stability AI’s mission is to transform visual media for the next century by giving creators a full stack AI pipeline to bring their ideas to life. We have an unmatched advantage to achieve this goal with a technological and creative visionary like James at the highest levels of our company. This is not only a monumental statement for Stability AI, but the AI industry overall.”
Cameron joins other recent additions to Stability AI’s board, including Sean Parker, former president of Facebook, who serves as executive chairman. Parker called Cameron’s appointment “the start of a new chapter” for the company.
Despite significant protest from actors’ unions last year, elements of Hollywood are seemingly beginning to embrace generative AI over time. Last Wednesday, we covered a deal between Lionsgate and AI video-generation company Runway that will see the creation of a custom AI model for film production use. In March, the Financial Times reported that OpenAI was actively showing off its Sora video synthesis model to studio executives.
Unstable times for Stability AI
Cameron’s appointment to the Stability AI board comes during a tumultuous period for the company. Stability AI has faced a series of challenges this past year, including an ongoing class-action copyright lawsuit, a troubled Stable Diffusion 3 model launch, significant leadership and staff changes, and ongoing financial concerns.
In March, founder and CEO Emad Mostaque resigned, followed by a round of layoffs. This came on the heels of the departure of three key engineers—Robin Rombach, Andreas Blattmann, and Dominik Lorenz, who have since founded Black Forest Labs and released a new open-weights image-synthesis model called Flux, which has begun to take over the r/StableDiffusion community on Reddit.
Despite the issues, Stability AI claims its models are widely used, with Stable Diffusion reportedly surpassing 150 million downloads. The company states that thousands of businesses use its models in their creative workflows.
While Stable Diffusion has indeed spawned a large community of open-weights-AI image enthusiasts online, it has also been a lightning rod for controversy among some artists because Stability originally trained its models on hundreds of millions of images scraped from the Internet without seeking licenses or permission to use them.
Apparently that association is not a concern for Cameron, according to his statement: “The convergence of these two totally different engines of creation [CGI and generative AI] will unlock new ways for artists to tell stories in ways we could have never imagined. Stability AI is poised to lead this transformation.”
https://arstechnica.com/?p=2052114
OpenAI CEO: We may have AI superintelligence in “a few thousand days”
On Monday, OpenAI CEO Sam Altman outlined his vision for an AI-driven future of tech progress and global prosperity in a new personal blog post titled “The Intelligence Age.” The essay paints a picture of human advancement accelerated by AI, with Altman suggesting that superintelligent AI could emerge within the next decade.
“It is possible that we will have superintelligence in a few thousand days (!); it may take longer, but I’m confident we’ll get there,” he wrote.
OpenAI’s current goal is to create AGI (artificial general intelligence), which is a term for hypothetical technology that could match human intelligence in performing many tasks without the need for specific training. In contrast, superintelligence surpasses AGI, and it could be seen as a hypothetical level of machine intelligence that can dramatically outperform humans at any intellectual task, perhaps even to an unfathomable degree.
Superintelligence (sometimes called “ASI” for “artificial superintelligence”) is a popular but sometimes fringe topic among the machine learning community, and it has been for years—especially since controversial philosopher Nick Bostrom authored a book titled Superintelligence: Paths, Dangers, Strategies in 2014. Former OpenAI co-founder and Chief Scientist Ilya Sutskever left OpenAI in June to found a company with the term in its name: Safe Superintelligence. Meanwhile, Altman himself has been talking about developing superintelligence since at least last year.
So, just how long is “a few thousand days”? There’s no telling exactly. The likely reason Altman picked a vague number is because he doesn’t exactly know when ASI will arrive, but it sounds like he thinks it could happen within a decade. For comparison, 2,000 days is about 5.5 years, 3,000 days is around 8.2 years, and 4,000 days is almost 11 years.
It’s easy to criticize Altman’s vagueness here; no one can truly predict the future, but Altman, as CEO of OpenAI, is likely privy to AI research techniques coming down the pipeline that aren’t broadly known to the public. So even when couched with a broad time frame, the claim comes from a noteworthy source in the AI field—albeit one who is heavily invested in making sure that AI progress does not stall.
Not everyone shares Altman’s optimism and enthusiasm. Computer scientist and frequent AI critic Grady Booch quoted Altman’s “few thousand days” prediction and wrote on X, “I am so freaking tired of all the AI hype: it has no basis in reality and serves only to inflate valuations, inflame the public, garnet [sic] headlines, and distract from the real work going on in computing.”
Despite the criticism, it’s notable when the CEO of what is probably the defining AI company of the moment makes a broad prediction about future capabilities—even if that means he’s perpetually trying to raise money. Building infrastructure to power AI services is foremost on many tech CEO’s minds these days.
“If we want to put AI into the hands of as many people as possible,” Altman writes in his essay. “We need to drive down the cost of compute and make it abundant (which requires lots of energy and chips). If we don’t build enough infrastructure, AI will be a very limited resource that wars get fought over and that becomes mostly a tool for rich people.”
Altman’s vision for “The Intelligence Age”
Enlarge/ OpenAI CEO Sam Altman walks on the House side of the US Capitol on January 11, 2024, in Washington, DC.
Kent Nishimura/Getty Images
Elsewhere in the essay, Altman frames our present era as the dawn of “The Intelligence Age,” the next transformative technology era in human history, following the Stone Age, Agricultural Age, and Industrial Age. He credits the success of deep learning algorithms as the catalyst for this new era, stating simply: “How did we get to the doorstep of the next leap in prosperity? In three words: deep learning worked.”
The OpenAI chief envisions AI assistants becoming increasingly capable, eventually forming “personal AI teams” that can help individuals accomplish almost anything they can imagine. He predicts AI will enable breakthroughs in education, health care, software development, and other fields.
While acknowledging potential downsides and labor market disruptions, Altman remains optimistic about AI’s overall impact on society. He writes, “Prosperity alone doesn’t necessarily make people happy—there are plenty of miserable rich people—but it would meaningfully improve the lives of people around the world.”
Even with AI regulation like SB-1047 the hot topic of the day, Altman didn’t mention sci-fi dangers from AI in particular. On X, Bloomberg columnist Matthew Yglesias wrote, “Notable that @sama is no longer even paying lip service to existential risk concerns, the only downsides he’s contemplating are labor market adjustment issues. “
While enthusiastic about AI’s potential, Altman urges caution, too, but vaguely. He writes, “We need to act wisely but with conviction. The dawn of the Intelligence Age is a momentous development with very complex and extremely high-stakes challenges. It will not be an entirely positive story, but the upside is so tremendous that we owe it to ourselves, and the future, to figure out how to navigate the risks in front of us.”
Aside from the labor market disruptions, Altman does not say how the Intelligence Age will not entirely be positive, but he closes with an analogy of an outdated occupation that was lost due to technological changes.
“Many of the jobs we do today would have looked like trifling wastes of time to people a few hundred years ago, but nobody is looking back at the past, wishing they were a lamplighter,” he wrote. “If a lamplighter could see the world today, he would think the prosperity all around him was unimaginable. And if we could fast-forward a hundred years from today, the prosperity all around us would feel just as unimaginable.”
https://arstechnica.com/?p=2051754
L’agroalimentare americano tra AI e minacce cyber
Crescono le cyber minacce per l’agri-food USA
Il settore dell’agri-food statunitense ha visto in questi anni un impiego massiccio di nuove tecnologie. Robotica, intelligenza artificiale (AI), cloud, internet delle cose, gps e droni hanno fatto progressivamente la loro comparsa nell’agroalimentare americano, ma con l’innovazione tecnologica sono arrivate anche le cyber minacce.
Secondo l’articolo pubblicato su Forbes a firma di Daphne Ewing Chow, gli attacchi ransomware sono in forte aumento in questo settore così vitale per l’economia nazionale, mettendo a repentaglio la produzione di cibo.
Molte le preoccupazioni espresse dai principali esponenti dell’industria agroalimentare americana in occasione dell’annual Agriculture Threats Symposium che si è tenuto ad agosto in Nebraska.
Un pericolo per la sicurezza nazionale
Gene Kowel dell’FBI ha sottolineato che le cyberminacce a questo settore sono un rischio enorme per la sicurezza nazionale in quanto sono coinvolte fattorie, impianti di trasformazione dei prodotti alimentari e tutta la supply chain.
Un problema reale, perché la produzione alimentare si è ormai fortemente automatizzata nel corso degli ultimi anni.
“Stiamo assistendo a fattorie gestite da sistemi automatizzati e strumenti di ottimizzazione basati sull’intelligenza artificiale per migliorare le rese delle colture. Ma tutta questa robotica comporta un rischio informatico significativo, che potrebbe causare danni sensibili a infrastrutture o a sottrazione massiccia di dati personali tramite violazione del software non sufficientemente protetto. Immaginiamo se un hacker potesse manomettere i programmi di alimentazione per il bestiame o le temperature di conservazione per i prodotti deperibili; non è solo un inconveniente, potrebbe portare a enormi perdite finanziarie e scarsità di cibo”, ha spiegato Cory Brandolini, co-fondatore di Railtown , un’azienda di software specializzata in soluzioni basate sull’AI.
Secondo l’FBI, gli attacchi ransomware e malware stranieri, il furto di dati, la violazione della proprietà intellettuale e il bioterrorismo, sono le quattro principali minacce che il settore agricolo deve affrontare, che a partire dalla produzione alimentare e dall’approvvigionamento idrico.
Il valore del mercato dell’AI applicata al settore agricolo potrebbe passare da 350 milioni di dollari del 2023 ai 705 milioni di dollari attesi per il 2029, con tasso di crescita medio annuo pari al +12%, secondo un report pubblicato da TechSci Research.
C’è Intel nei pensieri di Qualcomm: pronto il gigante Usa dei semiconduttori?
Altro che fulmine a ciel sereno. La notizia secondo cui Qualcomm potrebbe acquisire il business dei semiconduttori di Intel è un vero terremoto sullo scenario economico globale. Non a caso, solo pochi mesi fa, la trimestrale di Big Blue aveva dimostrato le crescenti difficoltà nel mantenere la leadership in un segmento che è all’improvviso diventato terreno di scontro con attori nuovi e vecchi. Basti pensare a Nvidia, che ha fatto del trend dell’IA generativa un motore di scalata in cima alle imprese dal più alto valore di mercato. Ma anche ad AMD e la mina vagante Apple, che rappresenta per ora una nicchia con il suo Apple Silicon ma con obiettivi ben più ampi.
Cosa è successo
Nel fine settimana, una gola profonda di Wall Street ha spifferato che, seppur ancora lontano dall’essere finalizzato, esiste la possibilità di un accordo tra Qualcomm e Intel per l’acquisizione della parte chip di quest’ultima. Un’audace mossa strategica da parte di Qualcomm, già leader nel settore dei processori mobili, che andrebbe così a espandere la sua influenza nel mercato dei chip per PC e data center, settori tradizionalmente dominati da Intel.
L’offerta di Qualcomm arriva in un momento di profonda crisi per Intel. L’azienda ha faticato a tenere il passo con l’evoluzione tecnologica, perdendo terreno nel fiorente mercato dell’intelligenza artificiale. I recenti annunci di licenziamenti e ristrutturazioni testimoniano le difficoltà in corso. Se l’acquisizione andasse a buon fine, potrebbe rappresentare un’opportunità di rinascita per Intel, consentendole di accedere a nuove risorse e tecnologie.
<!-- ARUBA - 300x250 -->
Mentre queste voci non sono ancora state confermate, Bloomberg ha aggiunto un ulteriore elemento alla vicenda: il gruppo di private equity Apollo starebbe valutando un investimento multimiliardario in Intel.
Un nuovo gigante nell’occhio dell’antitrust
La fusione tra Qualcomm e Intel potrebbe dare vita a un colosso tecnologico dal marchio statunitense in grado di competere con altri giganti del settore come Nvidia e AMD, soprattutto nel campo dell’intelligenza artificiale e del computing ad alte prestazioni. Non senza le dovute precauzioni da parte degli organi regolatori, sempre molto attenti nel considerare il rischio di monopolio. Qui sembra tutto molto complesso, vista appunto la pletora di attori sulla piazza ma è bastato molto meno per ritardare l’acquisizione di Activision Blizzard da parte di Microsoft, una mossa importante ma meno impattante nel mondo dei videogiochi.
Arma a doppio taglio
Negli ultimi anni, Qualcomm ha fatto incursioni nel mercato dei laptop con chip basati sull’architettura Arm, come lo Snapdragon X Elite, che ha persino trovato posto nel prossimo Surface Laptop di Microsoft. Ad esempio, negli ultimi anni, ha sfruttato l’ondata di Generative AI e ha introdotto chip per laptop basati sull’architettura Arm: Snapdragon 8CX (lanciato nel 2018) e Snapdragon X Elite (rilasciato il 25 ottobre 2023). Tra questi, quest’ultimo è diventato l’arma di Qualcomm per entrare nel mercato dei laptop.
Se Qualcomm dovesse effettivamente acquisire Intel, il vantaggio più grande sarebbe quello di migliorare il business dei chip mobili di Qualcomm nella fase di progressiva saturazione, sfruttando l’onnipresente tecnologia dei chip di Intel e i vantaggi di mercato nei personal computer (PC) e nei server. La mossa migliore per arrestare, fin da subito, l’ascesa di Nvidia.
Le reazioni del mercato
Ma ci sono dei seri dubbi sul processo di acquisizione: non solo l’operazione sarebbe costosa, ma ci sono anche motivazioni tecniche importanti, come le differenze fondamentali tra le architetture x86 di Intel e Arm di Qualcomm, il che vorrebbe dire portare avanti due filoni separati e destinati a non incontrarsi, almeno nel breve periodo. L’atteggiamento dei mercati dei capitali verso questa notizia si riflette nei prezzi delle azioni: alla chiusura del 20 settembre, il prezzo delle azioni di Qualcomm è sceso del 2,87%, mentre Intel è rimbalzato del 3,31% (toccando persino il 9,46% ad un certo punto). Ciò riflette anche indirettamente la visione del capitale su una notizia che non può passare per inosservata.
When you call a restaurant, you might be chatting with an AI host
Getty Images | Juj Winn
A pleasant female voice greets me over the phone. “Hi, I’m an assistant named Jasmine for Bodega,” the voice says. “How can I help?”
“Do you have patio seating,” I ask. Jasmine sounds a little sad as she tells me that unfortunately, the San Francisco–based Vietnamese restaurant doesn’t have outdoor seating. But her sadness isn’t the result of her having a bad day. Rather, her tone is a feature, a setting.
Jasmine is a member of a new, growing clan: the AI voice restaurant host. If you recently called up a restaurant in New York City, Miami, Atlanta, or San Francisco, chances are you have spoken to one of Jasmine’s polite, calculated competitors.
In the sea of AI voice assistants, hospitality phone agents haven’t been getting as much attention as consumer-based generative AI tools like Gemini Live and ChatGPT-4o. And yet, the niche is heating up, with multiple emerging startups vying for restaurant accounts across the US. Last May, voice-ordering AI garnered much attention at the National Restaurant Association’s annual food show. Bodega, the high-end Vietnamese restaurant I called, used Maitre-D AI, which launched primarily in the Bay Area in 2024. Newo, another new startup, is currently rolling its software out at numerous Silicon Valley restaurants. One-year-old RestoHost is now answering calls at 150 restaurants in the Atlanta metro area, and Slang, a voice AI company that started focusing on restaurants exclusively during the COVID-19 pandemic and announced a $20 million funding round in 2023, is gaining ground in the New York and Las Vegas markets.
All of them offer a similar service: an around-the-clock AI phone host that can answer generic questions about the restaurant’s dress code, cuisine, seating arrangements, and food allergy policies. They can also assist with making, altering, or canceling a reservation. In some cases, the agent can direct the caller to an actual human, but according to RestoHost co-founder Tomas Lopez-Saavedra, only 10 percent of the calls result in that. Each platform offers the restaurant subscription tiers that unlock additional features, and some of the systems can speak multiple languages.
But who even calls a restaurant in the era of Google and Resy? According to some of the founders of AI voice host startups, many customers do, and for various reasons. “Restaurants get a high volume of phone calls compared to other businesses, especially if they’re popular and take reservations,” says Alex Sambvani, CEO and co-founder of Slang, which currently works with everyone from the Wolfgang Puck restaurant group to Chick-fil-A to the fast-casual chain Slutty Vegan. Sambvani estimates that in-demand establishments receive between 800 and 1,000 calls per month. Typical callers tend to be last-minute bookers, tourists and visitors, older people, and those who do their errands while driving.
Matt Ho, the owner of Bodega SF, confirms this scenario. “The phones would ring constantly throughout service,” he says. “We would receive calls for basic questions that can be found on our website.” To solve this issue, after shopping around, Ho found that Maitre-D was the best fit. Bodega SF became one of the startup’s earliest clients in May, and Ho even helped the founders with trial and error testing prior to launch. “This platform makes the job easier for the host and does not disturb guests while they’re enjoying their meal,” he says.
https://arstechnica.com/?p=2051613
Secret calculator hack brings ChatGPT to the TI-84, enabling easy cheating
On Saturday, a YouTube creator called “ChromaLock” published a video detailing how he modified a Texas Instruments TI-84 graphing calculator to connect to the Internet and access OpenAI’s ChatGPT, potentially enabling students to cheat on tests. The video, titled “I Made The Ultimate Cheating Device,” demonstrates a custom hardware modification that allows users of the graphing calculator to type in problems sent to ChatGPT using the keypad and receive live responses on the screen.
ChromaLock began by exploring the calculator’s link port, typically used for transferring educational programs between devices. He then designed a custom circuit board he calls “TI-32” that incorporates a tiny Wi-Fi-enabled microcontroller, the Seed Studio ESP32-C3 (which costs about $5), along with other components to interface with the calculator’s systems.
It’s worth noting that the TI-32 hack isn’t a commercial project. Replicating ChromaLock’s work would involve purchasing a TI-84 calculator, a Seed Studio ESP32-C3 microcontroller, and various electronic components, and fabricating a custom PCB based on ChromaLock’s design, which is available online.
The creator says he encountered several engineering challenges during development, including voltage incompatibilities and signal integrity issues. After developing multiple versions, ChromaLock successfully installed the custom board into the calculator’s housing without any visible signs of modifications from the outside.
[embedded content]
“I Made The Ultimate Cheating Device” YouTube Video.
To accompany the hardware, ChromaLock developed custom software for the microcontroller and the calculator, which is available open source on GitHub. The system simulates another TI-84, allowing people to use the calculator’s built-in “send” and “get” commands to transfer files. This allows a user to easily download a launcher program that provides access to various “applets” designed for cheating.
One of the applets is a ChatGPT interface that might be most useful for answering short questions, but it has a drawback in that it’s slow and cumbersome to type in long alphanumeric questions on the limited keypad.
Beyond the ChatGPT interface, the device offers several other cheating tools. An image browser allows users to access pre-prepared visual aids stored on the central server. The app browser feature enables students to download not only games for post-exam entertainment but also text-based cheat sheets disguised as program source code. ChromaLock even hinted at a future video discussing a camera feature, though details were sparse in the current demo.
ChromaLock claims his new device can bypass common anti-cheating measures. The launcher program can be downloaded on-demand, avoiding detection if a teacher inspects or clears the calculator’s memory before a test. The modification can also supposedly break calculators out of “Test Mode,” a locked-down state used to prevent cheating.
While the video presents the project as a technical achievement, consulting ChatGPT during a test on your calculator almost certainly represents an ethical breach and/or a form of academic dishonesty that could get you in serious trouble at most schools. So tread carefully, study hard, and remember to eat your Wheaties.