La caratteristica distintiva di o1 risiede nella sua capacità di imitare il pensiero umano. A differenza dei modelli precedenti, o1 dedica più tempo alla riflessione, scomponendo i problemi in parti più piccole e valutando diverse soluzioni prima di arrivare a una conclusione. Questa metodologia, unita a un addestramento intensivo su dati scientifici e matematici, rende o1 particolarmente abile in discipline STEM.
I risultati ottenuti nei test interni sono, secondo OpenAI, sorprendenti. o1 ha dimostrato di poter competere con studenti universitari, risolvendo problemi complessi di matematica, fisica, chimica e biologia con un’accuratezza che supera di gran lunga i modelli precedenti. Ad esempio, in un esame qualificante per l’International Mathematics Olympiad, i modelli di ragionamento hanno risolto correttamente l’83% dei problemi, rispetto al 13% di GPT-4o. Nel coding, hanno raggiunto l’89esimo percentile nelle competizioni Codeforces.
<!-- ARUBA - 300x250 -->
Disponibilità e accesso di OpenAI o1
Per ora, i modelli o1-preview e o1-mini sono disponibili per gli utenti Plus e Team di ChatGPT. Tuttavia, OpenAI ha in programma di estendere l’accesso a un pubblico più ampio in futuro. Gli sviluppatori, inoltre, possono già sperimentare le potenzialità di o1 attraverso l’API.
Detto ciò, OpenAI ha detto di aver posto una grande attenzione alla sicurezza e all’affidabilità di questi nuovi modelli. o1 è stato sottoposto a rigorosi test per garantire che non possa essere utilizzato per scopi dannosi. Inoltre, l’azienda ha collaborato con istituzioni internazionali per sviluppare standard di sicurezza sempre più elevati. Il modello o1-preview ha ottenuto un punteggio di 84 su 100 nei test di sicurezza più rigorosi, superando di gran lunga il punteggio di GPT-4o.
Il futuro dell’intelligenza artificiale
OpenAI spiega anche la decisione di non rivelare i vari passaggi della catena di pensiero del modello. Ossia, non possiamo conoscere tutti i passaggi compiuti da AI per rispondere ai quesiti che vengono posti.
Riteniamo che una catena di pensiero nascosta rappresenti un’opportunità unica per il monitoraggio dei modelli. Supponendo che sia fedele e leggibile, la catena di pensiero nascosta ci consente di “leggere la mente” del modello e comprenderne il processo di pensiero. Ad esempio, in futuro potremmo voler monitorare la catena di pensiero per individuare segnali di manipolazione dell’utente. Tuttavia, affinché ciò funzioni, il modello deve avere la libertà di esprimere i propri pensieri in forma inalterata, quindi non possiamo addestrare alcuna conformità alle policy o preferenze dell’utente sulla catena di pensiero. Inoltre, non vogliamo rendere una catena di pensiero non allineata direttamente visibile agli utenti.
OpenAI
Sebbene o1 sia un passo avanti significativo, è solo l’inizio. OpenAI ha in programma di continuare a sviluppare l’AI, migliorandone le prestazioni e ampliandone le capacità. Possiamo aspettarci di vedere applicazioni sempre più innovative dell’intelligenza artificiale in diversi settori, dalla ricerca scientifica allo sviluppo di nuovi prodotti.
OpenAI’s new “reasoning” AI models are here: o1-preview and o1-mini
OpenAI finally unveiled its rumored “Strawberry” AI language model on Thursday, claiming significant improvements in what it calls “reasoning” and problem-solving capabilities over previous large language models (LLMs). Formally named “OpenAI o1,” the model family will initially launch in two forms, o1-preview and o1-mini, available today for ChatGPT Plus and certain API users.
OpenAI claims that o1-preview outperforms its predecessor, GPT-4o, on multiple benchmarks, including competitive programming, mathematics, and “scientific reasoning.” However, people who have used the model say it does not yet outclass GPT-4o in every metric. Other users have criticized the delay in receiving a response from the model, owing to the multi-step processing occurring behind the scenes before answering a query.
In a rare display of public hype-busting, OpenAI product manager Joanne Jang tweeted, “There’s a lot of o1 hype on my feed, so I’m worried that it might be setting the wrong expectations. what o1 is: the first reasoning model that shines in really hard tasks, and it’ll only get better. (I’m personally psyched about the model’s potential & trajectory!) what o1 isn’t (yet!): a miracle model that does everything better than previous models. you might be disappointed if this is your expectation for today’s launch—but we’re working to get there!”
OpenAI reports that o1-preview ranked in the 89th percentile on competitive programming questions from Codeforces. In mathematics, it scored 83 percent on a qualifying exam for the International Mathematics Olympiad, compared to GPT-4o’s 13 percent. OpenAI also states, in a claim that may later be challenged as people scrutinize the benchmarks and run their own evaluations over time, o1 performs comparably to PhD students on specific tasks in physics, chemistry, and biology. The smaller o1-mini model is designed specifically for coding tasks and is priced at 80 percent less than o1-preview.
Enlarge/ A benchmark chart provided by OpenAI. They write, “o1 improves over GPT-4o on a wide range of benchmarks, including 54/57 MMLU subcategories. Seven are shown for illustration.”
OpenAI attributes o1’s advancements to a new reinforcement learning (RL) training approach that teaches the model to spend more time “thinking through” problems before responding, similar to how “let’s think step-by-step” chain-of-thought prompting can improve outputs in other LLMs. The new process allows o1 to try different strategies and “recognize” its own mistakes.
AI benchmarks are notoriously unreliable and easy to game; however, independent verification and experimentation from users will show the full extent of o1’s advancements over time. It’s worth noting that MIT Research showed earlier this year that some of the benchmark claims OpenAI touted with GPT-4 last year were erroneous or exaggerated.
A mixed bag of capabilities
OpenAI demos “o1” correctly counting the number of Rs in the word “strawberry.”
Amid many demo videos of o1 completing programming tasks and solving logic puzzles that OpenAI shared on its website and social media, one demo stood out as perhaps the least consequential and least impressive, but it may become the most talked about due to a recurring meme where people ask LLMs to count the number of R’s in the word “strawberry.”
Due to tokenization, where the LLM processes words in data chunks called tokens, most LLMs are typically blind to character-by-character differences in words. Apparently, o1 has the self-reflective capabilities to figure out how to count the letters and provide an accurate answer without user assistance.
Beyond OpenAI’s demos, we’ve seen optimistic but cautious hands-on reports about o1-preview online. Wharton Professor Ethan Mollick wrote on X, “Been using GPT-4o1 for the last month. It is fascinating—it doesn’t do everything better but it solves some very hard problems for LLMs. It also points to a lot of future gains.”
Mollick shared a hands-on post in his “One Useful Thing” blog that details his experiments with the new model. “To be clear, o1-preview doesn’t do everything better. It is not a better writer than GPT-4o, for example. But for tasks that require planning, the changes are quite large.”
Mollick gives the example of asking o1-preview to build a teaching simulator “using multiple agents and generative AI, inspired by the paper below and considering the views of teachers and students,” then asking it to build the full code, and it produced a result that Mollick found impressive.
Mollick also gave o1-preview eight crossword puzzle clues, translated into text, and the model took 108 seconds to solve it over many steps, getting all of the answers correct but confabulating a particular clue Mollick did not give it. We recommend reading Mollick’s entire post for a good early hands-on impression. Given his experience with the new model, it appears that o1 works very similar to GPT-4o but iteratively in a loop, which is something that the so-called “agentic” AutoGPT and BabyAGI projects experimented with in early 2023.
Is this what could “threaten humanity?”
Speaking of agentic models that run in loops, Strawberry has been subject to hype since last November, when it was initially known as Q* (Q-star). At the time, The Information and Reuters claimed that, just before Sam Altman’s brief ouster as CEO, OpenAI employees had internally warned OpenAI’s board of directors about a new OpenAI model called Q* that could “threaten humanity.”
In August, the hype continued when The Information reported that OpenAI showed Strawberry to US national security officials.
We’ve been skeptical about the hype around Q* and Strawberry since the rumors first emerged, as this author noted last November, and Timothy B. Lee covered thoroughly in an excellent post about Q* from last December.
So even though o1 is out, AI industry watchers should note how this model’s impending launch was played up in the press as a dangerous advancement while not being publicly downplayed by OpenAI. For an AI model that takes 108 seconds to solve eight clues in a crossword puzzle and hallucinates one answer, we can say that its potential danger was likely hype (for now).
Controversy over “reasoning” terminology
It’s no secret that some people in tech have issues with anthropomorphizing AI models and using terms like “thinking” or “reasoning” to describe the synthesizing and processing operations that these neural network systems perform.
Just after the OpenAI o1 announcement, Hugging Face CEO Clement Delangue wrote, “Once again, an AI system is not ‘thinking,’ it’s ‘processing,’ ‘running predictions,’… just like Google or computers do. Giving the false impression that technology systems are human is just cheap snake oil and marketing to fool you into thinking it’s more clever than it is.”
“Reasoning” is also a somewhat nebulous term since, even in humans, it’s difficult to define exactly what the term means. A few hours before the announcement, independent AI researcher Simon Willison tweeted in response to a Bloomberg story about Strawberry, “I still have trouble defining ‘reasoning’ in terms of LLM capabilities. I’d be interested in finding a prompt which fails on current models but succeeds on strawberry that helps demonstrate the meaning of that term.”
Reasoning or not, o1-preview currently lacks some features present in earlier models, such as web browsing, image generation, and file uploading. OpenAI plans to add these capabilities in future updates, along with continued development of both the o1 and GPT model series.
While OpenAI says the o1-preview and o1-mini models are rolling out today, neither model is available in our ChatGPT Plus interface yet, so we have not been able to evaluate them. We’ll report our impressions on how this model differs from other LLMs we have previously covered.
https://arstechnica.com/?p=2049445
AI chatbots might be better at swaying conspiracy theorists than humans
Enlarge/ A woman wearing a sweatshirt for the QAnon conspiracy theory on October 11, 2020 in Ronkonkoma, New York.
Stephanie Keith | Getty Images
Belief in conspiracy theories is rampant, particularly in the US, where some estimates suggest as much as 50 percent of the population believes in at least one outlandish claim. And those beliefs are notoriously difficult to debunk. Challenge a committed conspiracy theorist with facts and evidence, and they’ll usually just double down—a phenomenon psychologists usually attribute to motivated reasoning, i.e., a biased way of processing information.
A new paper published in the journal Science is challenging that conventional wisdom, however. Experiments in which an AI chatbot engaged in conversations with people who believed at least one conspiracy theory showed that the interaction significantly reduced the strength of those beliefs, even two months later. The secret to its success: the chatbot, with its access to vast amounts of information across an enormous range of topics, could precisely tailor its counterarguments to each individual.
“These are some of the most fascinating results I’ve ever seen,” co-author Gordon Pennycook, a psychologist at Cornell University, said during a media briefing. “The work overturns a lot of how we thought about conspiracies, that they’re the result of various psychological motives and needs. [Participants] were remarkably responsive to evidence. There’s been a lot of ink spilled about being in a post-truth world. It’s really validating to know that evidence does matter. We can act in a more adaptive way using this new technology to get good evidence in front of people that is specifically relevant to what they think, so it’s a much more powerful approach.”
When confronted with facts that challenge a deeply entrenched belief, people will often seek to preserve it rather than update their priors (in Bayesian-speak) in light of the new evidence. So there has been a good deal of pessimism lately about ever reaching those who have plunged deep down the rabbit hole of conspiracy theories, which are notoriously persistent and “pose a serious threat to democratic societies,” per the authors. Pennycook and his fellow co-authors devised an alternative explanation for that stubborn persistence of belief.
Bespoke counter-arguments
The issue is that “conspiracy theories just vary a lot from person to person,” said co-author Thomas Costello, a psychologist at American University who is also affiliated with MIT. “They’re quite heterogeneous. People believe a wide range of them and the specific evidence that people use to support even a single conspiracy may differ from one person to another. So debunking attempts where you try to argue broadly against a conspiracy theory are not going to be effective because people have different versions of that conspiracy in their heads.”
By contrast, an AI chatbot would be able to tailor debunking efforts to those different versions of a conspiracy. So in theory a chatbot might prove more effective in swaying someone from their pet conspiracy theory.
To test their hypothesis, the team conducted a series of experiments with 2,190 participants who believed in one or more conspiracy theories. The participants engaged in several personal “conversations” with a large language model (GT-4 Turbo) in which they shared their pet conspiracy theory and the evidence they felt supported that belief. The LLM would respond by offering factual and evidence-based counter-arguments tailored to the individual participant. GPT-4 Turbo’s responses were professionally fact-checked, which showed that 99.2 percent of the claims it made were true, with just 0.8 percent being labeled misleading, and zero as false. (You can try your hand at interacting with the debunking chatbot here.)
Enlarge/ Screenshot of the chatbot opening page asking questions to prepare for a conversation
Thomas H. Costello
Participants first answered a series of open-ended questions about the conspiracy theories they strongly believed and the evidence they relied upon to support those beliefs. The AI then produced a single-sentence summary of each belief, for example, “9/11 was an inside job because X, Y, and Z.” Participants would rate the accuracy of that statement in terms of their own beliefs and then filled out a questionnaire about other conspiracies, their attitude toward trusted experts, AI, other people in society, and so forth.
Then it was time for the one-on-one dialogues with the chatbot, which the team programmed to be as persuasive as possible. The chatbot had also been fed the open-ended responses of the participants, which made it better to tailor its counter-arguments individually. For example, if someone thought 9/11 was an inside job and cited as evidence the fact that jet fuel doesn’t burn hot enough to melt steel, the chatbot might counter with, say, the NIST report showing that steel loses its strength at much lower temperatures, sufficient to weaken the towers’ structures so that it collapsed. Someone who thought 9/11 was an inside job and cited demolitions as evidence would get a different response tailored to that.
Participants then answered the same set of questions after their dialogues with the chatbot, which lasted about eight minutes on average. Costello et al. found that these targeted dialogues resulted in a 20 percent decrease in the participants’ misinformed beliefs—a reduction that persisted even two months later when participants were evaluated again.
As Bence Bago (Tilburg University) and Jean-Francois Bonnefon (CNRS, Toulouse, France) noted in an accompanying perspective, this is a substantial effect compared to the 1 to 6 percent drop in beliefs achieved by other interventions. They also deemed the persistence of the effect noteworthy, while cautioning that two months is “insufficient to completely eliminate misinformed conspiracy beliefs.”
https://arstechnica.com/?p=2048587
AI e lavori domestici, risparmieremo il 40% del nostro tempo entro 10 anni
Lavori domestici, grazie all’AI li faremo in sempre meno tempo
I lavori domestici ci portano via parecchio tempo, non sono retribuiti e allo stesso tempo non si possono evitare, al massimo rimandare. Insomma, prima o poi i piatti e i panni sporchi vanno lavati, così come si deve buttare la spazzatura e passare l’aspirapolvere, solo per citare le attività quotidiane o settimanali più comuni.
L’innovazione tecnologica comunque corre veloce e per i più insofferenti alle incombenze domestiche arrivano buone notizie da due progetti finanziati dall’Unione europea: “Famsizematters” e “GenTime”.
La rivista scientifica Plose One ne ha pubblicato i risultati preliminari e sembra che l’impiego crescente di automazione e intelligenza artificiale (AI) potrebbe farci risparmiare il 40% del nostro tempo nello svolgimento dei lavori domestici.
<!-- ARUBA - 300x250 -->
Ci penserà l’AI a fare la spesa, noi potremo fare altro
Ma quanto le attività domestiche e di cura dei bambini sono automatizzabili? Una prima risposta l’hanno data ricercatori britannici e giapponesi, coinvolgendo ed esaminando le risposte di 65 esperti di AI in riferimento a 17 attività domestiche.
Le risposte raccolte ci consentono di dire che per quel che riguarda la spesa alimentare, ad esempio, è molto probabile (59%) che sarà l’AI a farla al posto nostro tramite app, seguita dall’utilizzo di servizi (52%) e dall’acquisto di altri prodotti e articoli per la casa e i suoi proprietari (50%).
Altre attività che potremmo svolgere in misura minore entro una decina d’anni saranno le pulizie domestiche, lavare le stoviglie e cucinare, di cui complessivamente gli esperti ritengono automatizzabile circa il 46%.
L’intelligenza artificiale “potrebbe liberare ore in più nella vita delle persone per il lavoro retribuito e il tempo libero, soprattutto per le donne”, è riportato nello studio.
Niente AI per la cura delle persone e poi c’è il fattore ‘costo’
All’ultimo posto c’è la cura dei figli, con un dato vicino al 21%. In effetti, le attività di cura delle persone sono da sempre le meno automatizzabili e soggette all’impiego di soluzioni di AI, anche tra 10 anni.
In più, oltre alla massima centralità della persona nella cura, ammesso che si trovi una tecnologia adatta all’automazione di questi servizi, rimarrebbe eticamente e socialmente inaccettabile delegarli ad una macchina.
Non ultimo, tra i fattori che impattano negativamente nell’automazione delle faccende domestiche e delle cure parentali è la voce “costo”.
Secondo lo studio, infatti, sono i bilanci delle famiglie a determinare il tipo di tecnologie sviluppate e commercializzate, considerato che molti compiti manuali sono automatizzabili. Il “vero collo di bottiglia”, secondo un esperto, è il “costo dell’automazione”.
AI, I’am the fashion. Tutti possono diventare creativi e stilisti di moda
Tutti stilisti e designer con l’AI generativa
Una frase di Coco Chanel è passata alla storia: “Io non faccio la moda. Io sono la moda”. Più che un’affermazione un concetto, che potrebbe ben adattarsi anche all’intelligenza artificiale (AI).
Oggi, chiunque può cimentarsi nella creazione di un abito, appunto, “alla moda”, prendendo spunto dalla storia o dal lavoro dei grandi stilisti del passato e del presente, o partendo da una semplice idea, basta utilizzare una delle tante soluzioni di AI generativa disponibili in rete, anche gratuite.
Questa estate, il video dal titolo “Runaway of Power” di una fantasiosa e ironica sfilata di moda creata con l’AI da InterdimensionalTV ha fatto il giro del mondo (quasi 160 milioni di visualizzazioni in poche settimane), anche grazie alla condivisione sul profilo personale X di Elon Musk.
<!-- ARUBA - 300x250 -->
Nel video si vedevano sfilare in abiti stravaganti una parata ironica e irriverente di star della politica e dell’economia, da Vladimir Putin a Joe Biden, da Donald Trump al dittatore coreano Kim Jong-un, da Kamala Harris a Xi Jinping, fino a Papa Francesco e lo stesso Elon Musk.
Per realizzare questo contenuto l’artista ha sicuramente utilizzato diverse piattaforme di AI generativa, probabilmente Midjourney, Runway Gen3, Flux o Luma Labs (non si sa di preciso, ma l’autore e AI artist Elliot Quartz, elenca quelle da lui più utilizzate sul suo profilo social), che in pochi minuti consentono di sviluppare contenuti di questo livello, ovviamente dominati dai deepfake di personaggi pubblici famosi (interessante l’ostentazione nel video di marchi come Louis Vuitton e Supreme, che generalmente non perdonano l’uso improprio senza autorizzazione).
[embedded content]
I migliori generatori di immagini AI per la moda
Ma sono numerosi generatori di immagini AI per la moda, per personalizzare le creazioni, per accedere ed utilizzare grandi database per produrre prototipi in breve tempo, fino a far sfilare modelli su una passerella virtuale, semplificando di fatto il processo creativo e di design.
Tra i più utilizzati generatori di immagini per il design di moda advanced e indipendente troviamo “The New Black”, per realizzare prototipi c’è “Off/Script”, per la moda personalizzata “Ablo”, per conoscere le ultime tendenze “Botika”, per lo styling di moda virtuale “Stylista”.
Strumenti che trovano non solo il favore del grande pubblico degli appassionati di moda e abbigliamento, ma soprattutto dei professionisti, dei giovani stilisti e creativi, dei designer, magari indipendenti, non affiliati o alle dipendenze delle grandi maison.
Un’occasione per i creativi indipendenti, ma è davvero una strada per tutti?
Secondo uno studio condotto dal Comité Colbert e Bain & Co: “Nelle grandi case, ci sono attualmente una media di 5,8 test e progetti pilota. In quelle più piccole, siamo a 5,3. Ciò significa che la startup di AI generativa è altrettanto potente per l’intero settore. Una sorpresa, spiegata dal fatto che tutti i marchi stanno riscontrando un ritorno sul loro investimento in questi sviluppi”.
Le soluzioni di AI sono in media molto costose da acquistare e far lavorare, anche perché oltre alle piattaforme bisogna circondarsi di data scientist e assumere professionisti specializzati. Ma l’AI generativa in particolare sembra aver cambiato le regole e favorito una maggiore accessibilità economica e tecnica a queste tecnologie avanzate.
Sicuramente la tecnologia sta semplificando un po’ troppo il percorso dello stilista ‘fai da te’, ma di fatto questo sta accendo e il rapporto tra AI e moda si fa sempre più stretto. I dubbi sono sempre gli stessi e vertono sia sul concetto di proprietà intellettuale, sia di professionalità.
Il gusto, il talento, il genio creativo, si possono davvero acquisire pagando un’AI generativa e scrivendo i giusti prompt? Davvero tutti possiamo diventare stilisti, designer e creativi della moda e del lusso? Come distinguere tra democratizzazione di un settore da sempre esclusivo e mediocrazia?
Cosa può fare Pixtral 12B, il nuovo modello AI della francese Mistral
La startup francese Mistral AI, già nota per i suoi modelli di linguaggio all’avanguardia, ha fatto un nuovo passo avanti nel mondo dell’intelligenza artificiale presentando Pixtral 12B. Questo modello, il primo multimodale dell’azienda, è in grado di elaborare sia testo che immagini, aprendo così la porta a una vasta gamma di applicazioni. Sebbene il modello non sia ancora accessibile direttamente dal web, il suo codice sorgente è liberamente disponibile su piattaforme come Hugging Face e GitHub, consentendo agli sviluppatori di testarlo e sperimentarlo in autonomia. Mistral ha infatti adottato una strategia di rilascio insolita, mettendo a disposizione il modello tramite torrent prima ancora di renderlo disponibile attraverso i propri canali ufficiali.
Un modello versatile e potente
Pixtral 12B si distingue per la sua capacità di analizzare immagini in combinazione con prompt di testo. Ciò significa che gli utenti potranno porre domande specifiche su un’immagine, ottenendo risposte dettagliate e pertinenti. Ad esempio, sarà possibile caricare una foto e chiedere al modello di identificare gli oggetti presenti o di descriverne il contenuto. L’architettura di Pixtral 12B è stata progettata per gestire un numero elevato di immagini di grandi dimensioni, grazie a un codificatore visivo dedicato e a un’elaborazione computazionale avanzata. Sebbene i dettagli tecnici siano ancora in fase di divulgazione, è chiaro che Mistral ha messo a punto un modello potente e versatile.
Una sfida ai giganti dell’IA
Con il lancio di Pixtral 12B, Mistral si posiziona come un serio concorrente di aziende come OpenAI e Anthropic, che offrono già modelli multimodali. La startup francese ha dimostrato una notevole capacità di innovazione e di sviluppo rapido, attirando l’attenzione di investitori e sviluppatori di tutto il mondo, ad esempio Microsoft. Lo stesso approccio open source, che favorisce la collaborazione e la condivisione delle conoscenze, ha permesso all’azienda di crescere rapidamente e di consolidare la propria posizione nel panorama dell’intelligenza artificiale.
<!-- ARUBA - 300x250 -->
Il futuro di Pixtral 12B
Nei prossimi mesi, ci aspettiamo di vedere un’ulteriore evoluzione di Pixtral 12B. L’azienda ha già annunciato l’intenzione di rendere il modello disponibile tramite il suo chatbot web e la piattaforma La Platforme, facilitando così l’accesso da parte degli sviluppatori. Inoltre, è probabile che Mistral continui a investire nella ricerca e nello sviluppo di nuovi modelli, sempre più sofisticati e performanti.
Taylor Swift cites AI deepfakes in endorsement for Kamala Harris
Enlarge/ A screenshot of Taylor Swift’s Kamala Harris Instagram post, captured on September 11, 2024.
On Tuesday night, Taylor Swift endorsed Vice President Kamala Harris for US President on Instagram, citing concerns over AI-generated deepfakes as a key motivator. The artist’s warning aligns with current trends in technology, especially in an era where AI synthesis models can easily create convincing fake images and videos.
“Recently I was made aware that AI of ‘me’ falsely endorsing Donald Trump’s presidential run was posted to his site,” she wrote in her Instagram post. “It really conjured up my fears around AI, and the dangers of spreading misinformation. It brought me to the conclusion that I need to be very transparent about my actual plans for this election as a voter. The simplest way to combat misinformation is with the truth.”
In August 2024, former President Donald Trump posted AI-generated images on Truth Social falsely suggesting Swift endorsed him, including a manipulated photo depicting Swift as Uncle Sam with text promoting Trump. The incident sparked Swift’s fears about the spread of misinformation through AI.
This isn’t the first time Swift and generative AI have appeared together in the news. In February, we reported that a flood of explicit AI-generated images of Swift originated from a 4chan message board where users took part in daily challenges to bypass AI image generator filters.
On a Friday evening last November, police chased a silver sedan across the San Francisco Bay Bridge. The fleeing vehicle entered San Francisco and went careening through the city’s crowded streets. At the intersection of 11th and Folsom streets, it sideswiped the fronts of two other vehicles, veered onto a sidewalk, and hit two pedestrians.
According to a local news story, both pedestrians were taken to the hospital with one suffering major injuries. The driver of the silver sedan was injured, as was a passenger in one of the other vehicles.
No one was injured in the third car, a driverless Waymo robotaxi. Still, Waymo was required to report the crash to government agencies. It was one of 20 crashes with injuries that Waymo has reported through June. And it’s the only crash Waymo has classified as causing a serious injury.
Twenty injuries might sound like a lot, but Waymo’s driverless cars have traveled more than 22 million miles. So driverless Waymo taxis have been involved in fewer than one injury-causing crash for every million miles of driving—a much better rate than a typical human driver.
Last week Waymo released a new website to help the public put statistics like this in perspective. Waymo estimates that typical drivers in San Francisco and Phoenix—Waymo’s two biggest markets—would have caused 64 crashes over those 22 million miles. So Waymo vehicles get into injury-causing crashes less than one-third as often, per mile, as human-driven vehicles.
Waymo claims an even more dramatic improvement for crashes serious enough to trigger an airbag. Driverless Waymos have experienced just five crashes like that, and Waymo estimates that typical human drivers in Phoenix and San Francisco would have experienced 31 airbag crashes over 22 million miles. That implies driverless Waymos are one-sixth as likely as human drivers to experience this type of crash.
The new data comes at a critical time for Waymo, which is rapidly scaling up its robotaxi service. A year ago, Waymo was providing 10,000 rides per week. Last month, Waymo announced it was providing 100,000 rides per week. We can expect more growth in the coming months.
So it really matters whether Waymo is making our roads safer or more dangerous. And all the evidence so far suggests that it’s making them safer.
It’s not just the small number of crashes Waymo vehicles experience—it’s also the nature of those crashes. Out of the 23 most serious Waymo crashes, 16 involved a human driver rear-ending a Waymo. Three others involved a human-driven car running a red light before hitting a Waymo. There were no serious crashes where a Waymo ran a red light, rear-ended another car, or engaged in other clear-cut misbehavior.
Digging into Waymo’s crashes
In total, Waymo has reported nearly 200 crashes through June 2024, which works out to about one crash every 100,000 miles. Waymo says 43 percent of crashes across San Francisco and Phoenix had a delta-V of less than 1 mph—in other words, they were very minor fender-benders.
But let’s focus on the 23 most severe crashes: those that either caused an injury, caused an airbag to deploy, or both. These are good crashes to focus on not only because they do the most damage but because human drivers are more likely to report these types of crashes, making it easier to compare Waymo’s software to human drivers.
Most of these—16 crashes in total—involved another car rear-ending a Waymo. Some were quite severe: three triggered airbag deployments, and one caused a “moderate” injury. One vehicle rammed the Waymo a second time as it fled the scene, prompting Waymo to sue the driver.
There were three crashes where a human-driven car ran a red light before crashing into a Waymo:
One was the crash I mentioned at the top of this article. A car fleeing the police ran a red light and slammed into a Waymo, another car, and two pedestrians, causing several injuries.
In San Francisco, a pair of robbery suspects fleeing police in a stolen car ran a red light “at a high rate of speed” and slammed into the driver’s side door of a Waymo, triggering an airbag. The suspects were uninjured and fled on foot. The Waymo was thankfully empty.
In Phoenix, a car ran a red light and then “made contact with the SUV in front of the Waymo AV, and both of the other vehicles spun.” The Waymo vehicle was hit in the process, and someone in one of the other vehicles suffered an injury Waymo described as minor.
There were two crashes where a Waymo got sideswiped by a vehicle in an adjacent lane:
In San Francisco, Waymo was stopped at a stop sign in the right lane when another car hit the Waymo while passing it on the left.
In Tempe, Arizona, an SUV “overtook the Waymo AV on the left” and then “initiated a right turn,” cutting the Waymo off and causing a crash. A passenger in the SUV said they suffered moderate injuries.
Finally, there were two crashes where another vehicle turned left across the path of a Waymo vehicle:
In San Francisco, a Waymo and a large truck were approaching an intersection from opposite directions when a bicycle behind the truck made a sudden left in front of the Waymo. Waymo says the truck blocked Waymo’s vehicle from seeing the bicycle until the last second. The Waymo slammed on its brakes but wasn’t able to stop in time. The San Francisco Fire Department told local media that the bicyclist suffered only minor injuries and was able to leave the scene on their own.
A Waymo in Phoenix was traveling in the right lane. A row of stopped cars was in the lane to its left. As Waymo approached an intersection, a car coming from the opposite direction made a left turn through a gap in the row of stopped cars. Again, Waymo says the row of stopped cars blocked it from seeing the turning car until it was too late. A passenger in the turning vehicle reported minor injuries.
It’s conceivable that Waymo was at fault in these last two cases—it’s impossible to say without more details. It’s also possible that Waymo’s erratic braking contributed to a few of those rear-end crashes. Still, it seems clear that a non-Waymo vehicle bore primary responsibility for most, and possibly all, of these crashes.
“About as good as you can do”
One should always be skeptical when a company publishes a self-congratulatory report about its own safety record. So I called Noah Goodall, a civil engineer with many years of experience studying roadway safety, to see what he made of Waymo’s analysis.
“They’ve been the best of the companies doing this,” Goodall told me. He noted that Waymo has a team of full-time safety researchers who publish their work in reputable journals.
Waymo knows precisely how often its own vehicles crash because its vehicles are bristling with sensors. The harder problem is calculating an appropriate baseline for human-caused crashes.
That’s partly because human drivers don’t always report their own crashes to the police, insurance companies, or anyone else. But it’s also because crash rates differ from one area to another. For example, there are far more crashes per mile in downtown San Francisco than in the suburbs of Phoenix.
Waymo tried to account for these factors as it calculated crash rates for human drivers in both Phoenix and San Francisco. To ensure an apples-to-apples comparison, Waymo’s analysis excludes freeway crashes from its human-driven benchmark, since Waymo’s commercial fleet doesn’t use freeways yet.
Waymo estimates that human drivers fail to report 32 percent of injury crashes; the company raised its benchmark for human crashes to account for that. But even without this under-reporting adjustment, Waymo’s injury crash rate would still be roughly 60 percent below that of human drivers. The true number is probably somewhere between the adjusted number (70 percent fewer crashes) and the unadjusted one (60 percent fewer crashes). It’s an impressive figure either way.
Waymo says it doesn’t apply an under-reporting adjustment to its human benchmark for airbag crashes, since humans almost always report crashes that are severe enough to trigger an airbag. So it’s easier to take Waymo’s figure here—an 84 percent decline in airbag crashes—at face value.
Waymo’s benchmarks for human drivers are “about as good as you can do,” Goodall told me. “It’s very hard to get this kind of data.”
When I talked to other safety experts, they were equally positive about the quality of Waymo’s analysis. For example, last year, I asked Phil Koopman, a professor of computer engineering at Carnegie Mellon, about a previous Waymo study that used insurance data to show its cars were significantly safer than human drivers. Koopman told me Waymo’s findings were statistically credible, with some minor caveats.
Similarly, David Zuby, the chief research officer at the Insurance Institute for Highway Safety, had mostly positive things to say about a December study analyzing Waymo’s first 7.1 million miles of driverless operations.
I found a few errors in Waymo’s data
If you look closely, you’ll see that one of the numbers in this article differs slightly from Waymo’s safety website. Specifically, Waymo says that its vehicles get into crashes that cause injury 73 percent less often than human drivers, while the figure I use in this article is 70 percent.
This is because I spotted a couple of apparent classification mistakes in the raw data Waymo used to generate its statistics.
Each time Waymo reports a crash to the National Highway Traffic Safety Administration, it records the severity of injuries caused by the crash. This can be fatal, serious, moderate, minor, none, or unknown.
When Waymo shared an embargoed copy of its numbers with me early last week, it said that there had been 16 injury crashes. However, when I looked at the data Waymo had submitted to federal regulators, it showed 15 minor injuries, two moderate injuries, and one serious injury, for a total of 18.
When I asked Waymo about this discrepancy, the company said it found a programming error. Waymo had recently started using a moderate injury category and had not updated the code that generated its crash statistics to count these crashes. Waymo fixed the error quickly enough that the official version Waymo published on Thursday of last week showed 18 injury crashes.
However, as I continued looking at the data, I noticed another apparent mistake: Two crashes had been put in the “unknown” injury category, yet the narrative for each crash indicated an injury had occurred. One report said “the passenger in the Waymo AV reported an unspecified injury.” The other stated that “an individual involved was transported from the scene to a hospital for medical treatment.”
I notified Waymo about this apparent mistake on Friday and they said they are looking into it. As I write this, the website still claims a 73 percent reduction in injury crashes. But I think it’s clear that these two “unknown” crashes were actually injury crashes. So, all of the statistics in this article are based on the full list of 20 injury crashes.
I think this illustrates that I come by my generally positive outlook on Waymo honestly: I probably scrutinize Waymo’s data releases more carefully than any other journalist, and I’m not afraid to point out when the numbers don’t add up.
Based on my conversations with Waymo, I’m convinced these were honest mistakes rather than deliberate efforts to cover up crashes. I could only identify these mistakes because Waymo went out of its way to make its findings reproducible. It would make no sense to do that if the company simultaneously tried to fake its statistics.
Could there be other injury or airbag-triggering crashes that Waymo isn’t counting? It’s certainly possible, but I doubt there have been very many. You might have noticed that I linked to local media reporting for some of Waymo’s most significant crashes. If Waymo deliberately covered up a severe crash, there would be a big risk that a crash would get reported in the media and then Waymo would have to explain to federal regulators why it wasn’t reporting all legally required crashes.
So, despite the screwups, I find Waymo’s data to be fairly credible, and those data show that Waymo’s vehicles crash far less often than human drivers on public roads.
Tim Lee was on staff at Ars from 2017 to 2021. Last year, he launched a newsletter, Understanding AI, that explores how AI works and how it’s changing our world. You can subscribe here.
https://arstechnica.com/?p=2049121
AI, prima riunione del Bord Ue. Al via bando per le factories europee
La Commissione europea ha ospitato la prima riunione dell’AI Board dell’Ue
Sessione inaugurale a Bruxeles del Board europeo per l’intelligenza artificiale (AI) composto da rappresentanti di alto livello della Commissione europea e di tutti gli Stati membri dell’Unione.
Obiettivo primario confrontarsi su come migliorare lo sviluppo e l’adozione dell’AI nell’Unione e sui prossimi passi per implementare rapidamente l’AI Act.
I temi chiave
I temi chiave della prima riunione sono stati diversi:
<!-- ARUBA - 300x250 -->
organizzazione del Consiglio per l’intelligenza artificiale e adozione del regolamento interno;
aggiornamento e discussione strategica sulla politica dell’UE in materia di intelligenza artificiale, tra cui l’iniziativa GenAI4EU e le attività internazionali in materia di intelligenza artificiale;
aggiornamento sui progressi e confronto sui primi risultati della Commissione relativi all’attuazione della legge sull’intelligenza artificiale;
scambio di buone pratiche per gli approcci nazionali alla governance dell’intelligenza artificiale e l’attuazione della legge sull’intelligenza artificiale.
A questa prima riunione hanno preso parte come osservatori il Garante europeo della protezione dei dati (EDPS) e i rappresentanti SEE/EFTA di Norvegia, Liechtenstein e Islanda.
Aperto l’invito europeo per le AI Factories
Nello stesso giorno la Commissione europea ha lanciato l’invito a istituire le prime AI factories per fare in modo che l’Europa resti un mercato tecnologico innovativo all’avanguardia e competitivo a livello globale.
Lo stesso Mario Draghi nel suo Rapporto reso pubblico lunedì scorso, dal titolo “il Futuro della Competitività per la Ue”, ha sottolineato come l’AI è una priorità assoluta per l’Europa se vuole pensare di competere con l’alleato americano e su scala globale con la Cina.
Ogni factory sarà creata nell’ambito della rete europea di supercomputer HPC di massimo livello e messa a disposizione di selezionati utenti continentali, come centri di ricerca, industrie, imprese e startup.
“L’Europa è già all’avanguardia con la legge dell’UE sull’IA, garantendo che l’IA sia più sicura e affidabile. All’inizio di quest’anno abbiamo rispettato la promessa del mio discorso sullo stato dell’Unione aprendo i nostri computer ad alte prestazioni alle start-up europee nel settore dell’IA. Ora il nostro prossimo obiettivo è chiaro: L’Europa deve diventare un leader mondiale nell’innovazione in materia di IA. Le fabbriche di IA contribuiranno a garantire la nostra posizione in prima linea in questa tecnologia trasformativa, come indicato nei miei orientamenti politici per la prossima Commissione”, ha dichiarato in una nota Ursula von der Leyen, Presidente della Commissione europea.
La centralità della rete di supercomputer e supercalcolo EuroHPC
La “fabbriche” europee dell’AI saranno caratterizzate da potenza di calcolo, grandi dati e competenze avanzate. Avranno il ruolo di aiutare gli sviluppatori di intelligenza artificiale a formare i grandi modelli per l’AI generativa proprio utilizzando la rete di supercomputer EuroHPC e offrendo loro accesso ai dati e al supercalcolo.
Si potrà partecipare all’invito fino al 31 dicembre 2025, con prima scadenza al 4 novembre e le altre deadline intermedie fissate ogni tre mesi.
Le risorse finanziarie
Un miliardo di euro le risorse complessive stanziate per la call provenienti dai programmi Europa digitale e di Orizzonte Europa e un altro miliardo di euro sarà invece assicurato dagli Stati membri.
Il sostegno finanziario dell’Unione ai progetti di AI generativa si stima potrebbero generare investimenti pubblici e privati per circa 4 miliardi di euro entro il 2027.
L’intelligenza artificiale “Strawberry” di OpenAI è pronta. Arriva entro settembre
Secondo un rapporto di The Information , OpenAI si sta preparando a lanciare il suo modello di intelligenza artificiale potenzialmente basato sul ragionamento e sulla matematica, nome in codice “Strawberry“. L’AI, che potrebbe arrivare entro le prossime due settimane, segna un passo significativo nella ricerca di OpenAI per sviluppare sistemi di intelligenza artificiale più avanzati. La release iniziale sarebbe limitata a un piccolo gruppo di tester. Strawberry, precedentemente noto anche come Q* o Q-Star, è progettato per rafforzare le capacità di ragionamento.
Come funziona il sistema di ragionamento di Strawberry
Sebbene OpenAI non abbia ancora confermato i dettagli relativi al rilascio, si dice che il nuovo modello utilizzi uno stile di pensiero “System 2”, un concetto che lo psicologo Daniel Kahneman ha reso popolare nel suo libro Pensieri lenti e veloci . Il processo prevede una modalità di pensiero lenta, deliberata e analitica per il ragionamento cosciente. Al contrario, il System 1 è veloce, intuitivo ed emotivo.
Per quanto riguarda Strawberry, il sistema impiega significativamente più tempo a “pensare” rispetto al suo attuale modello GPT-4o. The Information riporta che impiegherà 10-20 secondi per elaborare i suoi input e le potenziali risposte prima di condividere una risposta finale per ridurre gli errori.
<!-- ARUBA - 300x250 -->
Visto che è facile fare confusione, Strawberry dovrebbe essere più una modalità che una vera e propria nuova intelligenza artificiale. Di fatto, l’opzione di ragionamento “lento” potrebbe essere integrata nel prossimo ChatGpt, conosciuto come Orion o GPT-5.
Il costo della formazione
Sebbene OpenAI non abbia rilasciato tutti i dettagli riguardanti l’addestramento di GPT-4, il CEO di OpenAI Sam Altman ha stimato che il costo per addestrare GPT-4 fosse “più di” 100 milioni di dollari”. Secondo alcune stime, il modello ha 1,76 trilioni di parametri; alcuni esperti hanno ipotizzato che la formazione dei modelli futuri potrebbe costare centinaia di milioni o addirittura miliardi di dollari, suscitando domande da parte di aziende come Goldman Sachs in merito al ritorno sull’investimento del settore. Nel 2023, Altman disse: “Penso che siamo alla fine dell’era in cui ci saranno questi modelli giganti e li miglioreremo in altri modi”.
Cosa c’entra STaR
Alcuni report di Reuters hanno evidenziato una possibile connessione tra Q*/Strawberry e STaR (Self-Taught Reasoner), altro progetto relativo all’intelligenza artificiale. Le somiglianze sono notevoli: STaR inizia con un piccolo set di esempi che dimostrano un ragionamento passo dopo passo (chiamato “razionale”). Quindi sollecita un modello linguistico di grandi dimensioni (LLM) per generare razionali per un set di dati più ampio di domande che non hanno razionali. Ciò è analogo al fornire all’LLM alcuni esempi elaborati e poi chiedergli di risolvere autonomamente problemi simili. Il processo è anche noto come “bootstrapping” e utilizza le capacità di ragionamento esistenti di un modello linguistico e le migliora iterativamente tramite un ciclo di autoapprendimento.
Ragionamenti a catena
Il ragionamento a catena di pensiero implica la scomposizione di un problema complesso in una serie di passaggi intermedi, ognuno dei quali forma una catena logica per il successivo. Gli esseri umani ragionano in modo simile, rendendo il processo di ragionamento più trasparente e più facile da comprendere rispetto al tradizionale apprendimento profondo, che può scoprire connessioni nascoste tra variabili ma non in modo spiegabile.
Sia STaR che Strawberry potrebbero avere successo nell’affrontare problemi matematici oggi irrisolti o comunque molto difficili da affrontare. Ne sapremo di più tra un paio di settimane.
--> 
