Google Gemini potrà «vedere» il mondo attraverso lo schermo e la fotocamera dello smartphone

Google ha avviato il rilascio di nuove funzionalità di IA per il suo chatbot, Gemini. Stando a quanto confermato al sito The Verge da un portavoce dell'azienda, presto Gemini potrà «vedere» il mondo attraverso lo schermo e la fotocamera dello smartphone. Si tratta di un'opzione simile alla modalità avanzata di ChatGpt che OpenAI ha svelato a fine 2024.

L'aggiornamento di Gemini arriva a quasi un anno di distanza da una dimostrazione in cui Big G testava le capacità di Project Astra, un progetto di ricerca volto a sviluppare un assistente IA universale avanzato.

La scoperta delle funzioni che entreranno a far parte di Gemini Live, modalità con cui l'assistente di Google intrattiene conversazioni più naturali e fluide con gli utenti, è emersa grazie alla segnalazione sui forum di Reddit, con una persona che avrebbe avuto accesso alla visione tramite un telefono a marchio Xiaomi.

Le novità di Gemini si articolano principalmente in due aree: la lettura dello schermo e l'interpretazione dei flussi video in diretta. La prima permette al chatbot di analizzare e rispondere a domande relative a ciò che viene visualizzato sul display del dispositivo, aprendo nuove possibilità per l'assistenza contestuale.

La seconda consente all'IA di 'leggere' i flussi video provenienti dalla fotocamera dello smartphone in tempo reale, fornendo risposte e suggerimenti basati su ciò che vede. Un esempio pratico è quando Gemini viene usato per ricevere consigli sulla scelta del colore di vernice per un oggetto in ceramica. A quanto pare, Google ha iniziato a distribuire entrambe le funzionalità agli abbonati Gemini Advanced come parte del piano Google One AI Premium.