Ecco i principi alla base di Magic Pointer, destinato ad arrivare anche su Gemini in Chrome

Ecco i principi alla base di Magic Pointer, destinato ad arrivare anche su Gemini in Chrome


Nella serata di ieri, durante il The Android Show | I/O Edition, Google ha annunciato ufficialmente i Googlebook, una nuova categoria di notebook Android che punteranno tutto sulla profonda integrazione con gli smartphone, su un’interfaccia moderna e intuitiva e sull’intelligenza artificiale che si concretizza già a partire dal puntatore del mouse, ribattezzato in Magic Pointer.

Questo elemento è stato sviluppato dal team di Google DeepMind che, in seguito all’annuncio, ha condiviso maggiori dettagli sul principio che sta alla base dei puntatori basati sull’IA. Andiamo a scoprire tutti i dettagli.

Segui TuttoAndroid su Google Discover

Offerta

Magic Pointer: l’IA è integrata nel puntatore del mouse

I Googlebook sono progettati per Gemini Intelligence, la nuova declinazione agenziale di Gemini che permetterà agli utenti di concentrarsi su ciò che è importante, lasciando in mano all’assistente tutte le operazioni di routine, ripetitive e secondarie.

In fase di annuncio della nuova categoria di laptop, Google ha suggerito che “tutto inizia con il puntatore, la prima cosa che vedi quando apri il tuo portatile” e, di conseguenza, dalle parti di Mountain View hanno cercato di reinventare questo elemento che non riceveva grossi cambiamenti dall’introduzione del clic con il tasto destro del mouse.

Proprio per questo motivo, Big G ha coinvolto il team di DeepMind per trovare una soluzione e il lavoro di sviluppo è sfociato nel nuovo Magic Pointer, un puntatore potenziato con le capacità di Gemini: basta muovere il mouse per far prendere vita al puntatore; esso offrirà suggerimenti rapidi e contestuali ogni volta che l’utente punta qualcosa sullo schermo.

Il puntatore del mouse entra nell’era dell’IA

Il team di Google DeepMind ha quindi condiviso sul proprio blog un post chiamato Reinventare il puntatore del mouse per l’era dell’intelligenza artificiale in cui vengono forniti maggiori dettagli su tutto ciò che sta alla base di Magic Pointer e sulle interfacce utente del futuro.

Il puntatore del mouse è da sempre un compagno inseparabile sugli schermi dei computer, presente su ogni sito web, documento e flusso di lavoro. Nonostante l’evoluzione tecnologica, il puntatore è rimasto pressoché invariato per oltre mezzo secolo.

Abbiamo esplorato nuove funzionalità basate sull’intelligenza artificiale per aiutare il puntatore non solo a capire cosa sta indicando, ma anche perché è importante per l’utente.

Il nostro obiettivo è risolvere una frustrazione comune: poiché un tipico strumento di intelligenza artificiale funziona in una finestra separata, gli utenti devono trascinare il proprio mondo al suo interno. Noi vogliamo l’opposto: un’IA intuitiva che si integri con gli utenti in tutti gli strumenti che utilizzano, senza interrompere il loro flusso di lavoro. Ad esempio, immaginate di indicare l’immagine di un edificio e di chiedere “Mostrami le indicazioni stradali”. Non serve altro quando il sistema di IA comprende già il contesto.

Il team di Google DeepMind ha sviluppato quattro principi di interazione che, sfruttati all’unisono, consentono a un computer di comprendere il contesto e le intenzioni di un utente basandosi sul linguaggio naturale e su interazioni più semplici e intuitive.

1. Mantenere il flusso di lavoro, senza deviazioni

Il primo principio prevede che il puntatore basato sull’IA sia disponibile ovunque l’utente stia lavorando, senza discriminazioni tra le app e le parti del sistema operativo.

Ad esempio, potrebbe puntare su un PDF e richiedere un riepilogo puntato da incollare direttamente in una e-mail, passare il mouse sopra una tabella di statistiche e richiedere un grafico a torta, oppure evidenziare una ricetta e chiedere che tutti gli ingredienti vengano raddoppiati.

2. Acquisizione del contesto visivo e semantico

Il secondo principio prevede che un puntatore basato sull’IA debba semplificare il processo di acquisizione del contesto visivo e semantico che sta attorno al puntatore, elemento che “avrà gli occhi” per vedere e comprendere ciò che è importante per l’utente.

Nel nostro sistema sperimentale, basta puntare e l’IA sa esattamente quale parola, paragrafo, parte di un’immagine o blocco di codice l’utente necessita di aiuto.

3. Comprensione di indicazioni “naturali”

Il terzo principio prevede che un puntatore basato sull’IA sia in grado di comprendere il linguaggio naturale e sintetico (“aggiusta questo”, “sposta quello qui”, “cosa significa questo?”) per trasformare le interazioni con i computer in qualcosa che si avvicina alle interazioni quotidiane.

4. Dare vita ai pixel presenti sullo schermo

Il quarto principio prevede che un puntatore basato sull’IA non si limiti a tracciare dove stiamo puntando ma sia in grado di comprendere cosa stiamo puntando, trasformando i pixel presenti sullo schermo in entità strutturate (luoghi, date, oggetti) con cui è possibile interagire all’istante.

La foto di un appunto scarabocchiato diventa una lista di cose da fare interattiva; un fotogramma in pausa di un video di viaggio diventa un link per prenotare quel ristorante dall’aspetto invitante.

Questi principi arriveranno in Chrome e sui Googlebook

Il team di Google DeepMind fa sapere che questi principi, pensati per far sì che le tecnologie si adattino al comportamento umano (invece del contrario), verranno integrati nella funzione di puntamento in Chrome oltre che nella nuova esperienza utente fornita dai Googlebook (i primi esponenti della categoria sono attesi in autunno):

  • Per quanto concerne Chrome, l’integrazione si concretizza con Gemini in Chrome e il puntatore consente di chiedere all’assistente su una parte specifica di una pagina Web (ad esempio, si possono selezionare alcuni prodotti da una pagina e chiedere di confrontarli).
  • Per quanto concerne i Googlebook, come anticipato, il puntatore basato sull’IA si concretizzerà come Magic Pointer per permettere agli utenti di avere sempre Gemini a portata di mano.

In conclusione, segnaliamo che il team di DeepMind ha messo a punto due demo di puntatori basati sull’intelligenza artificiale all’interno di Google AI Studio (le pagine sono raggiungibili tramite i link sottostanti).

Modifica un’immagine | Trova i luoghi su una mappa

Spunta TuttoAndroid.net come fonte preferita su Google



Vedi Post Originale: https://www.tuttoandroid.net/news/2026/05/13/google-deepmind-googlebook-magic-pointer-principi-1153329/

Condividi il tuo amore
Tutto Android
Tutto Android
Articoli: 31314

Lascia una risposta

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *