Gemini: un nuova nuova falla potrebbe mettere a rischio la memoria dell’AI di Google

Lo scorso lunedì l’esperto di sicurezza informatica Johann Rehberger ha dimostrato un nuovo modo per eludere le protezioni integrate in Gemini, mettendo in evidenza un problema legato alla memoria a lungo termine dell’AI. L’attacco, una volta riuscito, consente di impiantare informazioni persistenti che influenzano tutte le sessioni future del chatbot. Ciò significa che un utente potrebbe interagire con Gemini dal proprio smartphone o dal proprio computer basandosi su dati o istruzioni falsate, senza avere consapevolezza dell’alterazione.

Il principio alla base di questa tecnica è semplice quanto efficace. I modelli di AI sono progettati per elaborare e rispondere a richieste contestuali, ma se un’informazione dannosa viene introdotta in modo strategico – ad esempio tramite una e-mail o un documento condiviso – il chatbot potrebbe assimilarla e utilizzarla senza alcun controllo effettivo. Rehberger aveva già dimostrato l’anno scorso come un attacco simile potesse forzare Microsoft Copilot a cercare e trasmettere dati sensibili dalla casella di posta di una vittima.

Per limitare i rischi, Google ha imposto restrizioni su alcune funzioni di Gemini, impedendo al chatbot di richiamare strumenti come Google Workspace in risposta a input potenzialmente non affidabili. Rehberger ha però trovato un modo per aggirare queste barriere utilizzando un metodo noto come “invocazione ritardata dello strumento”. Invece di fornire un comando diretto, l’attacco condiziona l’azione del chatbot a una futura interazione dell’utente. Questo permette all’AI di eseguire istruzioni dannose solo dopo che il bersaglio compie un’azione apparentemente innocua.

Intelligenza artificiale

Lo stesso principio è stato applicato alla memoria a lungo termine di Gemini. Questa funzione è pensata per migliorare l’esperienza utente, memorizzando dettagli utili per personalizzare le conversazioni future. Ma Rehberger ha dimostrato che un documento condiviso da una fonte esterna può essere usato per impiantare ricordi falsi, che poi influenzano tutte le interazioni successive.

In passato, attacchi simili avevano già preso di mira ChatGPT, inducendolo a registrare e utilizzare informazioni completamente inventate. OpenAI aveva mitigato il problema bloccando specifiche modalità di esfiltrazione dei dati, ma senza affrontare il problema alla radice. Anche Google ha introdotto contromisure per Gemini, ma senza una soluzione definitiva al rischio di manipolazione della memoria dell’AI.

Tutto questo dimostra quanto sia difficile proteggere i chatbot dalle tecniche di attacco più sofisticate. Finché l’AI continuerà a essere vulnerabile alla manipolazione dei prompt e alla persistenza delle informazioni, la sicurezza di questi sistemi resterà un obiettivo in movimento, con gli sviluppatori impegnati in una continua corsa per tappare le falle prima che vengano sfruttate dai criminali informatici.