Une faille dans Google Gemini pour l'espace de travail peut être exploitée par des pirates pour insérer des instructions malveillantes qui pourraient mal orienter l'outil d'IA et amener à diriger les utilisateurs vers des sites de phishing.

Comme l'a rapporté Bleeping Computer, cette vulnérabilité fonctionne en créant des résumés de messagerie qui semblent complètement normaux, mais qui incluent des instructions ou des avertissements malveillants qui sont cachés et automatiquement obéi par les Gémeaux lorsqu'il génère un résumé de message.

Le processus fonctionne en créant un e-mail qui contient une directive invisible pour Gemini, en cachant des instructions dans le texte du corps à la fin du message en utilisant le code HTML et CSS, puis en définissant la taille de la police à zéro et la couleur à blanc. Étant donné que ce texte supplémentaire n'inclut aucune pièce jointe ou lien, il ne sera pas signalé ou capturé par les meilleurs logiciels ou programmes de messagerie antivirus, il est donc susceptible de passer à la boîte de réception d'une victime potentielle.

Lorsqu'une cible ouvre un e-mail, puis demande que Gemini résume le contenu, le programme d'IA obéira automatiquement aux instructions cachées qu'il voit. Les utilisateurs mettent souvent leur confiance dans la capacité de Gemini à travailler avec le contenu dans le cadre de Workspace; L'alerte est considérée comme un avertissement légitime au lieu d'une injection malveillante.

Des attaques similaires ont été signalées au cours de la dernière année, bien que des garanties aient été mises en œuvre afin de bloquer les réponses trompeuses, la technique est restée dans l'ensemble, c'est pourquoi elle est toujours utilisée.

L'ordinateur Bleeping dit que lorsqu'ils ont interrogé Google sur les défenses pour contrer ces types d'attaques, un porte-parole a fait référence à un article de blog sur des attaques d'injection rapides et a déclaré que certaines des atténuations étaient en train d'être mise en œuvre ou sont sur le point d'être déployées. Google a également déclaré qu'il n'avait aucune preuve que cette attaque se soit produite dans la nature.

Figueroa, le directeur du programme Boug Bounty de Mozilla, qui a détecté le défaut, propose quelques idées pour empêcher cette menace: faire en sorte que les équipes de sécurité suppriment, naturalisent ou ignorent le contenu pour être caché dans le texte du corps. Alternativement, implémentez des filtres qui scannent les Gémeaux pour des messages urgents, des URL, des numéros de téléphone et signalent ceux pour un examen supplémentaire des utilisateurs.

Pour l'instant cependant, il vous suffit d'être prudent lorsque les Gémeaux résument vos e-mails car vous ne savez jamais ce qui pourrait se cacher à l'intérieur. Espérons que Google déploie un correctif pour ce nouveau type d'attaque le plus tôt possible.