Vemos você usando o Gemini para phishing e scripts

07/02/2025 mindsecblog Notícias 0

Vemos você usando o Gemini para phishing e scripts, diz Google para o Irã. Estamos em cima de você.

E você, China, Rússia, Coreia do Norte … As proteções bloqueiam a geração de malware

O Google diz que viu agentes do governo chinês, russo, iraniano e norte-coreano usando sua IA Gemini para fins nefastos, com Teerã de longe o usuário travesso mais frequente dos quatro.

O gigante da web tem rastreado o uso do Gemini por essas nações, usando não apenas coisas simples, presumivelmente como endereços IP, para identificá-los, mas uma combinação de sinais técnicos e padrões de comportamento, nos disseram.

E embora esses bisbilhoteiros apoiados pelo Estado tenham conseguido usar o Gemini para traduzir e adaptar iscas de phishing para vítimas específicas, procurar informações sobre alvos de vigilância e escrever alguns scripts de software, o Google admitiu, o negócio afirma que suas proteções pelo menos impediram sua IA de gerar malware.

No geral, o golias da internet americana avalia que o Irã e outros não estão fazendo nada muito ultrajante e estão principalmente pedindo ao LLM informações e orientações como foi projetado. Em outras palavras, governos estrangeiros estão usando o Google AI para coisas ruins, mas não é tão ruim, ou assim nos dizem.

“Embora a IA possa ser uma ferramenta útil para os agentes de ameaças, ainda não é o divisor de águas que às vezes é retratado”, disse o Google em um relatório do Threat Intelligence Group (TIG) [PDF] esta semana. “Embora vejamos agentes de ameaças usando IA generativa para executar tarefas comuns, como solução de problemas, pesquisa e geração de conteúdo, não vemos indícios de que eles desenvolvam novos recursos.”

Embora a IA possa ser uma ferramenta útil para os agentes de ameaças, ela ainda não é o divisor de águas que às vezes é retratado

Os espiões iranianos foram responsáveis por 75% de todo o uso observado do Gemini pelos agentes do quarteto acima mencionado, observa o relatório do TIG. A equipe do Google identificou mais de 10 equipes cibernéticas apoiadas pelo Irã usando o serviço de IA, com algumas particularmente focadas na pesquisa de segurança relacionada ao Android. De forma mais ampla, esses grupos usaram o Gemini para reconhecimento, pesquisa de vulnerabilidades, identificação de provedores de hospedagem gratuita e criação de personas e conteúdo locais para operações cibernéticas. Notavelmente, a unidade APT42 do Irã aproveitou o Gemini para criar conteúdo de phishing, representando 30% de toda a atividade iraniana de APT, ou agentes de ameaças avançadas, na plataforma.

Os espiões chineses também o usam para criação de conteúdo e pesquisa básica, com 20 grupos do Império do Meio identificados até agora. Grande parte dessa atividade se concentra na pesquisa de instituições governamentais dos EUA, enquanto bisbilhoteiros apoiados por Pequim também buscaram assistência com sistemas relacionados à Microsoft e trabalho de tradução, de acordo com o relatório.

O Google também diz que viu agentes norte-coreanos usando seu LLM para escrever pedidos de emprego para trabalhadores de TI como parte dos esforços contínuos da nação eremita para inserir seus trabalhadores em empresas ocidentais. Nove grupos distintos de noruegueses também tentaram encontrar fóruns de freelancers no Discord e informações relacionadas à tecnologia militar e nuclear sul-coreana, por meio do Gemini.

Os russos são usuários relativamente leves do Gemini, ao que parece, com apenas três grupos observados pela equipe. O Google especula que isso pode ser devido ao uso de LLMs gerados internamente ou à tentativa de limitar a exposição para evitar serem monitorados. Ou talvez eles sejam realmente bons em esconder o uso do LLM.

Cerca de 40% da atividade russa veio de operadoras ligadas a “entidades patrocinadas pelo Estado russo anteriormente controladas pelo falecido oligarca russo Yevgeny Prigozhin”, disse o gigante da nuvem. Presumivelmente, isso significa o Grupo Wagner e suas ramificações. O Google observa que um agente russo usou o Gemini para gerar e manipular conteúdo, incluindo a reescrita de artigos com uma inclinação pró-Kremlin para uso em campanhas de influência. Este é exatamente o tipo de travessuras que a Agência de Pesquisa da Internet de Prigozhin costumava fazer.

Quando se trata de quebrar as proteções da Gemini e explorar o mecanismo para escrever código malicioso ou fornecer informações pessoais, o Google afirma que o LLM está bloqueando com sucesso essas tentativas. Ele notou um aumento no número de pessoas tentando usar prompts de jailbreak conhecidos publicamente e, em seguida, adaptando-os um pouco na tentativa de contornar os filtros, mas eles parecem ineficazes.

A gigante da publicidade relatou que um caso envolveu uma solicitação para incorporar texto codificado em um executável e uma tentativa separada de gerar código Python para um ataque de negação de serviço. Enquanto a Gemini processava uma solicitação de conversão de Base64 para hexadecimal, ela recusou outras consultas maliciosas.

O Google também detectou tentativas de usar o Gemini para pesquisar métodos para abusar de seus outros serviços. A empresa afirma que seus sistemas de segurança bloquearam esses esforços e que está trabalhando em melhorias adicionais nessas defesas. Além disso, sua ala DeepMind também é mencionada porque o laboratório aparentemente está criando maneiras de proteger os serviços de IA de ataques e consultas proibidas.

“O Google DeepMind também desenvolve modelos de ameaças para IA generativa para identificar possíveis vulnerabilidades e cria novas técnicas de avaliação e treinamento para lidar com o uso indevido causado por elas”, acrescentou o relatório.

“Em conjunto com esta pesquisa, a DeepMind compartilhou como eles estão implantando ativamente defesas em sistemas de IA, juntamente com ferramentas de medição e monitoramento, uma das quais é uma estrutura de avaliação robusta usada para equipar automaticamente a vulnerabilidade de um sistema de IA a ataques indiretos de injeção imediata.”