Pesquisadores invadem memórias do ChatGPT e recursos de busca na web.
Pesquisadores da Tenable descobriram sete vulnerabilidades, incluindo algumas que afetam o modelo GPT mais recente, técnicas de ataque que podem ser exploradas para roubo de dados e outros fins maliciosos.
Os métodos de ataque estão relacionados a diversas funcionalidades. Uma delas é a funcionalidade “bio”, também conhecida como “memórias”, que permite ao ChatGPT memorizar os dados e preferências do usuário entre as sessões de bate-papo.
Outra funcionalidade é a função de linha de comando ‘open_url’, usada pelo modelo de IA para acessar e renderizar o conteúdo de um endereço de site específico. Essa função utiliza o SearchGPT, um modelo de aprendizado de máquina diferente, especializado em navegação na web, que possui capacidades limitadas e não tem acesso à memória do usuário. O SearchGPT fornece suas descobertas ao ChatGPT, que então as analisa e compartilha as informações relevantes com o usuário.
Os pesquisadores da Tenable também analisaram o endpoint ‘url_safe’, que foi projetado para verificar se uma URL é segura antes de exibi-la ao usuário.
Em primeiro lugar, os pesquisadores descobriram que, quando o ChatGPT é solicitado a resumir o conteúdo de um determinado site, o SearchGPT analisa o site e executa quaisquer comandos de IA encontrados nele, incluindo instruções inseridas na seção de comentários do site. Isso permite que o invasor insira comandos maliciosos em sites populares que provavelmente serão resumidos pelo ChatGPT a pedido do usuário.
Os especialistas da Tenable também demonstraram que o usuário não precisa necessariamente fornecer ao ChatGPT o URL de um site com instruções maliciosas. Em vez disso, os atacantes podem criar um novo site que provavelmente aparecerá nos resultados de busca para tópicos específicos. O ChatGPT utiliza o rastreador do Bing e da OpenAI para realizar buscas na web.
Em seus experimentos, a Tenable criou um site “malicioso” para a LLM Ninjas. Quando o ChatGPT foi solicitado a fornecer informações sobre a LLM Ninjas, o site malicioso foi acessado pelo SearchGPT, que executou um prompt oculto inserido no site.
Outro método de injeção de prompts — o mais simples, segundo a Tenable — consistia em enganar o usuário para que abrisse um URL no formato ‘chatgpt.com/?q={prompt}’. A consulta no parâmetro ‘q’, incluindo prompts maliciosos, seria executada automaticamente ao clicar no link.
A Tenable também descobriu que o endpoint ‘url_safe’ sempre trataria bing.com como um domínio seguro. Atores maliciosos poderiam usar URLs do Bing especialmente criadas para exfiltrar dados de usuários. O atacante também pode atrair usuários para um site de phishing usando URLs de rastreamento de cliques do Bing, os longos URLs do Bing.com que servem como um link intermediário entre os resultados da pesquisa e o site de destino final.
Embora o SearchGPT não tenha acesso aos dados do usuário, os pesquisadores descobriram um método que apelidaram de “injeção de conversa”, que consiste em fazer com que o SearchGPT forneça ao ChatGPT uma resposta que terminaria com um comando a ser executado pelo ChatGPT.
O problema era que a saída do SearchGPT, que continha a mensagem maliciosa, estava visível para o usuário. No entanto, a Tenable descobriu que um atacante poderia ocultar esse conteúdo do usuário adicionando-o a blocos de código, o que impede a renderização dos dados que estão na mesma linha da abertura do bloco de código.
Pesquisadores da Tenable encadearam essas vulnerabilidades para diversos ataques de ponta a ponta. Em um exemplo, o usuário pede ao ChatGPT para resumir um blog onde o atacante adicionou um aviso malicioso na seção de comentários do site. O SearchGPT navega pela postagem, o que leva à injeção de um aviso que induz o usuário a clicar em um link que aponta para um site de phishing. Usando uma URL intermediária do Bing, o atacante consegue burlar a verificação ‘url_safe’.
Em outro exemplo, o URL intermediário do Bing é usado para exfiltrar os dados do usuário, incluindo memórias e histórico de bate-papo, por meio de URLs especialmente criados.
A Tenable descobriu que as memórias podem não apenas ser exfiltradas, mas também injetadas. Seus pesquisadores demonstraram como a injeção de prompts pode ser usada para adicionar uma memória que instrui o chatbot de IA a exfiltrar os dados do usuário por meio de URLs do Bing cuidadosamente elaboradas que exploram a vulnerabilidade ‘url_safe’.
A OpenAI foi informada sobre as descobertas e corrigiu algumas das vulnerabilidades, mas a injeção imediata continuará sendo um desafio fundamental de segurança para os modelos de aprendizado de máquina. A Tenable observou que alguns desses métodos de ataque ainda funcionam, mesmo contra o modelo GPT-5 mais recente.
Por: Eduard Kovacs Eduard Kovacs (@EduardKovacs) é o editor-chefe do SecurityWeek.
Veja também:
- Louvre senha: Louvre
- Cresce número de incidentes reportados à ANPD
- Empresas tem desafio de equilibrar segurança cibernética e inovação
- A falsa sensação de segurança
- Incidente AWS reforça importânica do BCP
- Da inovação à proteção: os desafios da cibersegurança na era da IA
- Guerra digital: como a segurança dos pagamentos se reinventa
- Como SOCs enfrentam as ameaças cibernéticas no Brasil
- Novas vulnerabilidades de IA abrem caminho para vazamento de dados
- 38% dos internautas brasileiros utilizam VPNs regularmente
- Protocolo DeFi sofre ataque de R$ 688 milhões
- Microsoft é alvo de 40% dos ataques de phishing de marca


Be the first to comment