Patches do Slack provocam falha de injeção de código

Patches do Slack provocam falha de injeção de código no conjunto de ferramentas de IA.

Hackers podem explorar bug para manipular o LLM do Slack AI para roubar dados

O aplicativo de bate-papo Slack corrigiu uma vulnerabilidade em seu conjunto de ferramentas de inteligência artificial que hackers poderiam ter explorado para manipular um grande modelo de linguagem subjacente para enganar funcionários e roubar dados confidenciais.

O cliente de texto de propriedade da Salesforce oferece o Slack AI como um serviço adicional. Ele diz que a função usa os “dados de conversação já no Slack para criar uma experiência de IA intuitiva e segura, adaptada a você e sua organização”.

Pesquisadores da PromptArmor encontraram uma falha na forma de uma vulnerabilidade de injeção de prompt. Falhas de injeção de prompt existem porque LLMs não conseguem reconhecer se uma instrução é maliciosa ou não. “Assim, se o Slack AI ingere qualquer instrução por meio de uma mensagem, se essa instrução for maliciosa, o Slack AI tem uma alta probabilidade de seguir essa instrução em vez de, ou além da, consulta do usuário”, disseram os pesquisadores .

Hackers com uma conta no Slack Workspace podem ter explorado a falha para roubar arquivos comerciais ou dados confidenciais compartilhados na plataforma de colaboração simplesmente consultando a ferramenta de IA para buscá-los, apresentando um risco significativo de exposição de dados, disseram os pesquisadores.

Quando solicitado, o Slack AI recupera dados de canais públicos e privados, mesmo aqueles dos quais o funcionário que faz a consulta não faz parte. Isso pode expor chaves de API e dados confidenciais de clientes em canais privados, que um hacker pode potencialmente exfiltrar e abusar.

Atores mal-intencionados também poderiam ter explorado a falha para injetar prompts maliciosos para phishing de funcionários para obter acesso mais amplo à organização alvo. Os locais de trabalho podem conectar o Slack ao armazenamento de terceiros, aumentando a área de superfície de risco para a falha mais recente. Os hackers poderiam injetar instruções maliciosas nos documentos. “O problema aqui é que a área de superfície de ataque se torna fundamentalmente extremamente ampla. Agora, em vez de um invasor ter que postar uma instrução maliciosa em uma mensagem do Slack, ele pode nem precisar estar no Slack”, disseram os pesquisadores.

A equipe do PromptArmor disse que o ataque é “muito difícil” de rastrear, pois o Slack AI não cita a mensagem do invasor como fonte para a saída. Os pesquisadores aconselharam alterar as configurações do Slack AI para restringir a análise de documentos para limitar o acesso a informações confidenciais.

Eles disseram que divulgaram a vulnerabilidade ao Slack em 14 de agosto e trabalharam com a empresa para corrigir o problema ao longo de uma semana.

O Slack descreveu a falha para os pesquisadores como “comportamento intencional”, disseram os pesquisadores. Em uma postagem de blog, o Slack disse que era um bug de baixa gravidade que poderia permitir que um hacker com uma conta no mesmo espaço de trabalho fizesse phishing em usuários para obter “certos dados” em “circunstâncias muito limitadas e específicas”. O Slack disse que não há evidências de acesso não autorizado ou exploração de dados de clientes neste momento.

Fonte: The Register