Sleepy Pickle Exploit permite que invasores explorem modelos de ML

26/06/2024 mindsecblog Notícias 1

Sleepy Pickle Exploit permite que invasores explorem modelos de ML e ataquem usuários finais.

Os hackers estão visando, atacando e explorando modelos de ML. Eles querem invadir esses sistemas para roubar dados confidenciais, interromper serviços ou manipular resultados a seu favor.

Ao comprometer os modelos de ML, os hackers podem degradar o desempenho do sistema, causar perdas financeiras e prejudicar a confiança e a confiabilidade dos aplicativos baseados em IA.

Analistas de segurança cibernética da Trail of Bits descobriram recentemente que a exploração do Sleepy Pickle permite que os agentes de ameaças explorem os modelos de ML e ataquem os usuários finais.

Análise Técnica

Os pesquisadores revelaram o Sleepy Pickle, um ataque desconhecido que explora o formato inseguro Pickle para distribuição de modelos de aprendizado de máquina.

Ao contrário das técnicas anteriores que comprometem sistemas de implantação de modelos, o Sleepy Pickle injeta furtivamente código malicioso no modelo durante a desserialização.

Free Webinar on API vulnerability scanning for OWASP API Top 10 vulnerabilities -> Book Your Spot

Isso permite modificar os parâmetros do modelo para inserir backdoors ou controlar saídas e conectar métodos do modelo para adulterar os dados processados, comprometendo a segurança, proteção e privacidade do usuário final.

A técnica fornece um arquivo pickle criado com códigos maliciosos contendo o modelo e a carga útil. Quando desserializado, o arquivo é executado, modificando o modelo na memória antes de devolvê-lo à vítima.

Corrompendo um modelo de ML por meio de injeção de arquivo pickle (Fonte – Trilha de Bits)

Sleepy Pickle oferece aos agentes mal-intencionados uma base poderosa em sistemas de ML, injetando furtivamente cargas úteis que alteram dinamicamente os modelos durante a desserialização.

Isso supera as limitações dos ataques convencionais à cadeia de suprimentos, não deixando rastros no disco, personalizando gatilhos de carga útil e ampliando a superfície de ataque para qualquer arquivo pickle na cadeia de suprimentos do alvo.

Ao contrário do upload de modelos secretamente maliciosos, o Sleepy Pickle esconde a malícia até o tempo de execução.

Os ataques podem modificar os parâmetros do modelo para inserir backdoors ou métodos de gancho para controlar entradas e saídas, permitindo ameaças desconhecidas, como assistentes de IA generativos que fornecem conselhos prejudiciais após a correção de peso envenenar o modelo com informações incorretas.

A natureza dinâmica e sem rastros da técnica evita defesas estáticas.

Comprometer um modelo para fazê-lo gerar resultados prejudiciais (Fonte – Trilha de Bits)

Os modelos LLM que processam dados confidenciais apresentam riscos. Os pesquisadores comprometeram um modelo para roubar informações privadas durante a concepção, injetando dados de gravação de código acionados por uma palavra secreta.

As medidas de segurança tradicionais foram ineficazes porque o ataque ocorreu dentro do modelo.

Esse vetor de ameaça desconhecido emergente dos sistemas de ML ressalta seu potencial de abuso além das superfícies de ataque tradicionais.

Comprometendo um modelo para roubar dados privados de usuários (Fonte – Trilha de Bits)

Além disso, existem outros tipos de aplicativos resumidores, como aplicativos de navegador , que melhoram a experiência do usuário resumindo páginas da web.

Como os usuários confiam nesses resumos, comprometer o modelo por trás deles para gerar resumos prejudiciais pode ser uma ameaça real e permitir que um invasor forneça conteúdo malicioso.

Depois que os resumos alterados com links maliciosos são retornados aos usuários, eles podem clicar nesse link e se tornarem vítimas de golpes de phishing ou malware.