Por que a IA oculta pode ser seu maior ponto cego de segurança

O que é IA paralela e por que agora?

As ferramentas de IA fazem parte da TI corporativa há bastante tempo. Elas vêm ajudando as equipes de segurança a detectar atividades incomuns e filtrar ameaças como spam desde o início dos anos 2000. Mas desta vez é diferente. Desde o sucesso estrondoso da ferramenta ChatGPT da OpenAI em 2023, quando o chatbot conquistou 100 milhões de usuários em seus dois primeiros meses, os funcionários têm se impressionado com o potencial da IA ​​generativa para facilitar suas vidas. Infelizmente, as empresas têm demorado mais para aderir a essa tecnologia.
Isso criou um vácuo que os usuários frustrados estão mais do que dispostos a preencher. Embora seja impossível medir com precisão uma tendência que, por sua própria natureza, existe nas sombras, a Microsoft estima que 78% dos usuários de IA agora trazem suas próprias ferramentas para o trabalho . Não é coincidência que 60% dos líderes de TI estejam preocupados com o fato de os executivos seniores não terem um plano para implementar a tecnologia oficialmente.
Chatbots populares como ChatGPT, Gemini ou Claude podem ser facilmente usados ​​e/ou baixados em dispositivos móveis ou laptops para uso em casa. Eles oferecem a alguns funcionários a perspectiva tentadora de reduzir a carga de trabalho, facilitar o cumprimento de prazos e liberá-los para trabalhar em tarefas de maior valor agregado.

Além dos modelos públicos de IA

Aplicativos independentes como o ChatGPT representam uma grande parte do desafio da IA ​​oculta. Mas eles não abrangem toda a extensão do problema. A tecnologia também pode se infiltrar nas empresas por meio de extensões de navegador. Ou até mesmo por meio de recursos em softwares empresariais legítimos que os usuários ativam sem o conhecimento da TI.
Existe também a IA agente: a próxima onda de inovação em IA centrada em agentes autônomos, projetados para trabalhar de forma independente e concluir tarefas específicas definidas por humanos. Sem as devidas salvaguardas, eles poderiam potencialmente acessar bancos de dados sensíveis e executar ações não autorizadas ou maliciosas. Quando alguém perceber, pode ser tarde demais.

Quais são os riscos da IA ​​paralela?

Tudo isso levanta enormes riscos potenciais de segurança e conformidade para as organizações. Considere, em primeiro lugar, o uso não autorizado de modelos de IA públicos. A cada solicitação, existe o risco de que os funcionários compartilhem dados sensíveis e/ou regulamentados . Podem ser atas de reuniões, propriedade intelectual, código ou informações de identificação pessoal (PII) de clientes/funcionários. Tudo o que é inserido é usado para treinar o modelo e, portanto, pode ser reutilizado por outros usuários no futuro. Além disso, esses dados são armazenados em servidores de terceiros, potencialmente em jurisdições que não possuem os mesmos padrões de segurança e privacidade que a sua.
Isso não será bem visto pelos órgãos reguladores de proteção de dados (por exemplo, GDPR, CCPA, etc.). Além disso, expõe ainda mais a organização, permitindo potencialmente que funcionários da empresa desenvolvedora do chatbot visualizem suas informações confidenciais. Os dados também podem ser vazados ou violados por esse provedor, como aconteceu com a empresa chinesa DeepSeek .
Os chatbots podem conter vulnerabilidades de software e/ou backdoors que expõem a organização, sem o seu conhecimento, a ameaças direcionadas. Além disso, qualquer funcionário que deseje baixar um chatbot para fins de trabalho pode, acidentalmente, instalar uma versão maliciosa, projetada para roubar informações confidenciais de seu computador. Existem diversas ferramentas falsas de GenAI disponíveis, criadas especificamente para esse propósito.
Os riscos vão além da exposição de dados. O uso não autorizado de ferramentas de programação, por exemplo, pode introduzir bugs exploráveis ​​em produtos voltados para o cliente, caso os resultados não sejam devidamente verificados. Mesmo o uso de ferramentas de análise baseadas em IA pode ser arriscado se os modelos tiverem sido treinados com dados tendenciosos ou de baixa qualidade, levando a decisões equivocadas.
Agentes de IA também podem introduzir conteúdo falso e código com erros, ou realizar ações não autorizadas sem que seus controladores humanos sequer percebam. As contas que esses agentes precisam para operar também podem se tornar alvos frequentes de sequestro se suas identidades digitais não forem gerenciadas com segurança.
Alguns desses riscos ainda são teóricos, outros não. Mas a IBM afirma que, no ano passado, 20% das organizações já sofreram uma violação de segurança devido a incidentes envolvendo IA paralela (shadow AI). Para aquelas com altos níveis de IA paralela, isso pode adicionar até US$ 670.000 aos custos médios de uma violação, segundo cálculos da empresa. Violações relacionadas à IA paralela podem causar danos financeiros e de reputação significativos, incluindo multas por descumprimento de normas. Mas decisões de negócios tomadas com base em resultados falhos ou corrompidos podem ser igualmente prejudiciais, ou até mais, especialmente porque provavelmente passarão despercebidas.

Revelando a verdadeira natureza da IA ​​oculta.

Independentemente das medidas que você tome para lidar com esses riscos, adicionar cada nova ferramenta de IA não autorizada que encontrar a uma “lista de bloqueio” não será suficiente. É preciso reconhecer que essas tecnologias estão sendo usadas, entender a extensão e a finalidade do uso e, em seguida, criar uma política de uso aceitável realista. Isso deve ser feito em conjunto com testes internos e diligência prévia em relação aos fornecedores de IA, para entender onde existem riscos de segurança e conformidade em determinadas ferramentas.
Não existem duas organizações iguais. Portanto, elabore suas políticas com base na sua tolerância ao risco corporativo. Quando determinadas ferramentas forem proibidas, tente oferecer alternativas que os usuários possam ser incentivados a adotar. E crie um processo simples para que os funcionários solicitem acesso a novas ferramentas que você ainda não descobriu.
Combine isso com a educação do usuário final. Informe os funcionários sobre os riscos que podem estar correndo ao usar IA paralela. Violações graves de dados às vezes resultam em inércia corporativa, paralisação da transformação digital e até mesmo perda de empregos. Considere também o monitoramento de rede e ferramentas de segurança para mitigar os riscos de vazamento de dados e melhorar a visibilidade do uso de IA.
A cibersegurança sempre foi um equilíbrio entre mitigar riscos e apoiar a produtividade. E superar o desafio da IA ​​oculta não é diferente. Uma grande parte do seu trabalho é manter a organização segura e em conformidade com as normas. Mas também é importante apoiar o crescimento dos negócios. E para muitas organizações, esse crescimento nos próximos anos será impulsionado pela IA.

Por: Phil Muncaster publicado originalmente WeLiveSecurity