Inteligencia Artificial auxilia as equipes de Red Teams?

06/01/2025 mindsecblog Artigos, Notícias 0

Inteligência Artificial auxilia as equipes de Red Teams? Especialistas de Segurança da Informação estão divididos sobre o potencial da IA para ajudar as equipes de Red Team.

Generative AI está sendo adotada com entusiasmo em quase todos os campos, mas os especialistas em segurança da informação estão divididos sobre se ela é realmente útil para invasores de equipes de Red Team que testam sistemas corporativos.

O “Red teaming” faz com que os profissionais de segurança da informação simulem ataques para identificar vulnerabilidades. É uma tática comumente usada que foi adaptada para testar o funcionamento de aplicativos generativos de IA, bombardeando-os com um grande número de prompts na esperança de que alguns produzam resultados problemáticos que os desenvolvedores possam reparar.

As equipes de Red Team empunham a IA, além de testá-la. Em maio, a equipe de Red Team da IBM disse ao The Register que usava IA para analisar informações na propriedade de TI de um grande fabricante de tecnologia e encontrou uma falha em um portal de RH que permitia amplo acesso. A equipe de Red Team da Big Blue calculou que a IA reduziu o tempo necessário para encontrar e direcionar essa falha.

Prognósticos do painel

O recente Fórum Canalys APAC na Indonésia convocou um painel para refletir sobre o uso de IA em red teaming, mas também o que significa tornar-se dependente dela – e, mais importante, sua legalidade.

O CTO do ecossistema IBM APAC, Purushothama Shenoy, sugeriu que o uso de IA para red teaming poderia ser útil “para quebrar o sistema de uma maneira muito mais ética”.

Ele prevê que a IA acelerará a caça a ameaças vasculhando vários feeds de dados, aplicativos e outras fontes de dados de desempenho, e fará isso como parte de fluxos de trabalho automatizados em larga escala.

“Isso substituirá algumas tarefas humanas, mas você não quer uma dependência excessiva delas”, disse Mert Mustafa, gerente geral do ecossistema de parceiros de vendas da APAC para a loja de segurança eSentire.

Kuo Yoong, chefe de nuvem das operações australianas da distribuidora Synnex, alertou que a IA generativa geralmente não detalha como produz sua saída, o que torna difícil para uma equipe Red Team explicar suas ações – ou defendê-las para profissionais de governança ou um tribunal.

“A IA não pode ir ao banco e explicar como passou por essas atividades para encontrar ameaças”, explicou Yoong.

Os criminosos não se preocupam com esse tipo de preocupação legal, então provavelmente usarão a IA para potencializar seus ataques.

Os palestrantes do evento da Canalys, portanto, sugeriram que a IA “transformará” a segurança cibernética.

“Vamos ter que usar cada vez mais”, afirmou Mustafa.

Outro palestrante, o diretor de segurança cibernética e rede da Galaxy Office Automation, Nishant Jalan, sugeriu que deveria haver limites para o uso de IA generativa na segurança cibernética para evitar o consumo excessivo. Ele também defendeu regulamentos e políticas para governá-lo.

Talvez as posições sejam prematuras

Outros especialistas de quem o The Register buscou opinião questionaram se a IA generativa é suficientemente madura para uso por equipes de Red Team.

“O uso da Gen AI para operações de segurança está nos estágios iniciais. Os casos de uso evoluirão e novos surgirão”, disse o analista da Canalys, Matthew Ball, ao The Reg por e-mail. A empresa espera ter mais pesquisas sobre o assunto no próximo ano.

O CISO da Acronis Kevin Reed nos disse que acha que a IA não está pronta para se juntar às equipes de Red Team, mas pode ser adequada para seus primos próximos – testadores de penetração. “Os testes de penetração se concentram em encontrar vulnerabilidades em um sistema ou rede, testar controles técnicos e geralmente são bastante diretos, enquanto a equipe de Red Team é mais sobre testar controles organizacionais e permanecer indetectável”, explicou Reed. “Os LLMs ainda não estão prontos para isso. Eles são mais adequados para testes de penetração.”

Alguns esforços de pentest que ele conhece e que já estão em andamento tiveram sucesso na execução de comandos em estágios específicos de um ataque em vários estágios – mas lutam com a automação total.

“Acho que os LLMs atuais não têm memória suficiente para lidar com todo o contexto necessário”, concluiu.

Mas isso é legal?

Quando se trata de legalidade, Bryan Tan, sócio do escritório de advocacia centrado em tecnologia Reed Smith, acredita que a pergunta relevante a ser feita é quem é responsável pela IA generativa que conduz o pentest?

Seu palpite é que a responsabilidade recai sobre o operador que fornece o serviço de teste de invasão.

“Isso também significa que o operador (seja a empresa ou seu funcionário) será o único a responder às perguntas”, acrescentou. O operador precisará, portanto, ter certeza do que a IA está fazendo ou pelo menos explicar para que haja transparência e explicabilidade.

Quanto aos regulamentos de IA, ele se referiu a eles como “atualmente em um nível filosófico”. Ele também apontou que vários países atualmente regulamentam os testes de penetração, o que significa que essas leis podem um dia mudar para também abordar a IA.