- A Microsoft está oferecendo um prêmio de US$ 10 mil para hackers que conseguirem explorar vulnerabilidades em seu LLM
- O desafio se concentrará em defesas imediatas contra injeção
- Desenvolvedores de software e hackers geralmente trabalham juntos para descobrir e corrigir falhas
Você é um hacker experiente e quer ganhar algum dinheiro extra neste Natal? Bem, você pode estar com sorte, já que a Microsoft está patrocinando uma competição, juntamente com o Institute of Science, and Technology Australia e a ETH Zurich, na qual os competidores tentarão quebrar um cliente de e-mail integrado simulado do Large Language Model (LLM).
As equipes vencedoras do desafio LMail-Inject receberão uma parte do prêmio total de US$ 10.000.
Os participantes precisarão entrar no desafio usando uma conta GitHub e criar uma equipe. As equipes serão então solicitadas a evitar defesas de injeção imediata em um cliente de e-mail simulado integrado ao LLM. O serviço LLmail inclui um assistente que pode responder perguntas e executar ações em nome do usuário e inclui, de forma crucial, defesas contra tarefas de injeção indireta de prompt.
Um relacionamento mutuamente benéfico
Ao contornar as defesas de injeção, os hackers tentarão incitar o LLM a fazer ou revelar coisas para as quais não foi treinado. Com isso, a Microsoft pretende identificar pontos fracos em suas atuais defesas de injeção imediata e incentivar o desenvolvimento de medidas de segurança robustas.
A relação entre pesquisadores de segurança e desenvolvedores de software é frequentemente usada dessa forma, com o Google frequentemente oferecendo uma ‘recompensa por bug’ para qualquer um que descubra e seja capaz de explorar vulnerabilidades em sua plataforma Google Cloud.
Da mesma forma, a Microsoft anunciou recentemente que estava organizando seu próprio evento de hacking no estilo Black Hat, no qual os concorrentes procurariam vulnerabilidades no Microsoft AI, Azure, Identity, Dynamics 365 e M365.
Adotar uma abordagem proativa para lidar com vulnerabilidades potenciais permite que as empresas de software mitiguem os riscos antes que possam ser explorados por agentes de ameaças em cenários do mundo real. O assistente de IA do Slack estava recebendo injeções rápidas maliciosas, que felizmente foram descobertas por pesquisadores de segurança – mas poderiam ter levado a preocupações reais de segurança.
Através do registro
