IA e o futuro da cibersegurança: por que abertura importa

Depois do anúncio do Mythos e do Project Glasswing, instituições no mundo todo estão lidando com o que pode ser uma nova era de cibersegurança. Nesse post, Margaret Mitchell, Yacine Jernite e Clem Delangue (Hugging Face) quebram a situação atual, discutem o papel da abertura e situam o futuro da cibersegurança dentro do ecossistema de IA.

O que é o Mythos?

Mythos é um "frontier AI model", um LLM que processa código de software (entre outras coisas). Segue a tendência geral: performance de LLM em tarefas de código disparou recentemente. O que é particularmente significativo sobre o Mythos é o sistema no qual ele está embutido. É o sistema, não o modelo sozinho, que permitiu ao Mythos encontrar e corrigir vulnerabilidades de software rapidamente. Entender essa separação é chave pra entender o cenário atual de IA em cibersegurança.

O que o Mythos demonstra é que a seguinte receita de sistema é poderosa:

• poder de compute substancial
• modelos treinados em grandes volumes de dados relevantes a software
• scaffolding construído pra sondar e corrigir vulnerabilidades
• velocidade, viabilizada por esse compute (e pelo capital por trás)
• algum grau de autonomia do sistema

Juntos, esses ingredientes conseguem descobrir vulnerabilidades, achar exploits e construir patches. É nessa receita, não em um modelo só, que entram tanto os benefícios quanto os riscos.

Isso importa porque outros podem construir sistemas comparáveis. Modelos menores embutidos em sistemas com expertise de segurança profunda e acesso amplo a compute podem produzir resultados similares mais barato, o que é especialmente promissor pra defesa. Capacidade de IA em cibersegurança é irregular: não escala suavemente com tamanho de modelo ou performance em benchmark geral. O sistema em volta do modelo importa muito.

Como abertura pode ser vantagem estrutural

Conforme sistemas autônomos que identificam vulnerabilidades proliferam (e vão proliferar), código e tooling abertos ajudam a nivelar o jogo. Segurança de software virou corrida de velocidade em quatro estágios: detecção, verificação, coordenação e propagação de patch. Ecossistemas abertos distribuem isso numa comunidade. Projetos closed-source centralizam conhecimento e ação nos quatro estágios dentro de um único fornecedor, um ponto único de falha onde só uma organização vê e corrige o código.

A natureza distribuída do desenvolvimento aberto é robusta a essas restrições, e pode ser especialmente poderosa em comunidades com profissionais dedicados de segurança, tipo o time de segurança do kernel Linux, a Open Source Security Foundation e o time da Hugging Face trabalhando em segurança de modelo e supply-chain.

Um argumento comum a favor de sistemas fechados é obscuridade proprietária, onde o código é inacessível. Só que isso protege menos do que antes. Sistemas de IA estão cada vez melhores em ajudar com engenharia reversa de binários strip (sem símbolos), o que importa porque a maior parte do firmware legado e código embarcado é fechado, só-binário e não mantido. Esse código representa superfície de ataque enorme, e tá ficando mais legível conforme ferramentas de IA melhoram.

Tem também o risco de como IA tá sendo usada dentro de codebases fechados. Quando empresas adotam ferramentas de IA de código sob os incentivos errados (tipo avaliar engenheiro pelo volume de features entregues em vez de qualidade do código), desenvolvimento acelerado por IA pode introduzir mais vulnerabilidades no código proprietário do que desenvolvimento tradicional introduziria. Essas vulnerabilidades ficam dentro de um codebase fechado onde só uma organização consegue achar e corrigir, enquanto atacantes com IA estão cada vez mais capazes de descobri-las de fora.

Esse combo (mais vulnerabilidades produzidas mais rápido, atrás do firewall de uma única empresa) é exatamente o tipo de desequilíbrio que ecossistemas abertos estão posicionados pra evitar.

Por baixo de tudo isso tem a assimetria de capacidade entre atacante e defensor. Modelos e tooling abertos estreitam essa lacuna dando ao defensor acesso à mesma classe de capacidades que o atacante pode pegar, capacidades que de outra forma ficariam concentradas em um punhado de entidades com muito recurso.

Construindo defesa com ferramentas abertas e agentes semi-autônomos

Defesa em cibersegurança é onde open source e agentes de IA podem jogar juntos. Pelo System Card, parece que o Mythos opera com autonomia quase total, algo que o time da Hugging Face já desaconselhou pelo risco de perda de controle. Agentes de IA semi-autônomos, onde os tipos de ação são pré-especificados e certas etapas exigem aprovação humana, pegam o sweet spot entre benefício e risco.

Em sistemas semi-autônomos, pessoas continuam no controle, e o agente é responsável por subtarefas específicas. Dá pra fazer isso com código aberto que organizações rodam privadamente dentro da própria infra, especificando ferramentas, skills e privilégios de acesso permitidos. Com esse setup, agentes de IA podem ser deployados defensivamente, achando vulnerabilidades e ajudando com patching sob os controles da própria organização.

A abordagem semi-autônoma depende de humanos conseguirem de fato entender o que o agente fez e por quê. Isso é muito mais viável quando o sistema é construído em componentes abertos (scaffolding de agente aberto, engine de regras aberto, logs e traces de decisão auditáveis) do que quando é caixa-preta. O "human in the loop" só faz sentido se o humano consegue enxergar o loop.

Empresas não precisam construir essas capacidades do zero. Já existe um ecossistema open-source rico de tooling de segurança: scanners de vulnerabilidade, sistemas de detecção de intrusão, analisadores de log e frameworks de fuzzing que agentes de IA podem integrar.

Por que isso importa especialmente pra organizações de alto risco

Pra organizações de alto risco, partir de fundações abertas e auditáveis significa que o time de segurança consegue de fato inspecionar como o monitoramento funciona, em vez de confiar nas afirmações de um único fornecedor. Isso é particularmente importante onde dados e processos sensíveis estão envolvidos, e onde material sensível geralmente não deveria passar por provedores de IA externos.

Sistemas abertos podem ser analisados rigorosamente por profissionais de segurança internos, fine-tunados nos dados seguros da própria organização, modificados pra produzir mecanismos de oversight específicos e rodados inteiramente dentro da infra própria, tudo atrás dos firewalls apropriados.

O caminho à frente

Atacantes vão desenvolver modelos que tiram proveito de vulnerabilidades. Boa parte da resposta é apostar em práticas transparentes: revisões de segurança abertas, modelos de ameaça publicados, bancos de vulnerabilidade compartilhados e tooling aberto que qualquer time pode adotar. A alternativa (cada organização tentando se proteger isolada com ferramentas proprietárias) não escala contra atacantes que coordenam e compartilham técnicas nas próprias comunidades.

O futuro da cibersegurança com IA vai ser moldado menos por qualquer modelo individual e mais pelos ecossistemas em volta deles. Abertura dá ao defensor visibilidade, controle, comunidade e infra compartilhada pra ficar à frente.