Google Research apresenta Simula: geração de dados sintéticos como problema de mechanism design

O Google Research publicou no Transactions on Machine Learning Research o paper "Reasoning-Driven Synthetic Data Generation and Evaluation", que apresenta o Simula: framework pra gerar dados sintéticos tratando a coleção inteira como um problema de design, não amostra por amostra.

O ponto de partida é prático. Modelos generalistas foram treinados com a abundância da internet, mas aplicação em nicho (segurança, jurídico, saúde, dado sensível) esbarra em escassez de dado real. Coletar manualmente é caro e lento, e dado estático trava ciclo de desenvolvimento. Dado sintético resolve no papel, mas os métodos atuais (prompts manuais, algoritmos evolutivos, seeds extensos da distribuição alvo) não escalam direito e são caixa-preta.

Por que mechanism design

A crítica central dos autores: os métodos existentes operam no nível da amostra, otimizando um ponto de dado por vez. Pra produção, isso não basta. Você precisa de alocação fina onde cobertura, complexidade e qualidade sejam variáveis independentes e controláveis.

Simula decompõe a geração em quatro etapas:

• Global Diversification: em vez de amostragem aleatória, modelos de reasoning mapeiam o espaço conceitual do domínio em taxonomias hierárquicas profundas. Isso vira um "sampling scaffold" (andaime de amostragem) que garante cobertura da cauda longa, não só dos modos comuns. A construção é recursiva: a cada nível, o sistema propõe subcategorias candidatas, e um modelo crítico avalia, funde e filtra. Loop "propose-and-refine".
• Local Diversification: dentro de cada nó da taxonomia, gera meta-prompts (cenários derivados do nó) e depois produz várias instanciações distintas. Previne mode collapse. Um conceito como "SQL injection" aparece com framings variados, não repetição idêntica.
• Complexification: trata dificuldade como eixo ortogonal. Uma fração configurável dos meta-prompts passa por refinamento pra ficar mais elaborada. Permite deslocar a distribuição de dificuldade sem mexer na cobertura semântica.
• Quality Checks: loop de "dual-critic" onde dois críticos avaliam independentemente se a resposta tá correta. Mitiga sycophancy (modelo concordando com output que só parece plausível) sem precisar de humano no meio.

Essa separação em eixos é o que diferencia Simula de pipelines evolutivos tradicionais: você consegue dizer "quero mais cobertura sem aumentar dificuldade" ou o contrário, sem efeito colateral emaranhado.

Avaliação com métricas novas

Avaliar dado sintético é notoriamente difícil. Cosine distance em embedding dá sinal, mas não é acionável. O paper propõe métricas baseadas em reasoning: Taxonomic Coverage (quanta da taxonomia foi efetivamente coberta) e Calibrated Complexity Scoring (usa comparações em batch feitas por LLM pra atribuir ratings estilo Elo de xadrez a pontos individuais de dado).

Resultados em cinco domínios

Setup: Gemini 2.5 Flash como teacher, Gemma-3 4B como student. Geração de até 512 mil pontos por domínio. Cinco domínios testados: CTI-MCQ e CTI-RCM (cybersecurity, do CTIBench), LEXam (raciocínio jurídico), GSM8k (matemática de ensino fundamental) e Global MMLU (conhecimento acadêmico multilíngue).

Três achados que os autores destacam:

• Mechanism design não é negociável: Simula completo (cobertura global + diversidade local + crítica) bateu baselines simples em todos os domínios.
• Contexto manda: não tem receita fixa. Alta complexidade deu 10% de ganho em GSM8k, mas atrapalhou no LEXam, onde o teacher model era mais fraco. Dado tem que ser calibrado pra capacidade do modelo que vai consumir.
• Qualidade é a nova quantidade: Simula atingiu performance maior com menos amostras. Scaling laws são puxadas por propriedades do dado, não só volume.

Onde já tá rodando dentro do Google

O post deixa claro que Simula não é só paper. Usos internos citados:

• Backbone de dado sintético pros classificadores de segurança do Gemini, tanto on-device quanto server-side.
• Treino de modelos especializados do ecossistema Gemma: ShieldGemma, FunctionGemma, MedGemma.
• Detecção de golpe em chamadas no Android.
• Filtro de spam no Google Messages.
• Framework pra sintetizar cenários realistas de ataque em segurança enterprise.
• Dataset pra ensinar modelos a ler mapas.

Pra quem acompanha o espaço: a mensagem do Google aqui é que dado sintético de qualidade virou ativo estratégico, não curiosidade acadêmica. Se a próxima onda de avanço depende de domínios onde humano não escala (ciência, segurança, jurídico), quem tiver pipeline de geração controlável larga na frente.

Autores e link

Tim R. Davidson (student researcher), Benoit Seguin, Enrico Bacis, Cesar Ilharco e Hamza Harkous (senior staff research scientist). Framework liderado por Harkous e Seguin.

O paper tá linkado no post original do Google Research.