Apple investiga por que modelos de difusão condicional conseguem (às vezes) generalizar composicionalmente

A Apple publicou o paper Local Mechanisms of Compositional Generalization in Conditional Diffusion, assinado por Arwen Bradley, na linha de pesquisa Methods and Algorithms.

O problema: modelos de difusão condicional parecem capazes de generalização composicional (gerar amostras convincentes pra combinações de condicionadores fora da distribuição de treino), mas ninguém sabe direito por quê. O paper ataca isso de frente.

O experimento

pra deixar concreto, os autores estudam generalização por comprimento: a capacidade de gerar imagens com mais objetos do que o modelo viu no treino. Setup controlado em CLEVR (Johnson et al., 2017).

Resultado: generalização por comprimento rola em alguns casos e em outros não. Ou seja, o modelo às vezes aprende a estrutura composicional subjacente, e às vezes não. A pergunta vira: o que separa os dois casos?

Localidade como mecanismo

A hipótese investigada é localidade como mecanismo estrutural. Trabalhos anteriores (Kamb & Ganguli, 2024; Niedoba et al., 2024) já tinham proposto score locality como mecanismo de criatividade em difusão não-condicional, mas não cobriam condicionamento flexível nem composicionalidade.

A contribuição teórica central: o paper prova equivalência exata entre uma estrutura composicional específica (conditional projective composition, de Bradley et al., 2025) e scores com dependências esparsas tanto em pixels quanto em condicionadores (chamados de local conditional scores). A teoria também se estende pra composição de conceitos em feature-space (tipo estilo + conteúdo).

Validação empírica

Três resultados:

• Modelos CLEVR que acertam generalização por comprimento exibem local conditional scores. Os que falham, não.
• Uma intervenção causal que força explicitamente local conditional scores faz um modelo que antes falhava passar a generalizar.
• No SDXL (Stable Diffusion XL), em pixel-space, localidade espacial existe mas localidade condicional está em grande parte ausente. Só que no feature-space aprendido pela rede, há evidência quantitativa de local conditional scores.

Na prática, o paper liga uma propriedade arquitetural mensurável (esparsidade de dependências no score) a uma capacidade observável (compor combinações inéditas de condicionadores). Isso dá uma alavanca pra quem treina modelos de difusão: forçar localidade vira ferramenta de design, não acidente de treino.

Publicado em outubro de 2025, com data de publicação formal April 2026. Ver publicação na Apple Machine Learning Research.