LaDiR: pesquisa da Apple usa difusão latente pra melhorar raciocínio de LLMs

Apple publicou (em parceria com pesquisadores da UC San Diego) o paper LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning, aceito no ICLR 2026. O alvo é um problema conhecido de quem mexe com chain-of-thought: o LLM gera token por token, e quando erra no começo do raciocínio, não tem como voltar e refinar de forma holística.

O problema

LLM tradicional usa decoding autorregressivo: escolhe um token, fixa, vai pro próximo. Isso limita duas coisas:

• Não dá pra revisitar e refinar tokens anteriores depois que o raciocínio avança
• Exploração de soluções diversas fica ineficiente (o modelo trava num caminho)

É o tipo de limitação que aparece bastante em CoT (chain-of-thought) longo, onde um deslize na premissa contamina toda a cadeia.

A proposta LaDiR

O framework une duas coisas:

1. VAE (Variational Autoencoder) que codifica passos de raciocínio em blocos de "thought tokens" num espaço latente estruturado. Preserva semântica e interpretabilidade, mas com representação compacta.
2. Modelo de difusão latente que aprende a fazer denoise desses blocos de thought tokens, usando máscara de atenção bidirecional por bloco. Isso permite refinamento iterativo com compute adaptativo em test-time.

Na prática, o modelo gera trajetórias de raciocínio diversas em paralelo e pode planejar/revisar o processo inteiro, em vez de ficar preso na decisão token a token.

A sacada conceitual aqui é tratar raciocínio como algo que se refina por iteração (estilo difusão de imagem) em vez de algo que se commita de forma sequencial. Faz sentido pro tipo de problema onde a primeira tentativa quase nunca é a melhor.

Resultados

Avaliação em benchmarks de raciocínio matemático e planejamento. Segundo os autores, LaDiR melhora consistentemente em três eixos contra métodos autorregressivos, baseados em difusão e de raciocínio latente existentes:

• Acurácia
• Diversidade de soluções
• Interpretabilidade

O paper não traz números específicos no abstract divulgado, então o tamanho real do ganho fica pra leitura completa.

Por que importa

Apple vem empilhando pesquisa em raciocínio latente. Tem o Thinking into the Future: Latent Lookahead Training for Transformers (workshop ICLR, março 2026) e o trabalho de 2024 sobre difusão latente pra geração de parágrafo. LaDiR encaixa nessa linha.

Pra quem acompanha pesquisa de inferência: difusão latente pra texto é uma das apostas que vem ganhando tração como alternativa ao paradigma autorregressivo dominante. Não é o tipo de coisa que vira produto amanhã, mas vale ficar de olho em quem tá investindo no caminho.

Autores: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Nicklas Majamaki, Navdeep Jaitly, Yi-An Ma e Lianhui Qin.