Apple apresenta Sonata: LLMs aprendem quando vale gastar token pensando (e quando não)

Pesquisadores da Apple (parte do trabalho) e da University of North Carolina at Chapel Hill publicaram um paper aceito na ICLR 2026 atacando um problema bem prático de quem roda modelo de raciocínio em produção: quanto thinking budget (orçamento de tokens pra chain-of-thought) cada query realmente precisa.

A pergunta importa porque aumentar o budget melhora performance de forma suave, mas custa caro. E hoje a relação entre capacidade do modelo, complexidade da query e alocação ótima de budget é mal compreendida.

A ideia central

Os autores usam self-consistency (concordância entre múltiplos caminhos de raciocínio) como proxy pra dificuldade da query. A observação base: quando a self-consistency é baixa, a query precisa de mais thinking pra chegar na resposta certa. Quando é alta, dá pra economizar.

A partir disso, eles propõem o Sonata (Self-Consistency-Guided Adapter for Thinking Allocation): um adapter leve que prediz a self-consistency direto das hidden representations da última camada, durante o prefilling stage da query. Ou seja, antes do modelo começar a pensar, o Sonata já decidiu quanto budget vai liberar.

Como funciona na prática

• Adapter treinado offline em um dataset de calibração
• Prediz self-consistency a partir do hidden state da última camada no prefill
• Essa predição guia alocação de budget on-the-fly antes do thinking começar
• Overhead computacional próximo de zero na inferência
• Transferível entre tarefas diferentes depois de treinado
• Ortogonal a métodos de CoT compression existentes (dá pra combinar)

Os números

Experimentos rodaram em múltiplos modelos (Qwen3-8B, GPT-OSS-120B, Qwen3-235B-A22B, Intern-S1-mini) e benchmarks de raciocínio (AIME24, AIME25, GSM8K, MATH500, GPQA). Dois resultados principais:

• 20% a 80% de redução em thinking tokens mantendo a mesma acurácia
• Ou até 5% de ganho de acurácia com o mesmo custo de tokens

Pra quem está pagando conta de inferência de modelo reasoning, esse range de 20-80% não é detalhe acadêmico. Em fluxo de produção com Qwen3 ou GPT-OSS rodando local, isso é diferença direta no custo por query e na latência percebida.

Autores e contexto

O paper é assinado por Pingzhi Li, Bairu Hou, Yun Zhu, Yihao Feng, Ke Ye, Tao Lei, Zhifeng Chen, Tianlong Chen e Xianzhi Du. Pingzhi Li e Tianlong Chen são da UNC Chapel Hill. Parte do trabalho foi feito enquanto Pingzhi Li, Yun Zhu e Ke Ye estavam na Apple.

O trabalho conversa com uma linha que a Apple vem puxando em reasoning eficiente: o paper The Illusion of Thinking (NeurIPS 2025) questionou limites dos LRMs, e o AdaBoN propôs Best-of-N adaptativo. Sonata segue a mesma pegada de não desperdiçar compute em query que não precisa.