MixAtlas: Apple apresenta framework pra otimizar mistura de dados em midtraining multimodal

A Apple publicou o MixAtlas, framework pra otimizar a mistura de dados (data mixture) em midtraining de LLMs multimodais. O paper foi aceito no Workshop on Navigating and Addressing Data Problems for Foundation Models (NADPFM) no ICLR 2026.

O problema

Reponderar domínios de treino de forma principiada melhora bastante eficiência de amostra e generalização downstream. Só que otimização de mistura pra pretraining multimodal ainda é pouco explorada. As receitas atuais ajustam mistura de uma perspectiva só: formato de dado OU tipo de tarefa. Nunca as duas juntas de forma sistemática.

Como funciona

O MixAtlas fatoriza os dados de treino em dois eixos interpretáveis:

• Conceitos de imagem (image concepts)
• Supervisão de tarefa (task supervision)

Isso dá controle interpretável da mistura e atribuição fina de performance downstream a domínios específicos em cada eixo.

Pra evitar o custo absurdo de rodar experimentos em escala full, os autores usam modelos proxy menores combinados com um surrogate baseado em processo gaussiano (Gaussian-process surrogate). Resultado: exploram o espaço de mistura a 1/100 do custo do treino full-scale.

Os números

As misturas geradas entregam:

• Até 3x mais rápida na convergência
• Ganhos consistentes de 2-5% em benchmarks diversos
• +10% em ChartQA
• +13% em TextVQA

O salto em benchmarks text-rich (ChartQA e TextVQA) é o destaque, justo onde modelos multimodais historicamente sofrem.

A parte interessante pra quem treina modelo de verdade: os autores mostram que mistura encontrada via proxy pequeno transfere pra treino de modelo maior, preservando eficiência e ganho de acurácia. Ou seja, não é otimização que só vale no brinquedo.

Autoria

Bingbing Wen (trabalho feito na Apple), Sirajul Salekin, Feiyang Kang (Virginia Tech), Lucy Lu Wang e Bill Howe (University of Washington), Javier Movellan e Manjot Bilkhu assinam o paper.

Se você treina MLLM (Multimodal LLM) e gasta compute explorando mistura na mão, vale dar uma olhada no método. A promessa de receita reproduzível com 1/100 do custo é o tipo de coisa que muda workflow de pesquisa.