OpenAI acelera workflows de agentes com WebSockets na Responses API

A OpenAI soltou um post técnico detalhando como o time do Codex acelerou o loop de agente usando WebSockets na Responses API, combinado com cache escopado por conexão.

O problema

Agente não é request-response simples. Cada turno do Codex dispara várias chamadas ao modelo, e cada chamada via HTTP tradicional carrega overhead de handshake, autenticação e setup de contexto. Em workflow longo, isso vira gargalo real de latência.

A solução

Dois movimentos principais:

• WebSockets no lugar de HTTP request-response: mantém conexão persistente entre cliente e API, cortando overhead de setup a cada chamada.
• Cache escopado por conexão: estado que antes era reconstruído a cada request fica cacheado enquanto a conexão vive, reduzindo trabalho redundante no servidor.

O resultado é menos overhead de API e latência de modelo menor no loop do agente.

Na prática, essa é a direção que toda infra de agente vai ter que seguir: quem roda agente em produção com dezenas de tool calls por sessão sente na veia o custo do HTTP stateless. WebSocket + cache de conexão é arroz com feijão de sistema distribuído, só que agora aplicado no loop de LLM.

Pra quem importa

Se você tá construindo agente em cima da Responses API e tá vendo latência acumular a cada iteração, vale ler o post original pra pegar os detalhes de implementação. Pra quem usa Codex direto, é otimização transparente: o agente fica mais rápido sem mudar nada no teu lado.