NVIDIA e Siemens Healthineers lançam NV-Raw2Insights-US: IA que aprende direto do sinal bruto de ultrassom

NVIDIA e pesquisadores da Siemens Healthineers liberaram o NV-Raw2Insights-US, primeiro modelo de uma família batizada de Raw2Insights que ataca a reconstrução de ultrassom por outro caminho: aprende direto dos sinais brutos do transdutor, sem passar pelo pipeline clássico de beamforming.

O problema

Ultrassom é barato, portátil, seguro e roda em tempo real. Por isso é uma das modalidades de imagem médica mais usadas. Só que há décadas a imagem final sai de um pipeline de reconstrução feito à mão que comprime os dados brutos do sensor e assume simplificações de física, tipo velocidade do som constante pelo corpo inteiro. Na prática, o corpo humano não é assim: gordura, músculo e tecido conduzem som em velocidades diferentes, e essa suposição introduz borrão.

Como funciona o Raw2Insights

O NV-Raw2Insights-US não trabalha com a imagem reconstruída. Ele lê o raw channel data, ou seja, os ecos crus que voltam pra cada elemento do transdutor antes de qualquer processamento. A partir desse sinal, o modelo estima um mapa de velocidade do som específico daquele paciente e usa esse mapa pra corrigir o foco da imagem em tempo real, num único passe de inferência.

O que antes exigia computação pesada e demorada vira uma chamada de modelo. A aposta de fundo aqui é tratar reconstrução de ultrassom como problema de IA end-to-end, do mesmo jeito que aconteceu com pipelines de imagem em câmera de celular.

A pegadinha do hardware

Raw channel data normalmente nem sai do scanner clínico, porque a banda é altíssima. A NVIDIA contornou isso com o Holoscan Sensor Bridge (HSB), um IP de FPGA open source que faz transferência de alta banda e baixa latência pra GPU via RDMA (Remote Direct Memory Access) sobre Ethernet.

O setup de demonstração é específico:

• Scanner ACUSON Sequoia da Siemens, com saída pelo DisplayPort (técnica que eles chamam de Data over DisplayPort).
• Kit de desenvolvimento FPGA Altera Agilex-7 acoplado ao HSB.
• HSB empacota os dados e manda via Ethernet pro NVIDIA IGX, onde rola a coleta e a inferência.
• Modelo roda em GPU classe Blackwell, e o mapa de velocidade do som volta pro scanner pra ajustar o foco da imagem ao vivo.

O deploy usa NVIDIA Holoscan, plataforma de IA na borda pra cargas de tempo real, em sistemas como NVIDIA IGX Thor e DGX Spark.

Capacidades do sistema

• Integração só por software: dispositivos médicos existentes podem ganhar aceleração NVIDIA sem mexer no hardware, via Data over DisplayPort.
• Ultrassom definido por software: com a inteligência no software, dá pra evoluir o aparelho por update em vez de troca de hardware.
• Expansão modular: com o raw channel data já em memória de GPU, novos modelos de IA podem entrar no pipeline sem refazer a aquisição.

Como começar

Os autores Walter Simson, Jay Carlson, Tom Lassiter, Kevin Woo e Sean Huver (todos NVIDIA) liberaram código, pesos e dataset. O ponto de partida é o GitHub do projeto, com Model Weights e Dataset linkados.

Colaboração direta com Ismayil Guracar e Rickard Loftman, do grupo AI & Advanced Platforms da Siemens Healthineers.

Aviso importante: a tecnologia tá em desenvolvimento investigacional, não tem aprovação regulatória pra uso clínico nos EUA nem em outros países, e a NVIDIA não garante disponibilidade futura.

Referências

• Ultrasound Autofocusing: Common Midpoint Phase Error Optimization via Differentiable Beamforming, IEEE Transactions on Medical Imaging, Vol. 45, Issue 2, fev. 2026.
• Investigating Pulse-Echo Sound Speed Estimation in Breast Ultrasound with Deep Learning, arXiv:2302.03064, 2023.
• NVIDIA Holoscan SDK Documentation.