PRODUTO
NVIDIA
Como espremer memória no NVIDIA Jetson pra rodar modelos maiores na borda
A NVIDIA publicou um guia prático pra rodar LLMs e VLMs grandes nos Jetson Orin Nano, Orin NX e Thor sem estourar a RAM unificada. O texto mapeia 5 camadas de otimização — do BSP até quantização — com ganhos medidos de até 10–12 GB. Inclui caso real do Reachy Mini rodando pipeline multimodal completo em 8 GB.
nota do editorGuia raiz pra quem roda Jetson em robótica ou visão. Útil mesmo pra quem não tá em borda: o approach de "defina requisito, desce precisão progressivamente" serve pra qualquer pipeline de quantização.