VulkanForge: motor LLM de 14 MB para AMD roda FP8 nativo

O problema de rodar LLMs fora do eixo NVIDIA

Se você já tentou rodar um modelo grande em uma GPU AMD, sabe que o suporte a CUDA não existe e as alternativas como ROCm ainda têm pegadinhas de compatibilidade. Instalar drivers, compilar kernels, ajustar flags. E no fim, a latência e o consumo de memória deixam dúvidas se valeu a pena. É nesse contexto que surge o VulkanForge: um motor de inferência para LLMs escrito em Rust, com apenas 14 MB, que promete executar modelos FP8 nativos em placas AMD usando a API Vulkan.

O que é o VulkanForge

VulkanForge é um projeto open source (licença MIT) que implementa um runtime para LLMs baseado em Vulkan, focado em GPUs AMD. O repositório no GitHub mostra uma engine enxuta: 14 MB de binário, capaz de carregar e rodar modelos quantizados em FP8. A ideia é oferecer uma alternativa leve e sem dependências pesadas para quem precisa de inferência local em hardware AMD, um nicho carente de ferramentas dedicadas.

Como funciona na prática

O motor usa Vulkan para acessar diretamente o hardware gráfico, sem passar por camadas intermediárias como OpenCL ou ROCm. Isso significa que ele pode funcionar em placas AMD que suportam Vulkan (praticamente todas recentes). A implementação é em Rust, o que garante segurança de memória e desempenho previsível. O suporte a FP8 nativo é relevante: modelos quantizados em FP8 ocupam menos memória e podem rodar mais rápido, desde que o hardware ofereça suporte eficiente a esse formato. Nas GPUs AMD RDNA3, por exemplo, as unidades de computação podem operar com FP8, mas a eficiência real depende da implementação. O VulkanForge parece explorar isso diretamente, evitando a sobrecarga de conversão de tipos.

Do ponto de vista de operador, o que importa são os números: latência por token, uso de memória e facilidade de implantação. A página do projeto ainda não publica benchmarks comparativos, mas o fato de ser um único binário de 14 MB sugere baixa sobrecarga de inicialização. Para modelos menores (como 1B ou 3B parâmetros), pode ser uma opção viável para edge computing ou automação local.

O que isso muda na prática

Se você tem uma GPU AMD e quer rodar LLMs sem depender de soluções genéricas como llama.cpp (que também funciona via Vulkan, mas sem otimização específica para AMD), o VulkanForge pode reduzir o atrito. A ação prática imediata: baixar o binário, testar com um modelo FP8, medir a latência e comparar com outras engines. Quem ganha são usuários de hardware AMD, que há tempos sofrem com falta de suporte de primeira linha. Quem perde? Provavelmente ninguém, mas se o projeto não evoluir, pode ficar obsoleto rápido. Para quem desenvolve produtos que dependem de inferência local, ter uma opção leve para AMD amplia o leque de hardware suportado, mas exige testar a compatibilidade modelo a modelo.

Ação prática

• Clone o repositório e compile ou baixe o binário pré-compilado (se disponível).
• Obtenha um modelo quantizado em FP8 (ex: alguns modelos do Hugging Face já oferecem essa variante).
• Teste a inferência com alguns prompts e meça o tempo de resposta e o consumo de VRAM.
• Compare com o desempenho do llama.cpp na mesma placa para ver se a otimização específica realmente compensa.

Mas será que escala?

Aqui entra a tensão: VulkanForge é um motor minimalista, mas modelos LLM estão cada vez maiores. Ele suporta modelos FP8 nativos, mas quantos modelos realmente estão disponíveis nesse formato? A maioria ainda usa FP16 ou INT8. Além disso, o suporte a AMD é bom, mas a participação de mercado das GPUs AMD em estações de trabalho de IA é pequena comparada à NVIDIA. O esforço de desenvolver e manter uma engine específica para um público pequeno pode não se sustentar. Outro ponto: Vulkan é uma API gráfica, não projetada originalmente para computação genérica. Embora seja usada em inferência (via shaders de computação), a eficiência pode ser inferior à de APIs como CUDA ou ROCm, se o hardware não for otimizado para esse caminho. No fim, pode ser que o ganho real esteja mais na simplicidade de deploy do que no desempenho bruto.

Conclusão

VulkanForge é uma tentativa sólida de preencher uma lacuna: rodar LLMs em GPUs AMD com simplicidade e eficiência. O tamanho reduzido e o foco em FP8 mostram que os autores pensaram em cenários reais de deploy. Se você está nesse nicho, vale o teste. Mas a pergunta que fica: com a dominância da NVIDIA e a melhoria gradual do ROCm, projetos como este terão fôlego para acompanhar a evolução dos modelos e do hardware? O código está no GitHub, o convite é para contribuir ou pelo menos observar. Fonte: https://github.com/maeddesg/vulkanforge.