oMLX: LLM Local no Mac com Cache KV em SSD e Menu Bar

O Problema de Rodar LLMs Localmente no Mac

Para quem desenvolve com LLMs localmente no Mac, o equilíbrio entre conveniência e controle sempre foi frustrante. A maioria dos servidores ou é simples demais ou exige configurações complexas. O oMLX surge como uma tentativa de resolver isso diretamente da barra de menus.

oMLX: O Fato

O oMLX é um servidor LLM local otimizado para Macs com Apple Silicon (M1, M2, M3, M4), lançado como projeto open source. Ele oferece batching contínuo, cache KV em dois níveis (RAM e SSD) e uma interface administrável via barra de menus. Suporta modelos de texto, visão-linguagem (VLM), OCR, embeddings e rerankers. A instalação é simples: baixar o .dmg, arrastar para Applications e pronto. Também pode ser instalado via Homebrew ou a partir do código fonte.

Como Funciona por Dentro

Por baixo dos panos, o oMLX usa MLX da Apple como backend de inferência. O cache KV é inspirado no vLLM, com blocos gerenciados em dois tiers: quente em RAM e frio em SSD no formato safetensors. Isso permite persistir o contexto mesmo quando a conversa muda de assunto ou o servidor reinicia. O batching contínuo lida com requisições concorrentes via BatchGenerator do mlx-lm, e o número máximo de requisições simultâneas é configurável. A interface web admin permite monitoramento em tempo real, gerenciamento de modelos, chat e benchmark. O servidor expõe uma API compatível com OpenAI em http://localhost:8000/v1, permitindo conexão com clientes como Claude Code, OpenClaw e OpenCode.

O Que Isso Muda na Prática

Desenvolvedores que usam ferramentas como Claude Code podem conectar diretamente ao oMLX e manter todo o contexto da conversa mesmo após trocar de modelo ou reiniciar o servidor. A capacidade de fixar modelos leves na memória e trocar para modelos pesados sob demanda é um ganho real de produtividade. Além disso, o suporte a modelos de visão e OCR amplia o leque de aplicações, permitindo, por exemplo, extrair texto de imagens localmente sem depender de APIs externas. Para quem gerencia múltiplos modelos, a barra de menus oferece controle rápido sem abrir o terminal.

Tensão: Vale a Pena?

Mas será que esse esquema de cache em SSD escala para workloads reais? O acesso a SSD é mais lento que RAM, e a reidratação do cache pode introduzir latência. Para pesquisadores que precisam de trocas rápidas de contexto, talvez ainda não substitua uma GPU dedicada. O oMLX é prático, mas quem precisa de máxima performance ainda vai olhar para clusters com hardware especializado. Outra dúvida: o cache persiste mesmo após reinicialização do servidor, mas e se o SSD estiver cheio? O gerenciamento de espaço não é detalhado. A ferramenta resolve o problema de conveniência, mas o gargalo de memória e armazenamento continua.

Conclusão

O oMLX preenche um espaço real para quem quer rodar LLMs localmente no Mac sem abrir mão de controle. O próximo passo é ver como a comunidade adota e se o cache em SSD realmente entrega na prática. O menu bar nunca foi tão útil.