Execute IA onde os seus dados residem.
O EuLLM Engine é um runtime open-source para modelos de linguagem de grande escala. Um único binário em Rust, compatível com OpenAI e Ollama, zero telemetria. De um Raspberry Pi a uma A100.
Instale e execute em menos de um minuto
Linux / macOS
$ curl -fsSL https://raw.githubusercontent.com/eullm/eullm/main/installer/install.sh | shWindows
$ irm https://raw.githubusercontent.com/eullm/eullm/main/installer/install.ps1 | iexDepois execute qualquer modelo GGUF do Hugging Face:
$ eullm run hf.co/Qwen/Qwen3-8B-GGUF:Q4_K_MCompatibilidade direta com Ollama e OpenAI
O EuLLM fala as APIs Ollama e OpenAI na porta padrão 11434. Open WebUI, LangChain, n8n e qualquer cliente compatível com OpenAI funcionam sem alterações.
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d {"model": "qwen3-8b", "messages": [{"role": "user", "content": "Hello"}]}Decisões estruturadas, não apenas texto
/v1/systemone lê diretamente do modelo a probabilidade de cada opção: decisões estruturadas em milissegundos, para routing, triagem e agentes. Demonstrámo-lo ao vivo no Snake — um modelo de 2B a decidir cada movimento em cerca de 8 ms.
O mesmo endpoint alimenta tarefas de produção mais simples, como a triagem de e-mail: encaminhar, escalar ou arquivar, decidido localmente em milissegundos.
Ler como funciona →Rápido onde importa
O batching contínuo serve muitos utilizadores simultâneos a partir de uma única GPU. A cache KV quantizada estende o comprimento do contexto no mesmo hardware. Modelos MoE grandes correm em GPUs pequenas, e até em placas edge apenas com CPU.
16 pedidos simultâneos, numa RTX 5070 Ti
comprimento de contexto via cache KV quantizada (Q4_0/Q5/Q8)
35B MoE, apenas CPU, placa ARM de 20 W (Radxa Orion O6)
Corre em qualquer lugar
| SO | Estado |
|---|---|
| Linux x64 | Testado |
| Windows x64 | Testado |
| macOS (Apple Metal) | Testado |
| ARM64 | Testado (Radxa Orion O6) |
Backends GPU: NVIDIA CUDA · AMD ROCm · Vulkan · Apple Metal · CPU
Testado com benchmarks em: EuroHPC Leonardo (4× NVIDIA A100) · EuroHPC LUMI (AMD Instinct, ROCm multi-GPU)
Vision e áudio, totalmente local
A compreensão de imagem — OCR, descrição de cenas — corre de forma estável em GPUs de consumo. A transcrição de áudio está disponível e marcada como experimental.
Cada pedido registado, localmente
O EuLLM escreve um registo de auditoria num ficheiro que controla, na sua própria infraestrutura — sem serviço externo, pronto para os seus auditores.
Sem telemetria, sem chamadas externas
O EuLLM Engine não faz chamadas a qualquer serviço externo. Os prompts, documentos e respostas nunca saem da máquina onde corre, a menos que o configure explicitamente para tal.