Ejecute IA donde viven sus datos.
EuLLM Engine es un runtime de código abierto para grandes modelos de lenguaje. Un único binario en Rust, compatible con OpenAI y Ollama, cero telemetría. Desde una Raspberry Pi hasta una A100.
Instale y ejecute en menos de un minuto
Linux / macOS
$ curl -fsSL https://raw.githubusercontent.com/eullm/eullm/main/installer/install.sh | shWindows
$ irm https://raw.githubusercontent.com/eullm/eullm/main/installer/install.ps1 | iexLuego ejecute cualquier modelo GGUF desde Hugging Face:
$ eullm run hf.co/Qwen/Qwen3-8B-GGUF:Q4_K_MCompatibilidad directa con Ollama y OpenAI
EuLLM habla las APIs de Ollama y OpenAI en el puerto estándar 11434. Open WebUI, LangChain, n8n y cualquier cliente compatible con OpenAI funcionan sin cambios.
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d {"model": "qwen3-8b", "messages": [{"role": "user", "content": "Hello"}]}Decisiones estructuradas, no solo texto
/v1/systemone lee la probabilidad de cada opción directamente del modelo: decisiones estructuradas en milisegundos, para enrutamiento, triaje y agentes. Lo demostramos en directo con Snake — un modelo de 2B decidiendo cada movimiento en unos 8 ms.
El mismo endpoint impulsa tareas de producción más sencillas, como el triaje de correo electrónico: enrutar, escalar o archivar, decidido localmente en milisegundos.
Lea cómo funciona →Rápido donde importa
Continuous batching atiende a muchos usuarios simultáneos desde una sola GPU. La caché KV cuantizada amplía la longitud de contexto en el mismo hardware. Los modelos MoE grandes se ejecutan en GPUs pequeñas, e incluso en placas edge que solo usan CPU.
16 solicitudes simultáneas, una RTX 5070 Ti
longitud de contexto mediante caché KV cuantizada (Q4_0/Q5/Q8)
MoE de 35B, solo CPU, placa ARM de 20 W (Radxa Orion O6)
Funciona en cualquier lugar
| SO | Estado |
|---|---|
| Linux x64 | Probado |
| Windows x64 | Probado |
| macOS (Apple Metal) | Probado |
| ARM64 | Probado (Radxa Orion O6) |
Backends GPU: NVIDIA CUDA · AMD ROCm · Vulkan · Apple Metal · CPU
Evaluado en: EuroHPC Leonardo (4× NVIDIA A100) · EuroHPC LUMI (AMD Instinct, ROCm multi-GPU)
Visión y audio, totalmente local
La comprensión de imágenes — OCR, descripción de escenas — funciona de forma estable en GPUs de consumo. La transcripción de audio está disponible y marcada como experimental.
Cada solicitud registrada, localmente
EuLLM escribe un registro de auditoría en un archivo que usted controla en su propia infraestructura — sin servicios externos, listo para sus auditores.
Sin telemetría, sin llamadas externas
EuLLM Engine no realiza llamadas a ningún servicio externo. Los prompts, documentos y respuestas nunca salen de la máquina en la que se ejecuta, a menos que usted lo configure explícitamente.