Exécutez l'IA là où vivent vos données.
EuLLM Engine est un runtime open source pour les grands modèles de langage. Un seul binaire Rust, compatible OpenAI et Ollama, zéro télémétrie. D'un Raspberry Pi à un A100.
Installez et lancez en moins d'une minute
Linux / macOS
$ curl -fsSL https://raw.githubusercontent.com/eullm/eullm/main/installer/install.sh | shWindows
$ irm https://raw.githubusercontent.com/eullm/eullm/main/installer/install.ps1 | iexPuis exécutez n'importe quel modèle GGUF depuis Hugging Face :
$ eullm run hf.co/Qwen/Qwen3-8B-GGUF:Q4_K_MCompatibilité directe avec Ollama et OpenAI
EuLLM parle les API Ollama et OpenAI sur le port standard 11434. Open WebUI, LangChain, n8n et tout client compatible OpenAI fonctionnent sans modification.
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d {"model": "qwen3-8b", "messages": [{"role": "user", "content": "Hello"}]}Des décisions structurées, pas seulement du texte
/v1/systemone lit directement dans le modèle la probabilité de chaque option : des décisions structurées en quelques millisecondes, pour le routage, le triage et les agents. Nous l'avons démontré en direct sur Snake — un modèle 2B décidant chaque mouvement en environ 8 ms.
Le même endpoint alimente des tâches de production plus simples comme le triage d'emails : router, escalader ou archiver, décidé localement en quelques millisecondes.
Découvrir comment ça marche →Rapide là où ça compte
Le continuous batching sert de nombreux utilisateurs simultanés depuis un seul GPU. Le cache KV quantifié étend la longueur de contexte sur le même matériel. De grands modèles MoE tournent sur de petits GPU, et même sur des cartes edge en CPU uniquement.
16 requêtes simultanées, une seule RTX 5070 Ti
longueur de contexte via cache KV quantifié (Q4_0/Q5/Q8)
MoE 35B, CPU uniquement, carte ARM 20 W (Radxa Orion O6)
Fonctionne partout
| OS | Statut |
|---|---|
| Linux x64 | Testé |
| Windows x64 | Testé |
| macOS (Apple Metal) | Testé |
| ARM64 | Testé (Radxa Orion O6) |
Backends GPU: NVIDIA CUDA · AMD ROCm · Vulkan · Apple Metal · CPU
Benchmarké sur: EuroHPC Leonardo (4× NVIDIA A100) · EuroHPC LUMI (AMD Instinct, ROCm multi-GPU)
Vision et audio, entièrement local
La compréhension d'images — OCR, description de scènes — tourne de façon stable sur des GPU grand public. La transcription audio est disponible et marquée comme expérimentale.
Chaque requête enregistrée, localement
EuLLM écrit un journal d'audit dans un fichier que vous contrôlez sur votre propre infrastructure — aucun service externe, prêt pour vos auditeurs.
Aucune télémétrie, aucun appel externe
EuLLM Engine n'effectue aucun appel vers un service externe. Les prompts, documents et réponses ne quittent jamais la machine sur laquelle il tourne, sauf si vous le configurez explicitement pour cela.