Draai AI waar uw data zich bevindt.
EuLLM Engine is een open-source runtime voor grote taalmodellen. Eén Rust-binary, OpenAI- en Ollama-compatibel, nul telemetrie. Van een Raspberry Pi tot een A100.
Installeer en draai in minder dan een minuut
Linux / macOS
$ curl -fsSL https://raw.githubusercontent.com/eullm/eullm/main/installer/install.sh | shWindows
$ irm https://raw.githubusercontent.com/eullm/eullm/main/installer/install.ps1 | iexDraai vervolgens elk GGUF-model van Hugging Face:
$ eullm run hf.co/Qwen/Qwen3-8B-GGUF:Q4_K_MDrop-in Ollama- en OpenAI-compatibiliteit
EuLLM spreekt de Ollama- en OpenAI-API's op de standaardpoort 11434. Open WebUI, LangChain, n8n en elke OpenAI-compatibele client werken zonder wijzigingen.
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d {"model": "qwen3-8b", "messages": [{"role": "user", "content": "Hello"}]}Gestructureerde beslissingen, niet alleen tekst
/v1/systemone leest de waarschijnlijkheid van elke optie rechtstreeks uit het model: gestructureerde beslissingen in milliseconden, voor routering, triage en agents. We hebben dit live gedemonstreerd met Snake — een 2B-model dat elke zet beslist in ongeveer 8 ms.
Hetzelfde endpoint drijft eenvoudigere productietaken aan, zoals e-mailtriage: routeren, escaleren of archiveren, lokaal beslist in milliseconden.
Lees hoe het werkt →Snel waar het telt
Continue batching bedient veel gelijktijdige gebruikers vanaf één GPU. Gekwantiseerde KV-cache verlengt de contextlengte op dezelfde hardware. Grote MoE-modellen draaien op kleine GPU's, en zelfs op edge-boards met alleen CPU.
16 gelijktijdige verzoeken, één RTX 5070 Ti
contextlengte via gekwantiseerde KV-cache (Q4_0/Q5/Q8)
35B MoE, alleen CPU, 20 W ARM-board (Radxa Orion O6)
Draait overal
| OS | Status |
|---|---|
| Linux x64 | Getest |
| Windows x64 | Getest |
| macOS (Apple Metal) | Getest |
| ARM64 | Getest (Radxa Orion O6) |
GPU-backends: NVIDIA CUDA · AMD ROCm · Vulkan · Apple Metal · CPU
Benchmarked op: EuroHPC Leonardo (4× NVIDIA A100) · EuroHPC LUMI (AMD Instinct, ROCm multi-GPU)
Vision en audio, volledig lokaal
Beeldherkenning — OCR, scènebeschrijving — draait stabiel op consumenten-GPU's. Audiotranscriptie is beschikbaar en gemarkeerd als experimenteel.
Elk verzoek gelogd, lokaal
EuLLM schrijft een auditlog naar een bestand dat u zelf beheert op uw eigen infrastructuur — geen externe dienst, klaar voor uw auditors.
Geen telemetrie, geen externe aanroepen
EuLLM Engine doet geen aanroepen naar externe diensten. Prompts, documenten en antwoorden verlaten nooit de machine waarop het draait, tenzij u het expliciet zo configureert.