Führen Sie KI dort aus, wo Ihre Daten liegen.
EuLLM Engine ist eine Open-Source-Laufzeitumgebung für große Sprachmodelle. Eine einzige Rust-Binärdatei, OpenAI- und Ollama-kompatibel, keine Telemetrie. Vom Raspberry Pi bis zum A100.
In unter einer Minute installieren und starten
Linux / macOS
$ curl -fsSL https://raw.githubusercontent.com/eullm/eullm/main/installer/install.sh | shWindows
$ irm https://raw.githubusercontent.com/eullm/eullm/main/installer/install.ps1 | iexDann führen Sie ein beliebiges GGUF-Modell von Hugging Face aus:
$ eullm run hf.co/Qwen/Qwen3-8B-GGUF:Q4_K_MDirekte Ollama- und OpenAI-Kompatibilität
EuLLM spricht die Ollama- und OpenAI-APIs auf dem Standardport 11434. Open WebUI, LangChain, n8n und jeder OpenAI-kompatible Client funktionieren ohne Änderungen.
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d {"model": "qwen3-8b", "messages": [{"role": "user", "content": "Hello"}]}Strukturierte Entscheidungen, nicht nur Text
/v1/systemone liest die Wahrscheinlichkeit jeder Option direkt aus dem Modell: strukturierte Entscheidungen in Millisekunden, für Routing, Triage und Agenten. Wir haben es live mit Snake demonstriert — ein 2B-Modell entscheidet jeden Zug in rund 8 ms.
Derselbe Endpunkt treibt einfachere Produktionsaufgaben wie E-Mail-Triage an: weiterleiten, eskalieren oder archivieren, lokal in Millisekunden entschieden.
Lesen Sie, wie es funktioniert →Schnell, wo es zählt
Continuous Batching bedient viele gleichzeitige Nutzer von einer GPU aus. Quantisierter KV-Cache verlängert die Kontextlänge auf derselben Hardware. Große MoE-Modelle laufen auf kleinen GPUs und sogar auf reinen CPU-Edge-Boards.
16 gleichzeitige Anfragen, eine RTX 5070 Ti
Kontextlänge über quantisierten KV-Cache (Q4_0/Q5/Q8)
35B MoE, nur CPU, 20-W-ARM-Board (Radxa Orion O6)
Läuft überall
| Betriebssystem | Status |
|---|---|
| Linux x64 | Getestet |
| Windows x64 | Getestet |
| macOS (Apple Metal) | Getestet |
| ARM64 | Getestet (Radxa Orion O6) |
GPU-Backends: NVIDIA CUDA · AMD ROCm · Vulkan · Apple Metal · CPU
Benchmarked auf: EuroHPC Leonardo (4× NVIDIA A100) · EuroHPC LUMI (AMD Instinct, ROCm multi-GPU)
Vision und Audio, vollständig lokal
Bildverständnis — OCR, Szenenbeschreibung — läuft stabil auf Consumer-GPUs. Audiotranskription ist verfügbar und als experimentell gekennzeichnet.
Jede Anfrage lokal protokolliert
EuLLM schreibt ein Audit-Log in eine Datei, die Sie auf Ihrer eigenen Infrastruktur kontrollieren — kein externer Dienst, bereit für Ihre Prüfer.
Keine Telemetrie, keine externen Aufrufe
EuLLM Engine macht keine Aufrufe an externe Dienste. Prompts, Dokumente und Antworten verlassen niemals den Rechner, auf dem es läuft, es sei denn, Sie konfigurieren es ausdrücklich anders.