7B-Spezialisten, die mithalten oder ĂŒbertreffen sollen
70B-Generalisten
in Ihrem regulierten Sektor, auf Ihrer EU-Infrastruktur.
EuLLM destilliert und vertikalisiert Open-Weight-Modelle zu kompakten 7B-Spezialisten fĂŒr die Bereiche Recht, Medizin und Technik. In der EU gehostet, mit AI Act-KonformitĂ€tskarten inklusive.
Entwickelt fĂŒr Rechtsteams, Compliance-Beauftragte, medizinische Einrichtungen und technische Organisationen die keine Daten in US-Clouds senden können.
- 70B â 7B
- Modellkomprimierung
- ~50Ă
- Inferenzkosten vs. Frontier
- Vision+Audio
- Multimodal, vollstÀndig lokal
- AI Act
- KonformitÀtskarten integriert
Die vertikale Modellschmiede
Nehmen Sie ein 70B-Frontier-Modell und destillieren Sie es zu einem schlanken 7B- oder 4B-DomĂ€nenspezialisten, der das Original in Ihrem Zielbereich ĂŒbertrifft. Weniger Rechenaufwand, mehr PrĂ€zision, volle EU-SouverĂ€nitĂ€t.
- Structural pruning: irrelevante KapazitÀt entfernen, ohne von Grund auf neu zu trainieren
- Knowledge distillation: DomĂ€nenexpertise in ein kleineres Modell ĂŒbertragen
- Quantization: Throughput auf bestehender Hardware maximieren
- Identity fine-tuning: individuelle Persona, Brand Voice und Anweisungen
- GGUF-Export: lÀuft sofort auf Engine, kein zusÀtzliches Tooling erforderlich
Basismodell auswÀhlen
Beliebiges Apache 2.0-Frontier-Modell (70B, 32BâŠ)
Ihren Sektor definieren
Recht, Medizin, Finanzen, TechnikâŠ
Forge-Pipeline starten
Prune â Distill â Quantize â Fine-tune
Exportieren & bereitstellen
GGUF-Ausgabe, lÀuft sofort auf Engine
EuropÀisches Modellregister
Vorspezializierte vertikale Modelle fĂŒr regulierte europĂ€ische Branchen, vollstĂ€ndig innerhalb der EU gehostet. Jedes Modell wird mit einer AI Act-KonformitĂ€tskarte geliefert.
Legal IT
Vertragsanalyse, GDPR-Bewertung, EU-RegulierungskonformitÀt (italienische Rechtsordnung)
- âTrainiert auf kuratierter italienischer Rechtsprechung, Zivilgesetzbuch und EU-Regulierungskorpus
- â7B Parameter, AI Act-KonformitĂ€tskarte fĂŒr Hochrisiko-KI inklusive
- âDestilliert aus einem 70B-Frontier-Open-Weight-Modell
Klinische Dokumentation, ICD-Kodierung, UnterstĂŒtzung bei der Patiententriagle
Risikobewertung, KYC-Automatisierung, MiFID II-KonformitÀtsberichterstattung
Benötigen Sie ein Vertikale, das wir noch nicht haben?
Wir entwickeln maĂgeschneiderte Spezialmodelle fĂŒr Ihren regulierten Sektor.
Alle Hub-Modelle verwenden ausschlieĂlich Gewichte unter Apache 2.0 Lizenz und bieten White-Label-SouverĂ€nitĂ€t fĂŒr europĂ€ische Unternehmen. VollstĂ€ndige Roadmap ansehen â
Die Laufzeitumgebung, die alles beschleunigt
Ein produktionsreifer Inferenz-Server in Rust: direkter Ollama-Ersatz mit OpenAI-kompatibler API. Engine betreibt jedes vertikale EULLM-Modell mit 259 Tok/s ohne jegliche Telemetrie auĂerhalb der EU. API auf dem Ollama-Standardport (11434), integrierte Chat-OberflĂ€che auf 11435, keine Konflikte.
- Multimodal (Vision + Audio): Bild-OCR, Szenenbeschreibung, Audiotranskription, vollstÀndig lokal auf Consumer-GPUs
- Continuous batching: 259 Tok/s bei 16 gleichzeitigen Anfragen
- GPU-Beschleunigung: NVIDIA CUDA (getestet), AMD ROCm, Vulkan, Apple Metal
- Quantized KV cache: Q4_0/Q5/Q8 fĂŒr ~2-4Ă Kontext auf derselben GPU
- Transparentes Web-Browsing (--web), model-agnostic, funktioniert mit jedem GGUF
- Dual-Listener: API auf :11434 (Ollama-Standard), Chat-OberflÀche auf :11435 (~29 KB im BinÀrformat, kein CDN)
- Integriertes Audit-Logging fĂŒr EU AI Act-KonformitĂ€t
- Standalone-BinÀrdateien: Linux x64 + Windows x64 getestet · macOS & ARM64 experimentell
# Download Engine (Linux x64)
curl -L https://github.com/eullm/eullm/releases/latest/download/eullm-linux-x64 -o eullm
chmod +x eullm
# Run a model
./eullm run ./model.gguf --batch-size 16
# OpenAI-compatible API on :11434
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen3","messages":[{"role":"user","content":"Ciao!"}]}'
Neueste Artikel
13. Juni 2026 · 6 min read
Die USA haben bereits KI-SouverÀnitÀt. Europa debattiert noch.
Am 12. Juni 2026 wies die US-Regierung Anthropic an, den Zugang zu seinen fortschrittlichsten KI-Modellen fĂŒr jeden Nicht-Amerikaner auf dem Planeten zu sperren. Ohne VorankĂŒndigung. Ohne Einspruchsmöglichkeit. Ohne Ausnahmen. Wer noch einen Weckruf brauchte, was digitale SouverĂ€nitĂ€t in der Praxis wirklich bedeutet: hier ist er.
Weiterlesen â
1. April 2026 · 4 min read
Open-Source-KI in Europa: Stand der Dinge 2026
EuropĂ€ische Open-Source-KI hat sich schneller entwickelt als fast jemand vorhergesagt hĂ€tte. Von Mistral ĂŒber Qwen bis hin zu einem wachsenden Ăkosystem an Infrastrukturwerkzeugen: der souverĂ€ne KI-Stack ist real und wettbewerbsfĂ€hig.
Weiterlesen â
15. MÀrz 2026 · 3 min read
Der EU AI Act: Was er fĂŒr Ihre Organisation bedeutet
Der EU AI Act ist die erste umfassende KI-Regulierung der Welt. Hier erfahren Sie, was europĂ€ische Unternehmen wissen mĂŒssen, und warum der Betrieb eigener LLM-Infrastruktur zunehmend zur Compliance-Pflicht wird.
Weiterlesen â
SouverÀne KI beginnt hier
Ihre Daten bleiben in Europa. Ihre Modelle tragen Ihre Marke. Keine API-AbhÀngigkeiten, kein Vendor Lock-in.