Roadmap
Realtime status van elk EuLLM-component, de mijlpalen die we bereiken en een volledige geschiedenis van elke uitgebrachte release.
Platformoverzicht
EULLM Engine
v0.7.70Rust-inferentieruntime. Multimodaal vision + audio, drop-in vervanging voor Ollama met OpenAI-compatibele API en ingebouwde chat-UI op localhost:11435.
1,065 tok/s
Doorvoer
Vision+Audio
Multimodaal
✓ getest
Windows
EULLM Forge
Model-specialisatiepipeline. Componenten gereed, end-to-end CLI-integratie in uitvoering.
4B, 8B
Gepubliceerde groottes
GGUF
Export
Beta
Pipeline
EULLM Hub
Modelregister met model- en compliancekaarten. Self-hostable, met een EU-gehoste regio. Operationeel als prototype.
Prototype
Modellen
3 gepland
Sectoren
EU-gehoste regio
Hosting
Engine-mogelijkheden (v0.7.70)
Rust-runtime · continue batching · multimodaal vision + audio · volledig lokaal op consumenten-GPU's
1,065 tok/s
Doorvoer
16 gelijktijdige gebruikers, RTX 5070 Ti
Vision+Audio
Multimodaal
OCR, scène, transcriptie
~2-4×
Gekwantiseerde KV
context, Q4_0/Q5/Q8
--web
Webbrowsen
modelagnostisch, elke GGUF
Wat we bouwen
Fase 01: Fundament
Q1 2026
Kern-inferentie-engine bereikt productiekwaliteit. Forge-pipelinecomponenten gebouwd. Hub operationeel als prototype.
- Engine: standalone binaries (Linux x64, Windows x64)
- Multimodaal vision + audio (Gemma 4)
- Continue batching, 1,065 tok/s (16 gebruikers, RTX 5070 Ti)
- Gekwantiseerde KV-cache, Q4_0/Q5/Q8 (~2-4× context)
- OpenAI-compatibele + Ollama drop-in API
- GPU: CUDA (getest), ROCm, Vulkan, Metal
- Ingebouwde auditlogging EU AI Act
- Transparant webbrowsen (--web, modelagnostisch)
- Interactieve REPL: /temp, /maxtokens, /system
- Ingebouwde chat-UI, localhost:11435, ~29 KB in binair bestand
- Forge: structureel snoeien + kennisdestillatie
- Forge end-to-end pipeline CLI
- legal-it-4b en legal-it-8b gepubliceerd op Hugging Face
- Hub: model voor juridische sector (EU/Italiaans recht)
- Juridisch model van de volgende generatie: bestuursrechtelijke jurisprudentie (Consiglio di Stato)
Fase 02: Ecosysteem
Q2 2026
Eerste productieklare Hub-modellen gaan live. Stabiele Forge CLI. Uitgebreide platformondersteuning.
- Hub: model voor medische triage-ondersteuning
- Hub: model voor Finance & KYC-compliance
- AI Act-compliancekaarten voor alle Hub-modellen
- Forge: stabiele CLI + volledige documentatie
- Multi-GPU-inferentie
- Kwantiseringswizard voor consumentenhardware
Fase 03: Enterprise
H2 2026
Enterprise-verharding: gedistribueerde inferentie, toegangsbeheer, visuele Forge Studio-interface.
- Multi-node gedistribueerde inferentie
- Kubernetes-operator
- SSO / RBAC-toegangsbeheer
- Forge Studio: visuele fijnafstemmings-UI
- Modelversioning & rollback in Hub
- Gecertificeerde EU-datacentrumpartnerschappen
- SLA-ondersteuningsniveaus
Releasegeschiedenis
- --moe-cache auto uses more of the leftover VRAM, up to ~69 tok/s on Qwen3.8-Flash-Next
- Multi-file GGUF models are now sized correctly for --fit
- New eullm finetune command: train a model's weights on your own text, locally
- Speculative decoding with the model's own MTP head: up to 61% faster code generation
- think: true returns reasoning in a separate field, matching Ollama's format
- New /v1/systemone endpoint: decisions as probabilities, without generating text
- Jev-Style decision models supported, including a 0.8B release
- Embeddings API: /api/embed and /v1/embeddings, any GGUF embedding model
- --embedding-model loads a reserved embedder alongside a generation model
- --keep-alive idle-unloads a model after a set duration
- Multimodal in the Chat UI: drop in an image or audio clip, fully local
- Vision + audio understanding stable (Gemma 4): OCR, scene description, transcription
- BOS token handling fix for multimodal prompts
- Multimodal vision launched: image OCR and scene description on consumer GPUs
- Audio understanding (experimental, CLI), transcription and in-content search
- Runs fully local, zero telemetry
- Math expression rendering in the Chat UI
- Quantized KV cache, Q4_0/Q5/Q8 for ~2-4× context on the same GPU
- Embedded chat UI on localhost:11435, ~29 KB in binary, zero CDN or external dependencies
- eullm -V now shows the active backend variant
- Standalone Windows binaries: CPU and CUDA
- Web tool calling: transparent URL fetching in conversation
- Legal-IT dataset preparation module
- GPU layer fitting improvements
- Drop-in Ollama replacement with continuous batching
- Quantized KV cache for larger context on 16 GB GPUs
- Transparent web browsing without function-call overhead
- EU AI Act audit logging built-in
- Interactive REPL: /temp, /maxtokens, /system commands
- Quantized KV cache quality/accuracy automatic recommendations
- Quantized KV cache math accuracy improvements
- 1% accuracy loss isolated to matrix operations only
- Default context window increased to 2 048 tokens
- Math accuracy benchmarking suite added
- Mixed KV cache type support
- Bug fixes
- Documentation updates
- Batch scheduler refinements
- Build pipeline stabilization
Vorm de roadmap
Open een issue, stem op functies of draag code bij. EuLLM wordt in het openbaar gebouwd en elke stem telt.