Roadmap
État en temps réel de chaque composant EuLLM, les jalons que nous atteignons et l'historique complet de chaque version publiée.
Vue d'ensemble de la plateforme
EULLM Engine
v0.7.70Runtime d'inférence en Rust. Multimodal vision + audio, remplacement drop-in d'Ollama avec API OpenAI-compatible et interface de chat intégrée sur localhost:11435.
1,065 tok/s
Throughput
Vision+Audio
Multimodal
✓ testé
Windows
EULLM Forge
Pipeline de spécialisation de modèles. Composants prêts, intégration CLI end-to-end en cours.
4B, 8B
Tailles publiées
GGUF
Export
Beta
Pipeline
EULLM Hub
Registre de modèles avec fiches modèle et fiches de conformité. Auto-hébergeable, avec une région hébergée dans l'UE. Opérationnel en tant que prototype.
Prototype
Modèles
3 prévus
Secteurs
Région hébergée dans l'UE
Hébergement
Capacités Engine (v0.7.70)
Runtime Rust · continuous batching · multimodal vision + audio · entièrement local sur GPU grand public
1,065 tok/s
Throughput
16 utilisateurs simultanés, RTX 5070 Ti
Vision+Audio
Multimodal
OCR, scènes, transcription
~2-4×
Quantized KV
contexte, Q4_0/Q5/Q8
--web
Navigation web
model-agnostic, n'importe quel GGUF
Ce que nous construisons
Phase 01: Fondation
Q1 2026
Le moteur d'inférence atteint la qualité de production. Composants de la pipeline Forge construits. Hub opérationnel en tant que prototype.
- Engine : binaires standalone (Linux x64, Windows x64)
- Multimodal vision + audio (Gemma 4)
- Continuous batching, 1,065 tok/s (16 utilisateurs, RTX 5070 Ti)
- Quantized KV cache, Q4_0/Q5/Q8 (~2-4× contexte)
- API OpenAI-compatible + drop-in Ollama
- GPU : CUDA (testé), ROCm, Vulkan, Metal
- Audit logging EU AI Act intégré
- Navigation web transparente (--web, model-agnostic)
- REPL interactif : /temp, /maxtokens, /system
- Interface de chat intégrée, localhost:11435, ~29 Ko dans le binaire
- Forge : structural pruning + knowledge distillation
- Forge : CLI pipeline end-to-end
- legal-it-4b et legal-it-8b publiés sur Hugging Face
- Hub : modèle secteur juridique (droit UE/italien)
- Modèle juridique nouvelle génération : jurisprudence administrative (Consiglio di Stato)
Phase 02: Écosystème
Q2 2026
Les premiers modèles Hub prêts pour la production sont mis en ligne. CLI Forge stable. Support de la plateforme étendu.
- Hub : modèle de soutien au triage médical
- Hub : modèle de conformité finance et KYC
- Fiches de conformité AI Act pour tous les modèles Hub
- Forge : CLI stable + documentation complète
- Inférence multi-GPU
- Assistant de quantisation pour matériel grand public
Phase 03: Entreprise
H2 2026
Durcissement enterprise : inférence distribuée, contrôle d'accès, Forge Studio UI visuelle.
- Inférence distribuée multi-nœuds
- Opérateur Kubernetes
- SSO / RBAC access control
- Forge Studio : UI visuelle pour le fine-tuning
- Versionnage et rollback des modèles dans le Hub
- Partenariats avec des centres de données UE certifiés
- Niveaux de support SLA
Historique des versions
- --moe-cache auto uses more of the leftover VRAM, up to ~69 tok/s on Qwen3.8-Flash-Next
- Multi-file GGUF models are now sized correctly for --fit
- New eullm finetune command: train a model's weights on your own text, locally
- Speculative decoding with the model's own MTP head: up to 61% faster code generation
- think: true returns reasoning in a separate field, matching Ollama's format
- New /v1/systemone endpoint: decisions as probabilities, without generating text
- Jev-Style decision models supported, including a 0.8B release
- Embeddings API: /api/embed and /v1/embeddings, any GGUF embedding model
- --embedding-model loads a reserved embedder alongside a generation model
- --keep-alive idle-unloads a model after a set duration
- Multimodal in the Chat UI: drop in an image or audio clip, fully local
- Vision + audio understanding stable (Gemma 4): OCR, scene description, transcription
- BOS token handling fix for multimodal prompts
- Multimodal vision launched: image OCR and scene description on consumer GPUs
- Audio understanding (experimental, CLI), transcription and in-content search
- Runs fully local, zero telemetry
- Math expression rendering in the Chat UI
- Quantized KV cache, Q4_0/Q5/Q8 for ~2-4× context on the same GPU
- Embedded chat UI on localhost:11435, ~29 KB in binary, zero CDN or external dependencies
- eullm -V now shows the active backend variant
- Standalone Windows binaries: CPU and CUDA
- Web tool calling: transparent URL fetching in conversation
- Legal-IT dataset preparation module
- GPU layer fitting improvements
- Drop-in Ollama replacement with continuous batching
- Quantized KV cache for larger context on 16 GB GPUs
- Transparent web browsing without function-call overhead
- EU AI Act audit logging built-in
- Interactive REPL: /temp, /maxtokens, /system commands
- Quantized KV cache quality/accuracy automatic recommendations
- Quantized KV cache math accuracy improvements
- 1% accuracy loss isolated to matrix operations only
- Default context window increased to 2 048 tokens
- Math accuracy benchmarking suite added
- Mixed KV cache type support
- Bug fixes
- Documentation updates
- Batch scheduler refinements
- Build pipeline stabilization
Influencez la feuille de route
Ouvrez un issue, votez pour des fonctionnalités ou contribuez au code. EuLLM est développé en public et chaque voix compte.