Roadmap
Status każdego komponentu EuLLM w czasie rzeczywistym, kamienie milowe, które osiągamy, oraz pełna historia każdego wydania.
Przegląd platformy
EULLM Engine
v0.7.70Środowosko uruchomieniowe wnioskowania w Rust. Multimodalne vision + audio, zamiennik Ollama z API kompatybilnym z OpenAI i wbudowanym interfejsem czatu na localhost:11435.
1,065 tok/s
Przepustowość
Vision+Audio
Multimodalne
✓ testowane
Windows
EULLM Forge
Pipeline specjalizacji modeli. Komponenty gotowe, integracja CLI end-to-end w toku.
4B, 8B
Opublikowane rozmiary
GGUF
Eksport
Beta
Pipeline
EULLM Hub
Rejestr modeli z kartami modeli i kartami zgodności. Możliwość self-hostingu, z regionem hostowanym w UE. Działa jako prototyp.
Prototyp
Modele
3 planowane
Sektory
Region hostowany w UE
Hosting
Możliwości Engine (v0.7.70)
Środowosko uruchomieniowe Rust · ciągłe wsadowanie · multimodalne vision + audio · w pełni lokalnie na GPU konsumenckich
1,065 tok/s
Przepustowość
16 równoczesnych użytkowników, RTX 5070 Ti
Vision+Audio
Multimodalne
OCR, sceny, transkrypcja
~2-4×
Kwantyzowane KV
kontekst, Q4_0/Q5/Q8
--web
Przeglądanie sieci
niezależne od modelu, dowolny GGUF
Co budujemy
Faza 01: Fundament
Q1 2026
Podstawowy silnik wnioskowania osiąga jakość produkcyjną. Komponenty pipeline Forge zbudowane. Hub działa jako prototyp.
- Engine: samodzielne binaria (Linux x64, Windows x64)
- Multimodalne vision + audio (Gemma 4)
- Ciągłe wsadowanie, 1,065 tok/s (16 użytkowników, RTX 5070 Ti)
- Kwantyzowana pamięć podręczna KV, Q4_0/Q5/Q8 (~2-4× kontekstu)
- API kompatybilne z OpenAI + drop-in Ollama
- GPU: CUDA (testowane), ROCm, Vulkan, Metal
- Wbudowane rejestrowanie audytowe EU AI Act
- Przezroczyste przeglądanie sieci (--web, niezależne od modelu)
- Interaktywny REPL: /temp, /maxtokens, /system
- Wbudowany interfejs czatu, localhost:11435, ~29 KB w binarce
- Forge: strukturalne przycinanie + destylacja wiedzy
- Forge end-to-end pipeline CLI
- legal-it-4b i legal-it-8b opublikowane na Hugging Face
- Hub: model dla sektora prawnego (prawo UE/włoskie)
- Model prawny nowej generacji: orzecznictwo administracyjne (Consiglio di Stato)
Faza 02: Ekosystem
Q2 2026
Pierwsze gotowe do produkcji modele Hub wchodzą do użycia. Stabilne CLI Forge. Rozszerzone wsparcie platformy.
- Hub: model wsparcia triage medycznego
- Hub: model zgodności Finance & KYC
- Karty zgodności EU AI Act dla wszystkich modeli Hub
- Forge: stabilne CLI + pełna dokumentacja
- Wnioskowanie na wielu GPU
- Kreator kwantyzacji dla sprzętu konsumenckiego
Faza 03: Enterprise
H2 2026
Hartowanie klasy enterprise: rozproszone wnioskowanie, kontrola dostępu, wizualny interfejs Forge Studio.
- Rozproszone wnioskowanie wielowęzłowe
- Operator Kubernetes
- Kontrola dostępu SSO / RBAC
- Forge Studio: wizualny interfejs dostrajania
- Wersjonowanie modeli i przywrócenie poprzednich wersji w Hub
- Certyfikowane partnerstwa z europejskimi centrami danych
- Poziomy wsparcia SLA
Historia wydań
- --moe-cache auto uses more of the leftover VRAM, up to ~69 tok/s on Qwen3.8-Flash-Next
- Multi-file GGUF models are now sized correctly for --fit
- New eullm finetune command: train a model's weights on your own text, locally
- Speculative decoding with the model's own MTP head: up to 61% faster code generation
- think: true returns reasoning in a separate field, matching Ollama's format
- New /v1/systemone endpoint: decisions as probabilities, without generating text
- Jev-Style decision models supported, including a 0.8B release
- Embeddings API: /api/embed and /v1/embeddings, any GGUF embedding model
- --embedding-model loads a reserved embedder alongside a generation model
- --keep-alive idle-unloads a model after a set duration
- Multimodal in the Chat UI: drop in an image or audio clip, fully local
- Vision + audio understanding stable (Gemma 4): OCR, scene description, transcription
- BOS token handling fix for multimodal prompts
- Multimodal vision launched: image OCR and scene description on consumer GPUs
- Audio understanding (experimental, CLI), transcription and in-content search
- Runs fully local, zero telemetry
- Math expression rendering in the Chat UI
- Quantized KV cache, Q4_0/Q5/Q8 for ~2-4× context on the same GPU
- Embedded chat UI on localhost:11435, ~29 KB in binary, zero CDN or external dependencies
- eullm -V now shows the active backend variant
- Standalone Windows binaries: CPU and CUDA
- Web tool calling: transparent URL fetching in conversation
- Legal-IT dataset preparation module
- GPU layer fitting improvements
- Drop-in Ollama replacement with continuous batching
- Quantized KV cache for larger context on 16 GB GPUs
- Transparent web browsing without function-call overhead
- EU AI Act audit logging built-in
- Interactive REPL: /temp, /maxtokens, /system commands
- Quantized KV cache quality/accuracy automatic recommendations
- Quantized KV cache math accuracy improvements
- 1% accuracy loss isolated to matrix operations only
- Default context window increased to 2 048 tokens
- Math accuracy benchmarking suite added
- Mixed KV cache type support
- Bug fixes
- Documentation updates
- Batch scheduler refinements
- Build pipeline stabilization
Kształtuj roadmap
Otwórz zgłoszenie, głosuj na funkcje lub wnieś wkład w kod. EuLLM jest budowane publicznie i każdy głos się liczy.