Roadmap
Estado em tempo real de cada componente EuLLM, os marcos que estamos a atingir e o historial completo de cada versão lançada.
Visão geral da plataforma
EULLM Engine
v0.7.70Runtime de inferência em Rust. Multimodal vision + audio, substituto direto do Ollama com API compatível com OpenAI e interface de chat incorporada em localhost:11435.
1,065 tok/s
Débito
Vision+Audio
Multimodal
✓ testado
Windows
EULLM Forge
Pipeline de especialização de modelos. Componentes prontos, integração CLI end-to-end em curso.
4B, 8B
Tamanhos publicados
GGUF
Exportação
Beta
Pipeline
EULLM Hub
Registo de modelos com cartões de modelo e de conformidade. Pode ser auto-alojado, com uma região alojada na UE. Operacional como protótipo.
Protótipo
Modelos
3 planeados
Setores
Região alojada na UE
Alojamento
Capacidades do Engine (v0.7.70)
Runtime Rust · batching contínuo · multimodal vision + audio · totalmente local em GPUs de consumo
1,065 tok/s
Débito
16 utilizadores simultâneos, RTX 5070 Ti
Vision+Audio
Multimodal
OCR, cenas, transcrição
~2-4×
KV Quantizado
contexto, Q4_0/Q5/Q8
--web
Navegação web
agnóstico ao modelo, qualquer GGUF
O que estamos a construir
Fase 01: Fundação
Q1 2026
O motor de inferência principal atinge qualidade de produção. Componentes do pipeline Forge construídos. Hub operacional como protótipo.
- Engine: binários autónomos (Linux x64, Windows x64)
- Multimodal vision + audio (Gemma 4)
- Batching contínuo, 1,065 tok/s (16 utilizadores, RTX 5070 Ti)
- Cache KV quantizada, Q4_0/Q5/Q8 (~2-4× contexto)
- API compatível com OpenAI + substituto direto Ollama
- GPU: CUDA (testado), ROCm, Vulkan, Metal
- Registo de auditoria integrado EU AI Act
- Navegação web transparente (--web, agnóstico ao modelo)
- REPL interativo: /temp, /maxtokens, /system
- Interface de chat incorporada, localhost:11435, ~29 KB no binário
- Forge: poda estrutural + destilação de conhecimento
- Forge pipeline CLI end-to-end
- legal-it-4b e legal-it-8b publicados no Hugging Face
- Hub: modelo para setor jurídico (direito da UE/italiano)
- Modelo jurídico de próxima geração: jurisprudência administrativa — Council of State (Consiglio di Stato)
Fase 02: Ecossistema
Q2 2026
Primeiros modelos Hub prontos para produção entram em funcionamento. CLI Forge estável. Suporte de plataforma expandido.
- Hub: modelo de apoio à triagem médica
- Hub: modelo de conformidade Finance & KYC
- Cartões de conformidade EU AI Act para todos os modelos Hub
- Forge: CLI estável + documentação completa
- Inferência multi-GPU
- Assistente de quantização para hardware de consumo
Fase 03: Enterprise
H2 2026
Robustecimento enterprise: inferência distribuída, controlo de acesso, interface visual Forge Studio.
- Inferência distribuída multi-nó
- Operador Kubernetes
- Controlo de acesso SSO / RBAC
- Forge Studio: interface visual de ajuste fino
- Versionamento de modelos e rollback no Hub
- Parcerias certificadas com centros de dados da UE
- Níveis de suporte SLA
Histórico de versões
- --moe-cache auto uses more of the leftover VRAM, up to ~69 tok/s on Qwen3.8-Flash-Next
- Multi-file GGUF models are now sized correctly for --fit
- New eullm finetune command: train a model's weights on your own text, locally
- Speculative decoding with the model's own MTP head: up to 61% faster code generation
- think: true returns reasoning in a separate field, matching Ollama's format
- New /v1/systemone endpoint: decisions as probabilities, without generating text
- Jev-Style decision models supported, including a 0.8B release
- Embeddings API: /api/embed and /v1/embeddings, any GGUF embedding model
- --embedding-model loads a reserved embedder alongside a generation model
- --keep-alive idle-unloads a model after a set duration
- Multimodal in the Chat UI: drop in an image or audio clip, fully local
- Vision + audio understanding stable (Gemma 4): OCR, scene description, transcription
- BOS token handling fix for multimodal prompts
- Multimodal vision launched: image OCR and scene description on consumer GPUs
- Audio understanding (experimental, CLI), transcription and in-content search
- Runs fully local, zero telemetry
- Math expression rendering in the Chat UI
- Quantized KV cache, Q4_0/Q5/Q8 for ~2-4× context on the same GPU
- Embedded chat UI on localhost:11435, ~29 KB in binary, zero CDN or external dependencies
- eullm -V now shows the active backend variant
- Standalone Windows binaries: CPU and CUDA
- Web tool calling: transparent URL fetching in conversation
- Legal-IT dataset preparation module
- GPU layer fitting improvements
- Drop-in Ollama replacement with continuous batching
- Quantized KV cache for larger context on 16 GB GPUs
- Transparent web browsing without function-call overhead
- EU AI Act audit logging built-in
- Interactive REPL: /temp, /maxtokens, /system commands
- Quantized KV cache quality/accuracy automatic recommendations
- Quantized KV cache math accuracy improvements
- 1% accuracy loss isolated to matrix operations only
- Default context window increased to 2 048 tokens
- Math accuracy benchmarking suite added
- Mixed KV cache type support
- Bug fixes
- Documentation updates
- Batch scheduler refinements
- Build pipeline stabilization
Molde o roadmap
Abra uma issue, vote em funcionalidades ou contribua com código. O EuLLM é construído de forma aberta e cada voz conta.