Esegui l'AI dove vivono i tuoi dati.
EuLLM Engine è un runtime open-source per large language model. Un unico binario Rust, compatibile con OpenAI e Ollama, zero telemetria. Da un Raspberry Pi a una A100.
I tuoi modelli. La tua infrastruttura. I tuoi dati.
$ curl -fsSL https://raw.githubusercontent.com/eullm/eullm/main/installer/install.sh | sh $ eullm run hf.co/Qwen/Qwen3-8B-GGUF:Q4_K_M
- ~8 ms
- per decisione
- Un modello da 2B decide ogni mossa di Snake su una RTX 5070 Ti
- 259 tok/s
- su 16 utenti concorrenti
- su una RTX 5070 Ti
- 9–11 tok/s
- 35B MoE, solo CPU
- su una scheda ARM da 20 W (Radxa Orion O6)
- CUDA · ROCm · Vulkan · Metal · CPU
- Gira ovunque
- stesso binario, ogni backend
Perché EuLLM Engine
Privato per default
Prompt, documenti e risposte non lasciano mai la tua macchina. Nessuna telemetria, nessuna API esterna.
Sostituto drop-in
API Ollama e OpenAI sulla porta 11434. Open WebUI, LangChain, n8n e qualsiasi client OpenAI funzionano senza modifiche.
Veloce dove conta
Continuous batching, KV cache quantizzata per contesti lunghi, modelli MoE di grandi dimensioni su GPU piccole.
Decisioni, non solo testo
/v1/systemone legge la probabilità di ogni opzione direttamente dal modello: decisioni strutturate in millisecondi, per routing, triage e agenti.
Gira ovunque
Laptop, workstation, server on-prem, dispositivi edge, cloud privato. Un unico binario, nessun Python, nessun Docker richiesto.
Audit trail integrato
Ogni richiesta viene registrata localmente in un file che controlli tu, pronto per i tuoi revisori.
Una chat UI è integrata, su localhost:11435.
Costruisci e distribuisci i tuoi modelli
EuLLM Platform trasforma modelli open-weight in specialisti per il tuo settore, e li porta ovunque debbano girare.
Forge — specializza
In sviluppoFai fine-tuning, distillazione e valutazione di modelli open sui tuoi dati. Piccoli specialisti che rispondono con precisione a partire dai tuoi documenti e dalle tue fonti, esportati come GGUF di tua proprietà ed eseguiti su Engine.
Hub — distribuisci
PrototipoPubblica, versiona e scopri modelli, ciascuno con una model card e una compliance card. Self-hostabile, con una region ospitata nell'UE.
Primo specialista: legal-it-4b per il diritto italiano, in addestramento su EuroHPC Leonardo.
Pensato per il lavoro regolamentato
Settore legale, sanità, finanza e pubblica amministrazione non possono affidare i propri dati all'API di qualcun altro. EuLLM gira interamente su infrastruttura che controlli tu, registra ogni richiesta localmente e distribuisce model card e compliance card con ogni modello Platform.
- Audit trail locale per ogni inferenza
- Supporto documentale per l'AI Act UE e il GDPR
- Modelli specialisti per lavoro legale, medico e finanziario (legale per primo)
- Region Hub ospitata nell'UE per le organizzazioni che lo richiedono
Nessun binario o compliance card da solo rende un sistema conforme: la conformità è una proprietà dell'intero sistema e della sua governance.
Open source, costruito in Europa
EuLLM è open source (AGPL-3.0) e costruito a Milano da I3K Technologies. Addestriamo e testiamo le performance sui supercomputer EuroHPC, Leonardo e LUMI. Costruito in Europa, tuo da eseguire ovunque.
Per le organizzazioni europee →Ultimi articoli
29 settembre 2026 · 6 min read
Dai Token alle Decisioni: un Modello Decisionale Jev-Style da 2B in Locale con EuLLM
Un Decision Model Jev-style da 2B in esecuzione locale con EuLLM prende decisioni in tempo reale in circa 8 ms su una RTX 5070 Ti, senza alcuna API esterna.
Leggi di più →
12 settembre 2026 · 5 min read
Abbiamo ottenuto tempo su Leonardo e LUMI. Ecco cosa stiamo costruendo.
EULLM ha ricevuto tempo di calcolo su due supercomputer EuroHPC: Leonardo a Bologna e LUMI in Finlandia. Stiamo costruendo il nostro primo modello verticale su A100 e validando il multi-GPU ROCm sul più grande cluster AMD del continente.
Leggi di più →
I tuoi modelli. La tua infrastruttura. I tuoi dati.
Installa EuLLM Engine con un solo comando, oppure parlaci di un modello specialista per il tuo settore.