Esegui l'AI dove vivono i tuoi dati.
EuLLM Engine è un runtime open-source per large language model. Un unico binario Rust, compatibile con OpenAI e Ollama, zero telemetria. Da un Raspberry Pi a una A100.
Installa ed esegui in meno di un minuto
Linux / macOS
$ curl -fsSL https://raw.githubusercontent.com/eullm/eullm/main/installer/install.sh | shWindows
$ irm https://raw.githubusercontent.com/eullm/eullm/main/installer/install.ps1 | iexPoi esegui qualsiasi modello GGUF da Hugging Face:
$ eullm run hf.co/Qwen/Qwen3-8B-GGUF:Q4_K_MCompatibilità drop-in con Ollama e OpenAI
EuLLM parla le API di Ollama e OpenAI sulla porta standard 11434. Open WebUI, LangChain, n8n e qualsiasi client compatibile con OpenAI funzionano senza modifiche.
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d {"model": "qwen3-8b", "messages": [{"role": "user", "content": "Hello"}]}Decisioni strutturate, non solo testo
/v1/systemone legge la probabilità di ogni opzione direttamente dal modello: decisioni strutturate in millisecondi, per routing, triage e agenti. L'abbiamo dimostrato dal vivo su Snake — un modello da 2B che decide ogni mossa in circa 8 ms.
Lo stesso endpoint alimenta task di produzione più semplici come il triage delle email: instrada, escala o archivia, deciso localmente in millisecondi.
Leggi come funziona →Veloce dove conta
Il continuous batching serve molti utenti concorrenti da una sola GPU. La KV cache quantizzata estende la lunghezza del contesto sullo stesso hardware. Modelli MoE di grandi dimensioni girano su GPU piccole, e persino su schede edge solo CPU.
16 richieste concorrenti, una RTX 5070 Ti
lunghezza del contesto tramite KV cache quantizzata (Q4_0/Q5/Q8)
35B MoE, solo CPU, scheda ARM da 20 W (Radxa Orion O6)
Gira ovunque
| OS | Stato |
|---|---|
| Linux x64 | Testato |
| Windows x64 | Testato |
| macOS (Apple Metal) | Testato |
| ARM64 | Testato (Radxa Orion O6) |
Backend GPU: NVIDIA CUDA · AMD ROCm · Vulkan · Apple Metal · CPU
Testato su: EuroHPC Leonardo (4× NVIDIA A100) · EuroHPC LUMI (AMD Instinct, ROCm multi-GPU)
Visione e audio, interamente in locale
La comprensione delle immagini — OCR, descrizione delle scene — gira stabile su GPU consumer. La trascrizione audio è disponibile ed è contrassegnata come sperimentale.
Ogni richiesta registrata, in locale
EuLLM scrive un audit log in un file che controlli tu, sulla tua infrastruttura — nessun servizio esterno, pronto per i tuoi revisori.
Zero telemetria, nessuna chiamata esterna
EuLLM Engine non effettua chiamate verso alcun servizio esterno. Prompt, documenti e risposte non lasciano mai la macchina su cui gira, a meno che tu non lo configuri esplicitamente.