Uruchamiaj AI tam, gdzie znajdują się Państwa dane.
EuLLM Engine to open-source'owe środowisko uruchomieniowe dla dużych modeli językowych. Jeden plik binarny w Rust, kompatybilny z OpenAI i Ollama, zero telemetrii. Od Raspberry Pi po A100.
Zainstaluj i uruchom w mniej niż minutę
Linux / macOS
$ curl -fsSL https://raw.githubusercontent.com/eullm/eullm/main/installer/install.sh | shWindows
$ irm https://raw.githubusercontent.com/eullm/eullm/main/installer/install.ps1 | iexNastępnie uruchom dowolny model GGUF z Hugging Face:
$ eullm run hf.co/Qwen/Qwen3-8B-GGUF:Q4_K_MPełna kompatybilność z Ollama i OpenAI
EuLLM obsługuje API Ollama i OpenAI na standardowym porcie 11434. Open WebUI, LangChain, n8n i dowolny klient kompatybilny z OpenAI działają bez zmian.
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d {"model": "qwen3-8b", "messages": [{"role": "user", "content": "Hello"}]}Ustrukturyzowane decyzje, nie tylko tekst
/v1/systemone odczytuje prawdopodobieństwo każdej opcji bezpośrednio z modelu: ustrukturyzowane decyzje w milisekundach, do routingu, triage'u i agentów. Zademonstrowaliśmy to na żywo w grze Snake — model 2B podejmujący każdy ruch w około 8 ms.
Ten sam endpoint napędza prostsze zadania produkcyjne, takie jak triage e-maili: przekierowanie, eskalacja lub archiwizacja, decydowane lokalnie w milisekundach.
Przeczytaj, jak to działa →Szybki tam, gdzie to ważne
Ciągłe wsadowanie obsługuje wielu równoczesnych użytkowników z jednego GPU. Kwantyzowana pamięć podręczna KV wydłuża kontekst na tym samym sprzęcie. Duże modele MoE działają na małych GPU, a nawet na płytkach brzegowych korzystających wyłącznie z CPU.
16 równoczesnych żądań, jeden RTX 5070 Ti
długość kontekstu dzięki kwantyzowanej pamięci podręcznej KV (Q4_0/Q5/Q8)
35B MoE, tylko CPU, płytka ARM 20 W (Radxa Orion O6)
Działa wszędzie
| System | Status |
|---|---|
| Linux x64 | Testowane |
| Windows x64 | Testowane |
| macOS (Apple Metal) | Testowane |
| ARM64 | Testowane (Radxa Orion O6) |
Backendy GPU: NVIDIA CUDA · AMD ROCm · Vulkan · Apple Metal · CPU
Testowane na: EuroHPC Leonardo (4× NVIDIA A100) · EuroHPC LUMI (AMD Instinct, ROCm multi-GPU)
Wizja i audio, w pełni lokalnie
Rozumienie obrazu — OCR, opis scen — działa stabilnie na konsumenckich GPU. Transkrypcja audio jest dostępna i oznaczona jako eksperymentalna.
Każde żądanie rejestrowane lokalnie
EuLLM zapisuje dziennik audytowy do pliku, który Państwo kontrolują, na własnej infrastrukturze — bez usług zewnętrznych, gotowy dla Państwa audytorów.
Brak telemetrii, brak zewnętrznych wywołań
EuLLM Engine nie wykonuje żadnych wywołań do usług zewnętrznych. Prompty, dokumenty i odpowiedzi nigdy nie opuszczają maszyny, na której działa, chyba że Państwo wyraźnie to skonfigurują.