Angetrieben von EuLLM · Verfügbar über I3K

Eine Inferenz-Laufzeitumgebung. Unterschiedliche Hardware.

EuLLM ist die Schicht, die lokale KI hardwareunabhängig macht — dieselbe Laufzeitumgebung, dieselbe API, von Desktop-Systemen bis zu Enterprise-Beschleunigern.

Local AI entdecken I3K Appliance-Konfigurationen ansehen

Laufzeitumgebung

Die Laufzeitumgebung hinter jeder Local AI Appliance

I3K baut die Hardware. EuLLM ist die Software, die darauf läuft: die Inferenz-Engine, der Modellkatalog und die API-Schicht, mit denen Sie LLMs und andere KI-Workloads vollständig auf Ihrer eigenen Infrastruktur ausführen.

Vollständig lokale Inferenz — kein Cloud-Roundtrip, keine Daten verlassen Ihre Infrastruktur
OpenAI-kompatible API — direkter Ersatz für bestehende Tools und Agenten-Frameworks
Modellverwaltung mit integriertem GGUF-Modellkatalog
Hardware-Abstraktion über CPU, Unified Memory und dedizierte GPU
Validiert auf AMD, NVIDIA und anderen Beschleunigern
Multi-GPU-Unterstützung für größere Modelle und höhere Nebenläufigkeit
Wählen Sie Hardware nach Kapazität (große Modelle) oder Performance (geringe Latenz)
Tauschen Sie die zugrunde liegende Hardware später aus — gleiche API, gleiche Anwendung, keine Neuentwicklung
Treibt RAG Enterprise, Agenten und externe Anwendungen über eine einzige API an
Keine Pro-Token-Kosten durch EuLLM, wenn das Modell lokal läuft

Architekturen

Zwei Wege, eine Local AI Appliance zu dimensionieren

Capacity-Architektur

Große Unified-Memory-Pools, um sehr große Modelle vollständig zu laden, ohne Offloading.

Ryzen AI Max+ 395 — 128 GB Unified Memory. Eine zukünftige Plattform erweitert dies auf bis zu 192 GB.

Performance-Architektur

Dedizierte GPUs mit höherer Speicherbandbreite, gebaut für interaktive Inferenz mit geringer Latenz.

32-GB-Beschleuniger · 64-GB-Dual-Beschleuniger · 96-GB-Enterprise-Beschleuniger

Konfigurationen

Appliance-Konfigurationen

EuLLM Capacity 128

128 GB Unified Memory

EuLLM Performance 32

32 GB GPU-Speicher

EuLLM Performance 64

64 GB aggregierter GPU-Speicher

EuLLM Enterprise 96

96 GB ECC-GPU-Speicher

EuLLM Capacity 192

Demnächst verfügbar

Durchsatz und Nebenläufigkeit hängen vom Modell, der Quantisierung, der Kontextlänge und der Hardware ab. Wir veröffentlichen Benchmark-Zahlen erst, nachdem wir EuLLM direkt auf den finalen Konfigurationen getestet haben — nicht vorher.

Architektur

Wie alles zusammenpasst

Business-Anwendungen · Agenten · RAG Enterprise

OpenAI-kompatible API

EuLLM

Modell-Laufzeitumgebung · Scheduler · Modellkatalog

CPU · AMD · NVIDIA · Multi-Beschleuniger-Hardware

“Anwendungen integrieren sich mit EuLLM, nicht mit einem bestimmten GPU-Anbieter.”

Das ermöglicht es I3K, jederzeit den Beschleuniger mit dem besten Verhältnis aus Preis, Speicher, Performance und Verfügbarkeit zu wählen — ohne dass eine Anwendung neu geschrieben werden muss.

Anwendungen

RAG Enterprise läuft auf EuLLM, nicht darin

RAG Enterprise, Agenten-Frameworks und andere Business-Anwendungen kommunizieren mit EuLLM über die OpenAI-kompatible API. Es sind Anwendungen, die auf der Laufzeitumgebung aufbauen, nicht Teil der Kern-Inferenz-Engine.

Lizenzierung

Was zum Kern gehört, was separat lizenziert wird

EuLLM-Kern

Kern-Updates und die Unterstützung neuer Modelle/Backends sind Teil des Wartungsabonnements.

Anwendungsmodule

Erweiterte Agenten, Voice-Plattform, Document Intelligence und weitere Module werden separat über I3K / RAG Enterprise lizenziert.

Führen Sie lokale KI auf Ihrer eigenen Hardware aus

EuLLM ist Open Source und läuft überall. I3K verpackt es in Appliances, die auf Ihren Workload zugeschnitten sind.

EuLLM On-Premise ausführen Frühzeitigen Zugang anfordern I3K Appliance-Konfigurationen ansehen

Angetrieben von EuLLM. Verfügbar über I3K Local AI.