
Von Tokens zu Entscheidungen: Ein 2B Jev-Style Decision Model lokal mit EuLLM betreiben
Ein 2B Jev-Style Decision Model, das lokal mit EuLLM läuft, trifft Echtzeit-Entscheidungen in rund 10 ms auf einer RTX 5070 Ti, ganz ohne externe API.
Gedanken zu Datensouveränität, KI-Infrastruktur und Open-Source-LLMs.

Ein 2B Jev-Style Decision Model, das lokal mit EuLLM läuft, trifft Echtzeit-Entscheidungen in rund 10 ms auf einer RTX 5070 Ti, ganz ohne externe API.

EULLM hat Rechenzeit auf zwei EuroHPC-Supercomputern erhalten: Leonardo in Bologna und LUMI in Finnland. Wir bauen unser erstes vertikales Modell auf A100s und validieren ROCm-Multi-GPU auf dem größten AMD-Cluster des Kontinents.

Am 12. Juni 2026 wies die US-Regierung Anthropic an, den Zugang zu seinen fortschrittlichsten KI-Modellen für jeden Nicht-Amerikaner auf dem Planeten zu sperren. Ohne Vorankündigung. Ohne Einspruchsmöglichkeit. Ohne Ausnahmen. Wer noch einen Weckruf brauchte, was digitale Souveränität in der Praxis wirklich bedeutet: hier ist er.

Europäische Open-Source-KI hat sich schneller entwickelt als fast jemand vorhergesagt hätte. Von Mistral über Qwen bis hin zu einem wachsenden Ökosystem an Infrastrukturwerkzeugen: der souveräne KI-Stack ist real und wettbewerbsfähig.

Der EU AI Act ist die erste umfassende KI-Regulierung der Welt. Hier erfahren Sie, was europäische Unternehmen wissen müssen, und warum der Betrieb eigener LLM-Infrastruktur zunehmend zur Compliance-Pflicht wird.

Europäische Organisationen werden sich zunehmend der Risiken bewusst, die mit der Abhängigkeit von US-amerikanischer und chinesischer Cloud-Infrastruktur für kritische KI-Workloads einhergehen. Was Datensouveränität wirklich bedeutet, und warum die Einsätze höher sind als die meisten ahnen.

Die DSGVO wurde vor der aktuellen Welle großer Sprachmodelle verfasst. Doch ihre Grundsätze gelten unmittelbar, und für viele KI-Anwendungsfälle ist der Betrieb eines lokalen LLM der einzige Weg, compliant zu bleiben.