Agentic AI Platform on Kubernetes

Motivation

Für die meisten Unternehmen besteht die Herausforderung bei generativer und agentenbasierter KI nicht mehr im Prototyping, sondern darin, sie zuverlässig in großem Maßstab zu betreiben. Erste Anwendungsfälle lassen sich schnell umsetzen, doch jede weitere Anwendung erhöht die Komplexität. Anmeldedaten werden teamübergreifend dupliziert, die Nutzung von Modellen lässt sich nicht ihrer Quelle zuordnen, jeder Agent integriert seine eigenen Tools, und die Bereitstellungspraktiken unterscheiden sich von Projekt zu Projekt. Das Ergebnis ist eine wachsende Landschaft unkontrollierter Integrationen, die Sicherheits-, Finanz- und Plattformteams nicht mehr überblicken können.

Diese Lösung schafft eine regulierte Plattform, die diese Fragmentierung ablöst. Ein zentrales KI-Gateway dient als zentraler Zugangspunkt zu allen Modellen – unabhängig davon, ob diese extern verwaltet oder selbst gehostet werden – sowie zu regulierten MCP-Tool-Servern über dasselbe Gateway. Dadurch wird sichergestellt, dass Zugriffskontrollen, Budgets und Sicherheitsgrenzen zentral und nicht projektbezogen durchgesetzt werden. Neue Anwendungsfälle gelangen innerhalb weniger Tage in die Produktion, wobei jeder einzelne standardmäßig reguliert und überwachbar ist.

‍

Was wir mitbringen

PRODYNA verfügt über mehr als zwei Jahrzehnte Erfahrung in den Bereichen Unternehmenssoftwareentwicklung, Cloud-native Architektur und Kubernetes-Betrieb für verschiedene Kunden aus unterschiedlichen Branchen. Mit diesem Angebot stellen wir eine kontrollierte, skalierbare Agentic-KI-Plattform bereit, die auf standardmäßigen Open-Source-Technologien für Unternehmen basiert:

Ein zentrales Open-Source-KI-Gateway (agentgateway) für einen einheitlichen, OpenAI-kompatiblen Zugriff auf extern verwaltete und selbst gehostete Modelle – mit Single Sign-On (OIDC/JWT), gruppenbasierter Zugriffskontrolle (RBAC), Upstream-Anmeldeinformationen-Einbindung, Token-Budgets, Sicherheitsvorkehrungen und Kostenzuordnung pro Benutzer/pro Agent
Ein verwaltetes MCP-Gateway: Dieses Gateway fungiert als Schnittstelle zu Model Context Protocol-Tool-Servern und bietet gemeinsame Authentifizierung, serverbezogene Autorisierung sowie eine Self-Service-Registrierung.
Eine einsatzbereite Chat-Benutzeroberfläche (LibreChat) mit Single Sign-On (OIDC)
Integrierte Observability mit dem Grafana-Stack: Prometheus-Metriken, Grafana Tempo (optional Langfuse) für die Verfolgung verteilter LLMs und Agenten sowie vorgefertigte Dashboards für Nutzung, Kosten und Budgets
Optionale, selbst gehostete LLMs auf Kubernetes (vLLM), optional verwaltet durch KServe

Was Sie brauchen

Um dieses Angebot optimal nutzen zu können und einen schnellen und effizienten Start zu ermöglichen, benötigen Sie:

Eine Zielumgebung (Public Cloud, Private Cloud oder vor Ort) mit bereits vorhandener Infrastruktur
Verfügbarkeit Ihrer Experten (z. B. Plattform, Netzwerk, IAM, Sicherheit)
Eine kleine Gruppe motivierter IT-Kollegen, die als Early Adopters eingebunden werden sollen

Was Sie bekommen

PRODYNA führt Sie und Ihre Mitarbeiter durch den Lösungserstellungsprozess in den folgenden Phasen:

Kubernetes-Einrichtung

(2–3 Wochen)

Einen produktionsreifen Kubernetes-Cluster bereitstellen (Control Plane, Knotenpools, optionale GPU-Knoten)
Ingress/Gateway, Geheimnismanagement (Vault), Speicher und Netzwerkrichtlinien konfigurieren
Einführung eines Basis-Sicherheits- und Isolationsmodells für die Plattform

KI-Plattform (MVP)

(4–6 Wochen)

SSO und Identitätsmanagement (OIDC) einrichten: JWT-Authentifizierung und gruppenbasierte RBAC
Stellen Sie das LLM-Gateway (agentgateway) bereit: einheitlicher Modellzugriff, Einbindung von Upstream-Anmeldedaten, Token-Budgets, Sicherheitsvorkehrungen und Kostenverfolgung pro Benutzer/Agent
Bereitstellung des MCP-Gateways: regulierte Model Context Protocol-Toolserver mit servereigener Autorisierung und einer Self-Service-Registrierung
Stellen Sie die Chat-Benutzeroberfläche (LibreChat) mit SSO, benutzerspezifischen Menüs und MCP-Tools im Chat bereit
Observability implementieren: Grafana Tempo (LLM & Agent-Tracing) mit dem Prometheus-Grafana-Stack (Metriken, Dashboards und Protokolle)
Optional: selbst gehostete LLMs beliebiger Größe auf GPU-Knoten, z. B. vLLM/SGLang (optional über KServe)

Bereitstellung des GitOps-Agenten

(3–4 Wochen)

Implementieren Sie die Agent-Vorlage „Golden Path“ (OpenAI-kompatibler Dienst, agent.yaml) – jeder Agent wird automatisch vom Gateway bereitgestellt und übernimmt SSO, RBAC, Budgets, Sicherheitsgrenzen und Tracing.
Einrichtung von CI/CD-Pipelines, einer Container-Registry und der ArgoCD-GitOps-Synchronisierung
Entwickeln Sie die ersten Agenten und MCP-Tool-Server gemeinsam mit Early Adopters.
Wissenstransfer und Dokumentation zur Einarbeitung

Fakten im Überblick

Dauer: ca. 12 Wochen (abhängig von der Komplexität des Anwendungsfalls und der Clusterkonfiguration)
Ergebnisse: Agentic-KI-Plattform mit zentralem Gateway und Überwachungsfunktionen, erste KI-Agenten, Schulung des internen Teams

Benefits

Von Grund auf auf Portabilität ausgelegt: Die vollständig auf Kubernetes basierende Plattform lässt sich in jeder Umgebung ausführen – sei es in der Public Cloud, der Private Cloud, der Sovereign Cloud oder vor Ort – und gewährleistet so die vollständige Kontrolle über Ihre Daten und KI-Workloads.
Vorhersehbare Kosten: Optional können Sie Open-Weight-LLMs direkt auf Kubernetes selbst hosten. Da lediglich GPU-Kapazität benötigt wird, vermeiden Sie eine dynamische Abrechnung pro Token und profitieren von vollständiger Kostentransparenz.
Self-Service für Entwickler: Dank einer strengen, vorgefertigten „GoldenPath“-Vorlage können Ihre IT-Kollegen KI-Anwendungen innerhalb weniger Tage bereitstellen – ganz ohne fundierte Kubernetes-Kenntnisse.
Vom ersten Tag an verwaltet: Das zentrale LLM-Gateway, die Zugriffskontrolle (SSO + RBAC), die Kostenverfolgung, Sicherheitsvorkehrungen und die integrierte Überwachbarkeit werden automatisch auf jeden Agenten übertragen.