Agentic AI Platform on STACKIT with Kubernetes

Motivation

Für die meisten Organisationen liegt die Herausforderung bei generativer und agentenbasierter KI nicht mehr in der Prototyping-Phase, sondern vielmehr darin, die Technologie zuverlässig in großem Maßstab zu betreiben und dabei die Datenhoheit zu wahren. Zugangsdaten werden teamübergreifend dupliziert, die Nutzung von Modellen lässt sich nicht ihrer Quelle zuordnen, jeder Agent integriert seine eigenen Tools, und die Bereitstellungspraktiken unterscheiden sich von Projekt zu Projekt. Wo regulatorische oder hoheitsrechtliche Anforderungen gelten, wirft die Weiterleitung sensibler Eingabeaufforderungen über externe LLM-APIs weitere Bedenken auf.

Dieses Angebot schafft eine auf STACKIT basierende, regulierte Plattform als „Sovereign Cloud“, die sicherstellt, dass Daten und KI-Workloads unter deutscher Rechtshoheit bleiben. Ein zentrales KI-Gateway bietet einen zentralen Zugang zu allen Modellen (ob von STACKIT verwaltet oder selbst gehostet) sowie zu den regulierten MCP-Tool-Servern. Das bedeutet, dass Zugriffskontrollen, Budgets und Sicherheitsgrenzen zentral und nicht projektbezogen durchgesetzt werden können.

Was wir mitbringen

Mit mehr als zwei Jahrzehnten Erfahrung in den Bereichen Unternehmenssoftwareentwicklung, Cloud-native Architektur und Kubernetes-Betrieb ist PRODYNA bestens aufgestellt, um Ihr Unternehmen zu unterstützen. Wir bieten eine geregelte, skalierbare Agentic-KI-Plattform, die auf standardisierten Open-Source-Technologien der Enterprise-Klasse basiert.

• Ein zentrales Open-Source-KI-Gateway (AgentGateway) für einen einheitlichen, OpenAI-kompatiblen Zugriff auf von STACKIT verwaltete und selbst gehostete Modelle mit Single Sign-On, RBAC auf Gruppenebene, Anmeldedaten-Einbindung, Token-Budgets, Sicherheitsvorkehrungen und Kostenzuordnung auf Agentenebene
• Ein verwaltetes MCP-Gateway, das als Schnittstelle zu den Tool-Servern des Model Context Protocol dient und über eine gemeinsame Authentifizierung, eine servereigene Autorisierung sowie ein Self-Service-Register verfügt, sodass Agenten nur die Tools erkennen, zu deren Nutzung sie berechtigt sind
• Eine einsatzbereite Chat-Benutzeroberfläche (LibreChat) mit Single Sign-On, benutzerspezifischen Menüs, Token-Kontingenten und MCP-Tools im Chat
• Ein GitOps-basierter Bereitstellungs-Workflow (CI/CD, gehärtete Container-Images und ArgoCD) für Bereitstellungen ohne Ausfallzeiten
• Integrierte Observability mit dem Grafana-Stack: Prometheus-Metriken, Grafana Tempo (optional Langfuse) für die Verfolgung verteilter LLMs und Agenten sowie vorgefertigte Dashboards für Nutzung, Kosten und Budgets
• Optionale, selbst gehostete LLMs auf Kubernetes (vLLM) können wahlweise über KServe verwaltet werden
• Praktische Unterstützung: Wir entwickeln die ersten KI-Agenten gemeinsam mit Ihrem Team

Was Sie brauchen

Um dieses Angebot optimal nutzen zu können und einen schnellen und effizienten Start zu ermöglichen, benötigen Sie:

• Eine STACKIT-Organisation + Stiftung (Landezonen)
• Verfügbarkeit Ihrer Experten (z. B. Plattform, Netzwerk, IAM, Sicherheit)
• Eine kleine Gruppe motivierter IT-Kollegen, die als Early Adopters eingebunden werden sollen

Was Sie bekommen