Senior-Dateningenieur (alle Geschlechter)

Bei PRODYNA entwickeln, implementieren und betreiben wir moderne, cloudnative Software- und Datenplattformen für mittelständische bis große Unternehmen. Wir helfen unseren Kunden dabei, den Wert ihrer Daten durch skalierbare Architekturen, fortschrittliche Analysen und Cloud-Technologien zu erschließen, und liefern dabei zukunftssichere Lösungen auf Basis von Microsoft Azure.

Als Teil unseres wachsenden Data-Engineering-Teams in Athen entwerfen und entwickeln Sie unternehmensgerechte Datenplattformen, moderne Lakehouse-Architekturen und leistungsstarke Datenpipelines, die Analyse- und KI-Workloads unterstützen. In enger Zusammenarbeit mit Architekten, Softwareentwicklern und Cloud-Spezialisten helfen Sie unseren Kunden dabei, komplexe Geschäftsanforderungen in zuverlässige, skalierbare und sichere Datenlösungen umzusetzen.

Deine Aufgaben

• Entwerfen, erstellen und warten Sie skalierbare Batch- und Streaming-Datenpipelines mit Python, Apache Spark und Azure Databricks. Entwerfen, erstellen und warten Sie skalierbare Batch- und Streaming-Datenpipelines mit Python, Apache Spark und Azure Databricks.
• Entwicklung moderner ETL-/ELT-Architekturen, die für die Verarbeitung umfangreicher Unternehmensdatensätze geeignet sind.
• Entwicklung und Implementierung von Lakehouse-Lösungen unter Verwendung von Delta Lake und anderen modernen Tabellenformaten.
• Entwickeln Sie robuste APIs und Datendienste für interne und externe Nutzer.
• Optimieren Sie Spark-Anwendungen durch Leistungsoptimierung, Partitionierungsstrategien und Engpassanalysen.
• Implementieren Sie Dimensionsdatenmodelle, Slowly Changing Dimensions (SCD), Schemaentwicklung und Datenqualitätskontrollen.
• Entwickeln Sie Echtzeit-Streaming-Lösungen mit Spark Structured Streaming.
• Arbeiten Sie mit Cloud-Architekten und Softwareentwicklern zusammen, um durchgängige, auf Azure basierende Datenplattformen zu entwerfen.
• Erstellen Sie „Infrastructure as Code“ mit Terraform/Terragrunt und unterstützen Sie die CI/CD-Automatisierung.
• Sorgen Sie für Observability durch Protokollierung, Überwachung und Betriebskennzahlen.
• Wenden Sie bewährte Sicherheitsverfahren an, darunter Verschlüsselung, Geheimnismanagement und den Schutz sensibler Daten.
• An Kunden-Workshops, Architekturgesprächen und technischen Beratungsmaßnahmen teilnehmen.  

Dein Profil

• Mindestens 6 Jahre Berufserfahrung im Bereich Data Engineering.
• Nachweisliche Erfahrung in der Entwicklung von Datenplattformen im Unternehmensmaßstab.
• Umfassende Fachkenntnisse im Bereich der Spark-Leistungsoptimierung.
• Umfassende Erfahrung mit Streaming-Architekturen und Spark Structured Streaming.
• Erfahrung mit Lakehouse-Technologien wie Delta Lake, Apache Iceberg oder Apache Hudi.
• Fundierte Kenntnisse in den Bereichen Datenmodellierung, Schemaentwicklung und Unternehmensdatenarchitektur.
• Erfahrung in der Umsetzung von „Infrastructure as Code“ mit Terraform/Terragrunt.
• Kenntnisse in den Bereichen Observability, Überwachung und Produktionsbetrieb.
• Fundierte Kenntnisse in den Bereichen Sicherheit, Verschlüsselung, Schlüsselverwaltung und Umgang mit personenbezogenen Daten gemäß DSGVO.
• Fähigkeit, Ingenieure zu betreuen und technische Führungsaufgaben zu übernehmen.
• Erfahrung in der direkten Zusammenarbeit mit Unternehmenskunden und Interessengruppen.
• Flüssige Englischkenntnisse.