Data Engineer Databricks / Lakehouse (w/m/d)
- Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z. B. PySpark) in Databricks
- Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen
- Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit
- Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
- Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme
- Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur
- Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit
- Nutzung moderner Databricks-Funktionalitäten (z. B. Delta Lake, Structured Streaming)
- Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
- Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen
- Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance
- Abgeschlossenes Studium (z. B. Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbar)
- Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering
- Sehr gute Python-Kenntnisse (insb. PySpark) sowie fundierte Erfahrung mit Apache Spark und idealerweise Databricks
- Starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung
- Erfahrung mit Microsoft SQL Server sowie sehr gute SQL-Kenntnisse
- Analytische, strukturierte und lösungsorientierte Arbeitsweise
- Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
- Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
- Verständnis von Data Governance, Compliance sowie Metadatenmanagement
Vielfalt bereichert. Unterschiedliche Kulturen, Nationalitäten, Geschlechter, Altersgruppen, sexuelle Orientierungen und Religionen sowie Menschen mit Behinderungen – wir wünschen uns Vielfalt und fördern sie. Denn nur Teams, die alle Facetten der Gesellschaft widerspiegeln, bieten die besten Rahmenbedingungen für Kreativität und machen ein Unternehmen produktiv und unverwechselbar. Wir wertschätzen Vielfalt und begrüßen alle Bewerbungen.
Kontakt
Fragen?
1&1 Telecommunication SE
Recruting
Nutzen Sie für Ihre Bewerbung bitte ausschließlich unser unkompliziertes Online-Formular , sodass wir Ihnen einen möglichst transparenten Bewerbungsprozess unter Einhaltung aller datenschutzrechtlicher Vorgaben gewährleisten können. Bewerbungen per Mail können wir leider aus genannten Gründen nicht berücksichtigen.
Empfohlene Jobs
Mitarbeiterin / Mitarbeiter (w/m/d) Wissensplattform "Wasser und Boden" und Grundwassermesswerte
Wir suchen für die Abteilung „Wasser“ in Karlsruhe eine/einen Mitarbeiterin / Mitarbeiter (w/m/d) Wissensplattform „Wasser und Boden“ und Grundwassermesswerte im Referat „Grundwasser“. Die Stel…
Customer Service (m/w/d)
Werden Sie Teil eines innovativen Unternehmens! Für unseren Kunden, einen renommierten Hersteller im Bereich Medizintechnik mit Sitz im Großraum Walldorf , suchen wir eine engagierte und serviceori…
Technischen Facharbeiter (w/m/d)
Das Studierendenwerk Karlsruhe betreut im Auftrag des Landes Baden-Württemberg in Karlsruhe und Pforzheim ca. 42.000 Studierende in allen Fragen rund um das Studium. In unserer Abteilung Wohnen wer…
Sachbearbeitung (m/w/d) Feuerwehrausbildung und Einsatzplanung
Das Landratsamt Karlsruhe ist mit rund 2000 Beschäftigten einer der größten Dienstleister der Region. Das Kreisgebiet umfasst großstädtisch wie ländlich strukturierte Bereiche mit den entsprechenden …
Junior Controller (m/w/d)
Sie suchen nach einem Beruflichem Umfeld, bei dem Ihnen die Möglichkeit geboten wird, sich weiterzuentwickeln? Dann haben wir die perfekte Stelle für Sie! Wir suchen derzeit einen zielstrebigen …
Facharzt Orthopädie (m/w/d) Reha
Facharzt Orthopädie (m/w/d) Reha Für unseren Kunden, eine moderne Rehaklinik, suchen wir für den nächsten möglichen Termin einen im Großraum Karlsruhe. Das Angebot: Langfristige Anstellung a…
Praktikum Customer Experience in Neckarsulm, Lidl
Einleitung Eine gute Idee war der Ursprung, ein erfolgreiches Konzept ist das Ergebnis. Qualität zum guten Preis möglichst vielen Menschen anbieten zu können treibt uns an - mittlerweile weltweit,…
Entsorgungshelfer Abfallwirtschaft in Karlsruhe (m/w/d)
Wir bieten Dir einen schnellen Einstieg als Entsorgungshelfer Abfallwirtschaft (m/w/d) im Rahmen der Arbeitnehmerüberlassung bei unserem Kunden in der Branche Abfallwirtschaft an. Dein neuer …
Sortierer Paketsendungen in Karlsruhe (m/w/d)
Wir suchen Dich als Sortierer Paketsendungen (m/w/d) in Karlsruhe ! Deine Kenntnisse und Fähigkeiten kannst Du im Rahmen der Arbeitnehmerüberlassung im Bereich Lager & Logistik vertiefen. …