Data Engineer Databricks / Lakehouse (w/m/d)
- Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z. B. PySpark) in Databricks
- Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen
- Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit
- Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
- Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme
- Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur
- Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit
- Nutzung moderner Databricks-Funktionalitäten (z. B. Delta Lake, Structured Streaming)
- Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
- Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen
- Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance
- Abgeschlossenes Studium (z. B. Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbar)
- Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering
- Sehr gute Python-Kenntnisse (insb. PySpark) sowie fundierte Erfahrung mit Apache Spark und idealerweise Databricks
- Starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung
- Erfahrung mit Microsoft SQL Server sowie sehr gute SQL-Kenntnisse
- Analytische, strukturierte und lösungsorientierte Arbeitsweise
- Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
- Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
- Verständnis von Data Governance, Compliance sowie Metadatenmanagement
Vielfalt bereichert. Unterschiedliche Kulturen, Nationalitäten, Geschlechter, Altersgruppen, sexuelle Orientierungen und Religionen sowie Menschen mit Behinderungen – wir wünschen uns Vielfalt und fördern sie. Denn nur Teams, die alle Facetten der Gesellschaft widerspiegeln, bieten die besten Rahmenbedingungen für Kreativität und machen ein Unternehmen produktiv und unverwechselbar. Wir wertschätzen Vielfalt und begrüßen alle Bewerbungen.
Kontakt
Fragen?
1&1 Telecommunication SE
Recruting
Nutzen Sie für Ihre Bewerbung bitte ausschließlich unser unkompliziertes Online-Formular , sodass wir Ihnen einen möglichst transparenten Bewerbungsprozess unter Einhaltung aller datenschutzrechtlicher Vorgaben gewährleisten können. Bewerbungen per Mail können wir leider aus genannten Gründen nicht berücksichtigen.
Empfohlene Jobs
Ausbildung zum Klimaschützer m/w/d
Werde Klimaschutzexpert:in für Wärme-, Kälte- Schall- und Brandschutz. 1. Ausbildungsjahr: 1.122€ | 2. Ausbildungsjahr: 1.351€ | 3. Ausbildungsjahr: 1.610€ DEINE AUSBILDUNG Du willst eine abwechslun…
Zahnmedizinische:r Fachangestellte:r (w/m/d) - Hier gehörst Du hin!
Über uns Herzlich willkommen im ZMVZ DEIN DENTAL Karlsruhe!Seit über zehn Jahren bieten wir zusammen mit unserem engagierten Team das gesamte Spektrum der modernen Zahnheilkunde an. Unsere Praxis bi…
ZMP Minijob - Samstags (m/w/d)
Das sind wir: Nur Bewerbungen mit einer in Deutschland anerkannten Ausbildung und einem Sprachniveau von mindestens B2 können berücksichtigt werden. Wir sind eine moderne, digital aufgestellte …
Nachhilfelehrer (w/m/d) auf Honorarbasis - Karlsruhe Individuelle Förderung, flexible Zeiten und echte Erfolgserlebnisse
Ihre Aufgaben Erteilen von Nachhilfeunterricht in einem oder mehreren Fächern (Mathematik, Deutsch, Englisch, Französisch, Spanisch, Latein, Biologie, Chemie, Physik, Dyskalkuli…
Assistenzarzt
Facharzt (m/w/d) für Arbeitsmedizin oder Arzt (m/w/d) in Weiterbildung Arbeitsmedizin | Arbeitsmedizinischer Dienst der BG BAU GmbH | 1070 Zeit für den Menschen – Zeit zum Leben. …
Trainee Finanzberater (m/w/d)
Trainee Finanzberater (m/w/d)26.06.2026 A.S.I. Wirtschaftsberatung AG verschiedene Standorte Weitere passende Anzeigen: Jobmailer Ihre Merkliste / Mit Klick auf einen Stern in der Trefferl…
AUSBILDUNG ZUM LEITUNGSBAUER FÜR INFRASTRUKTURTECHNIK (M/W/D)
Ausbildungsfakten Standort: Windelbachstraße, 76228 Stupferich Dauer: 3 Jahre (Stufenausbildung) Vergütung: 1.080 - 1.550 Euro + Übernahme Übernachtungskosten Voraussetzungen: Hauptsc…
Sales & Customer Coordinator (m/w/d)
Ihre Aufgaben Internationale Auftragsabwicklung für eine bestimmte Region (Angebotserstellung, -überwachung, -nachverfolgung, Rechnungserstellung, Auftragserfassung inkl. Zollabwicklung (Ursprungs…