Data Engineer Databricks / Lakehouse (w/m/d)
- Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z. B. PySpark) in Databricks
- Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen
- Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit
- Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
- Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme
- Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur
- Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit
- Nutzung moderner Databricks-Funktionalitäten (z. B. Delta Lake, Structured Streaming)
- Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
- Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen
- Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance
- Abgeschlossenes Studium (z. B. Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbar)
- Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering
- Sehr gute Python-Kenntnisse (insb. PySpark) sowie fundierte Erfahrung mit Apache Spark und idealerweise Databricks
- Starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung
- Erfahrung mit Microsoft SQL Server sowie sehr gute SQL-Kenntnisse
- Analytische, strukturierte und lösungsorientierte Arbeitsweise
- Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
- Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
- Verständnis von Data Governance, Compliance sowie Metadatenmanagement
Vielfalt bereichert. Unterschiedliche Kulturen, Nationalitäten, Geschlechter, Altersgruppen, sexuelle Orientierungen und Religionen sowie Menschen mit Behinderungen – wir wünschen uns Vielfalt und fördern sie. Denn nur Teams, die alle Facetten der Gesellschaft widerspiegeln, bieten die besten Rahmenbedingungen für Kreativität und machen ein Unternehmen produktiv und unverwechselbar. Wir wertschätzen Vielfalt und begrüßen alle Bewerbungen.
Kontakt
Fragen?
1&1 Telecommunication SE
Recruting
Nutzen Sie für Ihre Bewerbung bitte ausschließlich unser unkompliziertes Online-Formular , sodass wir Ihnen einen möglichst transparenten Bewerbungsprozess unter Einhaltung aller datenschutzrechtlicher Vorgaben gewährleisten können. Bewerbungen per Mail können wir leider aus genannten Gründen nicht berücksichtigen.
Empfohlene Jobs
IT Specialist Defense & Aerospace (all genders)
Das erwartet dich bei uns ~ Planung, Entwicklung und Implementierung von IT-Systemen mit Fokus auf Performance, Sicherheit und Skalierbarkeit ~ Administration und Weiterentwicklung bestehender Ne…
(Senior) Manager Health Care Advisory (w/m/d)
Du willst unsere Mandant:innen mit Deiner Expertise im Bereich Health Care beraten und unterstützen? Dann kannst Du Dich hier aktiv einbringen: Im Sinne einer ganzheitlichen Marktstrategie berätst…
Schweißfachingenieur (m/w/d)
Wir suchen: Für unseren Standort in Karlsruhe, ab sofort einen Schweißfachingenieur (m/w/d). Ihr zukünftiges Aufgabengebiet wird u. a. Folgendes umfassen: Auswahl geeigneter Schweißverfahren…
Erzieher / Heilpädagoge (m/w/d) in Krippe/Kindergarten
Freies pädagogisches Kompetenzzentrum für Bildung, Förderung und Beratung auf Grundlage der Pädagogik Rudolf Steiners (Waldorfpädagogik) Das Parzival-Zentrum in Karlsruhe führt mehrere staatlich an…
Ramboll Is Growing Its Data Centre Projects Team in Germany!
Job Description Our expanding Data Centre Team in Germany Are you a professional with strong project experience and skills within Environmental Permitting, Impact Assessments, Site Due Dili…
Bauvorarbeiter (m/w/d)
Die Firma Schempp GmbH & Co. KG ist ein mittelständisches Unternehmen im Tief- und Straßenbau in Karlsruhe und Umgebung. Seit mittlerweile über 70 Jahren sind wir am Markt aktiv. Neben den typi…
Elektriker Teamleiter in der Prftechnik 4.000 Willkommensprmie (m/w/d) (Karlsruhe)
Deine Karriere bei OMS Prüfservice Elektrische Sicherheitsprüfungen bilden das Herzstück von OMS . Als Elektriker Teamleiter in der Prüftechnik bei OMS in Karlsruhe bietest du einen erstklassi…
Software Engineer (w/m/d) - Ingenieur, Anwendungsentwicklung
Du möchtest den gesamten Software-Entwicklungsprozess verstehen, geschäftskritische Individualsoftware auf höchstem Niveau gestalten? Du siehst AI als wesentliche Technologie für die Softwareentwickl…
BIM-Manager (m/w/d)
Das sind deine Aufgaben in unserem Team * Ausbau des internen BIM-Standards * Ansprechpartner für die Fachabteilungen bei BIM-spezifischen Themen * Mitwirken in den unterschiedlichen Fachbereichen sow…
Technischen Mitarbeiter / Hausmeister (m/w/d) Schwerpunkt Veranstaltungen
Die Industrie- und Handelskammer Karlsruhe vertritt die Interessen der gewerblichen Wirtschaft in der TechnologieRegion Karlsruhe und unterstützt ihre Mitgliedsunternehmen durch ein umfassendes Diens…