Data Engineer Databricks / Lakehouse (w/m/d)
- Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z. B. PySpark) in Databricks
- Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen
- Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit
- Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
- Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme
- Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur
- Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit
- Nutzung moderner Databricks-Funktionalitäten (z. B. Delta Lake, Structured Streaming)
- Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
- Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen
- Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance
- Abgeschlossenes Studium (z. B. Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbar)
- Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering
- Sehr gute Python-Kenntnisse (insb. PySpark) sowie fundierte Erfahrung mit Apache Spark und idealerweise Databricks
- Starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung
- Erfahrung mit Microsoft SQL Server sowie sehr gute SQL-Kenntnisse
- Analytische, strukturierte und lösungsorientierte Arbeitsweise
- Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
- Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
- Verständnis von Data Governance, Compliance sowie Metadatenmanagement
Vielfalt bereichert. Unterschiedliche Kulturen, Nationalitäten, Geschlechter, Altersgruppen, sexuelle Orientierungen und Religionen sowie Menschen mit Behinderungen – wir wünschen uns Vielfalt und fördern sie. Denn nur Teams, die alle Facetten der Gesellschaft widerspiegeln, bieten die besten Rahmenbedingungen für Kreativität und machen ein Unternehmen produktiv und unverwechselbar. Wir wertschätzen Vielfalt und begrüßen alle Bewerbungen.
Kontakt
Fragen?
1&1 Telecommunication SE
Recruting
Nutzen Sie für Ihre Bewerbung bitte ausschließlich unser unkompliziertes Online-Formular , sodass wir Ihnen einen möglichst transparenten Bewerbungsprozess unter Einhaltung aller datenschutzrechtlicher Vorgaben gewährleisten können. Bewerbungen per Mail können wir leider aus genannten Gründen nicht berücksichtigen.
Empfohlene Jobs
Elektroniker (m/w/d)
- Installation, Inbetriebnahme und Wartung von elektronischen Systemen und Anlagen. - Durchführung von regelmäßigen Inspektionen und Wartungsarbeiten zur Sicherstellung der Betriebsbereitschaft - Di…
Team Lead DevOps & Cloud (all genders)
Was erwartet dich Du verantwortest die eigenständige Installation, Konfiguration und Administration unserer Cloud-basierten Systeme. Entwickle und implementiere Systemarchitekturen in Zusammena…
Kaufmännischer Mitarbeiter in der Telefonie in Karlsruhe (m/w/d)
Sie sind auf der Suche nach einem abwechslungsreichen Job als Kaufmännischer Mitarbeiter in der Telefonie (m/w/d)? Dann haben wir bei ARWA Personaldienstleistungen GmbH genau den richtigen Job für…
IT Systemadministrator (m/w/d)
Dein Aufgabengebiet * Installation und Konfiguration von Servern, Netzwerken und Endgeräten * Verwaltung, Wartung und Weiterentwicklung der gesamten IT-Infrastruktur (Hardware, Software, Netzwerke) …
Mediziner:in (m/w/d) - Weiterentwicklung diagnostischer KI
Die medicalvalues Lösung bringt klinische Disziplinen, Forschungswissen und Datenpunkte zusammen, um Ärzt:innen noch bessere Entscheidungen zu ermöglichen. Dabei verknüpfen wir Labor, Radiologie und A…
lager- und transportarbeiter (m/w/d).
Aktuell suchen wir für einen Geschäftspartner MAERSK aus der Logistikbranche in Philippsburg einen Lagerhelfer. Senden Sie uns Ihre Bewerbung online und starten Sie schon bald in eine neue berufliche…
Sozialarbeiter/-pädagoge (m/w/d) in den ambulanten Hilfen zur Erziehung
Ihre Benefits Faire Bezahlung orientiert am TVÖD Weihnachtsgeld Leistungsvariable Zusatzvergütung Regelmäßige betriebliche Weiterbildung Professionelle Einarbeitung durch eine/-n e…
Umwelttechniker / Probennehmer (w/m/d) im Außendienst
Wir suchen für die Abteilung „Messtechnik und Analytik“ in Karlsruhe zwei Probennehmerinnen / Probennehmer (w/m/d) im Außendienst im Fließgewässermessnetz, Luftmessnetz und anderen Umweltmessnet…
IT Systemadministrator User Help Desk (m/w/d) - Ingenieur, System Engineering / Admin
Als Teil des Servicedesk bist du erste Ansprechperson für sämtliche Incidents und Serviceanfragen unserer Mitarbeitenden. Dabei sind die Zufriedenheit unserer Mitarbeitenden und eine hohe Servicequal…
Junior Produktentwickler Non Food Hartware (m/w/d) in Neckarsulm, Lidl
Deine Aufgaben Du willst Produkte mitentwickeln, die Millionen Menschen nutzen und deren Qualität du selbst testen kannst? Dann gestalte unsere Non Food Artikel mit, die in rund 12.600 Filialen we…