Working Student - GenAI / LLM Evaluation - Agentic AI / NLP (f/m/d)
Position Description
As a Working Student in the GenAI / LLM team at Cinemo, you will support the evaluation and validation of agentic AI systems and GenAI algorithms for NLP that power next-generation in-car experiences. You will help build datasets, extend evaluation tooling, and contribute to end-to-end testing workflows to ensure our non-deterministic AI components are measurable, reliable, and ready for real-world automotive environments across cloud-based services and in-vehicle platforms such as Android Automotive OS (AAOS) and Linux.
In this role, you will:
- Support evaluation of agentic AI systems and LLM-based NLP features, including qualitative and quantitative analysis.
- Create, curate, and maintain datasets for benchmarking, regression testing, and scenario coverage.
- Extend and improve internal evaluation frameworks (metrics, dashboards, automated test runs).
- Contribute to end-to-end testing of GenAI features within the in-car experience, including integration and validation workflows.
- Document findings, track model/system changes, and communicate results clearly to the team.
- Collaborate with engineers and researchers to translate evaluation insights into actionable improvements.
What you will need to succeed:
- Ongoing Bachelor’s or Master’s studies in Computer Science, AI/ML, Data Science, Computational Linguistics, or a related field.
- Hands-on programming skills in Python and a solid understanding of basic ML/NLP concepts.
- Interest in GenAI / LLMs, agentic systems, and evaluation of non-deterministic AI behavior.
- Experience with data handling and dataset creation (labeling, preprocessing, quality checks).
- Familiarity with software testing concepts (e.g., unit/e2e testing, CI) is a plus.
- Good written and spoken English communication skills.
- The successful candidate will be based in Karlsruhe, Germany.
Empfohlene Jobs
Eventmanager (m/w/d)
Stellenprofil: Wir sind auf der Suche nach einem engagierten Eventmanager (m/w/d), der in Zusammenarbeit mit unserem Team die Planung und Organisation unserer Erste Hilfe Kurse übernimmt. In diese…
Altenpfleger (m/w/d)
Dein Job Starte jetzt als Altenpfleger (m/w/d) in Karlsruhe – in Vollzeit. Vergütung & Leistungen ~ Übertarifliche Vergütung mit pünktlicher Auszahlung ~ Zuschläge für Nacht-, Wochenend- und …
Customer Service Representative - German Speaker
Are you fluent in German and passionate about providing excellent customer service? We are looking for motivated, service-oriented professionals to join our international team in Greece! Your…
Sales Development Representative / Business Development Representative / SDR / BDR (m/w/d)
HeyrecruitHeyrecruit ist eine schnell wachsende, profitable SaaS-Plattform im Recruiting-Bereich. Wir helfen Unternehmen dabei, die besten Talente zu finden – mit einer intuitiven und leistungsstarke…
Ausbildung zur Fachkraft für Lagerlogistik 2026 (m/w/d)
Ausbildung zur Fachkraft für Lagerlogistik 2026 (m/w/d) Du bist Schüler und dein Abschluss rückt näher? Starte bei uns in der DHL Group, einem der größten Arbeitgeber der Welt! Unsere über 40 Logis…
Fahrdienstleiter*in (m/w/d) ESTW
Die Albtal-Verkehrs-Gesellschaft (AVG) befördert mit ihren Stadtbahnen jährlich rund 46 Millionen Fahrgäste. Das Unternehmen verfügt über ein Stadtbahnnetz von mehr als 540 Kilometern und betreibt 28…
Koch (m/w/d) in Voll- oder Teilzeit
Für unseren Standort in Karlsruhe-Knielingen suchen wir zum nächstmöglichen Zeitpunkt Verstärkung! Deine Aufgaben: Speisen für Selbsbedienungs-Biergarten Arbeiten mit Rezepturen & iCombi Pro …
Assistenzärztin*arzt in der Weiterbildung Allgemeinmedizin oder Fachärztin*arzt für Allgemeinmedizin in der Klinik für Psychiatrie und Psychotherapeutische Medizin
Das Städtische Klinikum Karlsruhe ist das größte Krankenhaus in der Region Mittlerer Oberrhein. Es ist im Krankenhausbedarfsplan des Landes Baden-Württemberg als Haus der Maximalversorgung für die Re…
Junior Consultant Meldewesen / Banking (all genders)
Das erwartet dich bei uns Erhalte eine strukturierte Einarbeitung in das aufsichtsrechtliche Meldewesen sowie in die Standardsoftware BAIS und bilde regulatorische Anforderungen fachlich in Softwa…
Chemiefacharbeiter in Karlsruhe (m/w/d)
Sie sind Chemiefacharbeiter (m/w/d) und möchten im Rahmen der Arbeitnehmerüberlassung bei uns arbeiten? Ihr neuer Arbeitsplatz für 17,65 € pro Stunde befindet sich in Karlsruhe im Bereich Chem…