Working Student - GenAI / LLM Evaluation - Agentic AI / NLP (f/m/d)
Position Description
As a Working Student in the GenAI / LLM team at Cinemo, you will support the evaluation and validation of agentic AI systems and GenAI algorithms for NLP that power next-generation in-car experiences. You will help build datasets, extend evaluation tooling, and contribute to end-to-end testing workflows to ensure our non-deterministic AI components are measurable, reliable, and ready for real-world automotive environments across cloud-based services and in-vehicle platforms such as Android Automotive OS (AAOS) and Linux.
In this role, you will:
- Support evaluation of agentic AI systems and LLM-based NLP features, including qualitative and quantitative analysis.
- Create, curate, and maintain datasets for benchmarking, regression testing, and scenario coverage.
- Extend and improve internal evaluation frameworks (metrics, dashboards, automated test runs).
- Contribute to end-to-end testing of GenAI features within the in-car experience, including integration and validation workflows.
- Document findings, track model/system changes, and communicate results clearly to the team.
- Collaborate with engineers and researchers to translate evaluation insights into actionable improvements.
What you will need to succeed:
- Ongoing Bachelor’s or Master’s studies in Computer Science, AI/ML, Data Science, Computational Linguistics, or a related field.
- Hands-on programming skills in Python and a solid understanding of basic ML/NLP concepts.
- Interest in GenAI / LLMs, agentic systems, and evaluation of non-deterministic AI behavior.
- Experience with data handling and dataset creation (labeling, preprocessing, quality checks).
- Familiarity with software testing concepts (e.g., unit/e2e testing, CI) is a plus.
- Good written and spoken English communication skills.
- The successful candidate will be based in Karlsruhe, Germany.
Empfohlene Jobs
Kundenberater Versicherung (Privat-/ Firmenkunden) (m/w/d)
Aufgaben, Kompetenzen und Verantwortung \- Umfassende Beratung und Betreuung von Privat- und Firmenkunden in Versicherungsfragen \- Durchführung von Bedarfsanalysen und Entwicklung individueller Vers…
Wissenschaftlerin / Wissenschaftler (w/m/d) im Bereich Ernährungsverhaltensforschung
Wissenschaftlerin / Wissenschaftler (w/m/d) im Bereich Ernährungsverhaltensforschung 02.02.2026 Max Rubner-Institut Karlsruhe Weitere passende Anzeigen: Jobmailer Ihre Merkliste / Mit …
Senior Consultant Informationssicherheits-Management-Systeme (all genders)
DEINE ROLLE Koordiniere und zertifiziere: Koordiniere und führe eigenverantwortlich Beratungsprojekte bis hin zur Zertifizierung im Bereich Information Security Management Systeme (ISMS), basiere…
Rechtsanwaltsfachangestellte (w/m/d)
Nonnenmacher Rechtsanwälte blickt auf eine traditionsreiche Geschichte zurück: Bereits seit 1954 sind wir in Karlsruhe etabliert und haben uns über die Jahrzehnte zu einer führenden multidisziplinäre…
Projektmanager (m/w/d) Engineering
Menschen und Technologien zu verbinden, den Perfect Match für unsere Kunden zu gestalten, immer die richtigen Expert:innen für die jeweilige Herausforderung zu finden - das ist unser Anspruch bei FERC…
Pflegefachkraft in Teilzeit (m/w/d) im Tagdienst - Bei uns macht Pflege Spaß!
Über uns Herzlich willkommen in der KurzZeitPflege Südwest des Caritasverbandes Karlsruhe e.V.!Die KurzZeitPflege Südwest befindet sich in dem Gebäude des Diakonissenkrankenhaus und bietet auf zwei …
Empfangsmitarbeiter (m/w/d) Vollzeit / Teilzeit in Karlsruhe
Du suchst nach einem gut bezahlten und sicheren Job mit neuen Perspektiven? Als Teil des GVO-Teams sind wir Dein verlässlicher Partner und bieten Dir spannende, auf Dich zugeschnittene Jobmöglichkeit…
Event Marketing Specialist (m/w/d)
WIR SIND INTERNATIONAL AUF ERFOLGSKURS - WERDE TEIL DES TEAMS! Wir sind einer der marktführenden Hersteller von innovativen Hardware-Komplettlösungen für Reinräume und hygienische Produktionen in de…
Personalsachbearbeiter / Personaladministration (m/w/d)
Unser Angebot: Sie erhalten eine faire und zuverlässige Vergütung auf Basis des GVP/DGB-Tarifvertrags. Je nach Einsatzbranche kommen attraktive Zuschläge hinzu. Nach kurzer Einarbeitung vor Ort: …
HR Sachbearbeitung (m/w/d) - Administration & Mitarbeiterbetreuung
Über uns Warum wir? Dich erwartet ein modernes Arbeitsumfeld, ein wertschätzendes HR‑Team, viel Raum für eigene Themenverantwortung und die Möglichkeit, aktiv an HR‑Prozessen mitzuwirken und die…