Working Student - GenAI / LLM Evaluation - Agentic AI / NLP (f/m/d)
Position Description
As a Working Student in the GenAI / LLM team at Cinemo, you will support the evaluation and validation of agentic AI systems and GenAI algorithms for NLP that power next-generation in-car experiences. You will help build datasets, extend evaluation tooling, and contribute to end-to-end testing workflows to ensure our non-deterministic AI components are measurable, reliable, and ready for real-world automotive environments across cloud-based services and in-vehicle platforms such as Android Automotive OS (AAOS) and Linux.
In this role, you will:
- Support evaluation of agentic AI systems and LLM-based NLP features, including qualitative and quantitative analysis.
- Create, curate, and maintain datasets for benchmarking, regression testing, and scenario coverage.
- Extend and improve internal evaluation frameworks (metrics, dashboards, automated test runs).
- Contribute to end-to-end testing of GenAI features within the in-car experience, including integration and validation workflows.
- Document findings, track model/system changes, and communicate results clearly to the team.
- Collaborate with engineers and researchers to translate evaluation insights into actionable improvements.
What you will need to succeed:
- Ongoing Bachelor’s or Master’s studies in Computer Science, AI/ML, Data Science, Computational Linguistics, or a related field.
- Hands-on programming skills in Python and a solid understanding of basic ML/NLP concepts.
- Interest in GenAI / LLMs, agentic systems, and evaluation of non-deterministic AI behavior.
- Experience with data handling and dataset creation (labeling, preprocessing, quality checks).
- Familiarity with software testing concepts (e.g., unit/e2e testing, CI) is a plus.
- Good written and spoken English communication skills.
- The successful candidate will be based in Karlsruhe, Germany.
Empfohlene Jobs
Signalmechaniker / Montierer / Elektrotechniker (m/w/d) - Metallbau
Unser Kunde ist ein international tätiges Familienunternehmen und zählt zu den führenden Anbietern im Bereich Leit- und Sicherungstechnik für den Schienenverkehr. Ein zentraler Bereich ist die Entwic…
IT-Systemadministrator im Bereich Support First und Second Level (m/w/d)
Stelleneinleitung Unser Mandant ist ein innovativer Anbieter von IT-Services, Consulting und Softwareentwicklung mit Sitz in Karlsruhe. Das Unternehmen unterstützt B2B-Kunden bei der Planung und Ums…
Business Development Manager (mwd)
Stellenbeschreibung Für unseren etablierten Klienten aus dem Bereich Großhandel, suchen wir aktuell Unterstützung im Bereich Business Development. Sie suchen einen Arbeitgeber der Ihnen viel bi…
Tischler Yachtbau (m/w/d)
Stellendetails Für den hochwertigen Innenausbau von Yachten und Schiffen suchen wir einen erfahrenen Tischler. Im Rahmen wechselnder Einsätze in Deutschland und dem europäischen Ausland erwartet Sie …
Software Engineer, Game Development (f/m/d)
On-site | Full-Time | Karlsruhe, Germany 5 Million Players. 4.8 Stars. We're just getting started. Iteration One is a self-funded, independent gaming studio in Karlsruhe. With Nightclub Tycoo…
Finanzbuchhalter (m/w/d)
Wir suchen einen erfahrenen Finanzbuchhalter (m/w/d) für unseren renommierten Kunden im Raum Karlsruh e. Wenn Sie Ihre Fachkenntnisse in einem motivierten Team einbringen und Ihre Karriere vora…
Office Manager / Teamassistenz (gn)
Wer wir sind: Die TelemaxX Telekommunikation GmbH ist Betreiber von vier Hochsicherheitsrechenzentren in der TechnologieRegion Karlsruhe. Erfolgreich seit 1999 haben wir uns stetig weiterentwickel…
Niederlassungsleiter Medical (m/w/d) Zeitarbeit in Karlsruhe
Wir sind TEKATH. Wir sind Headhunter. Wir öffnen Türen! Unser Mandant ist ein moderner, qualitätsorientierter Personaldienstleister mit einem bundesweit starken Niederlassungsnetz. Kollegialität…
Validation Consultant (m/w/d)
Für unseren Standort in Karlsruhe suchen wir einen (Senior) Validation Consultant (w/m/d) im Bereich Pharma. Ihre Rolle in unserem Team Als (Senior) Validation Consultant verantworten Sie B…
Ausbildung zum Medizinischen Fachangestellten (m/w/d) Dermatologie in Karlsruhe
hautnah verbunden Du suchst eine verantwortungsvolle Tätigkeit mit geregelten Arbeitszeiten und individuellen Weiterbildungsmöglichkeiten ? Bei CORIUS geht beides. Herzlich willkommen im…