Working Student - GenAI / LLM Evaluation - Agentic AI / NLP (f/m/d)
Position Description
As a Working Student in the GenAI / LLM team at Cinemo, you will support the evaluation and validation of agentic AI systems and GenAI algorithms for NLP that power next-generation in-car experiences. You will help build datasets, extend evaluation tooling, and contribute to end-to-end testing workflows to ensure our non-deterministic AI components are measurable, reliable, and ready for real-world automotive environments across cloud-based services and in-vehicle platforms such as Android Automotive OS (AAOS) and Linux.
In this role, you will:
- Support evaluation of agentic AI systems and LLM-based NLP features, including qualitative and quantitative analysis.
- Create, curate, and maintain datasets for benchmarking, regression testing, and scenario coverage.
- Extend and improve internal evaluation frameworks (metrics, dashboards, automated test runs).
- Contribute to end-to-end testing of GenAI features within the in-car experience, including integration and validation workflows.
- Document findings, track model/system changes, and communicate results clearly to the team.
- Collaborate with engineers and researchers to translate evaluation insights into actionable improvements.
What you will need to succeed:
- Ongoing Bachelor’s or Master’s studies in Computer Science, AI/ML, Data Science, Computational Linguistics, or a related field.
- Hands-on programming skills in Python and a solid understanding of basic ML/NLP concepts.
- Interest in GenAI / LLMs, agentic systems, and evaluation of non-deterministic AI behavior.
- Experience with data handling and dataset creation (labeling, preprocessing, quality checks).
- Familiarity with software testing concepts (e.g., unit/e2e testing, CI) is a plus.
- Good written and spoken English communication skills.
- The successful candidate will be based in Karlsruhe, Germany.
Empfohlene Jobs
Produktionsmitarbeiter (m/w/d) ab 18€
Über uns Die AlphaConsult Gruppe- Experten mit 15 starken Marken unter einem Dach! Kompetente Mitarbeiter und passende Jobangebote finden. Wir sind die AlphaConsult KG und Dein Partner für Beruf und…
Monteur (m/w/d) / Industrie-Isolierer (m/w/d)
IHRE AUFGABEN Fertigung und Montage von Dämmsystemen im Bereich Wärme- und Kältedämmung Durchführung von Brandschutzarbeiten im Bereich des baulichen Brandschutzes IHR PROFIL Eine abgesch…
Pflegefachkraft (m /w /d)
Das Städtische Klinikum Karlsruhe ist das größte Krankenhaus in der Region Mittlerer Oberrhein. Es ist im Krankenhausbedarfsplan des Landes Baden-Württemberg als Haus der Maximalversorgung für die Re…
Pflegefachkraft in Teilzeit (m/w/d) im Tagdienst - Bei uns macht Pflege Spaß!
Über uns Herzlich willkommen in der KurzZeitPflege Südwest des Caritasverbandes Karlsruhe e.V.!Die KurzZeitPflege Südwest befindet sich in dem Gebäude des Diakonissenkrankenhaus und bietet auf zwei …
Leitender Oberarzt Psychiatrie und Psychotherapie | Akut (m/w/d)
Für eine etablierte und modern ausgestattete Akutklinik im Raum Kassel mit rund 580 Betten suchen wir zum nächstmöglichen Zeitpunkt eine engagierte und fachlich versierte Persönlichkeit für die Positi…
Entwicklungstechniker (m/w/d)
Das sind deine Aufgaben in unserem Team * Kreatives, zielorientiertes und eigenständiges Entwickeln innovativer Produkte * Konzeption, Auslegung und Konstruktion vom Kundennutzen über die Idee bis hin…
Senior Engineer Verfahrenstechnik Anlagenbau (m/w/d) HPJB1_DE
Wir sind planting. Premium-Partner der Prozessindustrie. Wir unterstützen unsere Kunden sowohl in Projekten, in der betriebsnahen Planung als auch im technischen Consulting. Unsere Aufgaben sind anspr…
Private Cloud Engineer (f/m/d)
Are you passionate about everything related to cloud engineering? Are you motivated to build our private on-premises Kubernetes cloud platform on bare-metal servers with over 85,000 CPU cores, servic…