Working Student - GenAI / LLM Evaluation - Agentic AI / NLP (f/m/d)
Position Description
As a Working Student in the GenAI / LLM team at Cinemo, you will support the evaluation and validation of agentic AI systems and GenAI algorithms for NLP that power next-generation in-car experiences. You will help build datasets, extend evaluation tooling, and contribute to end-to-end testing workflows to ensure our non-deterministic AI components are measurable, reliable, and ready for real-world automotive environments across cloud-based services and in-vehicle platforms such as Android Automotive OS (AAOS) and Linux.
In this role, you will:
- Support evaluation of agentic AI systems and LLM-based NLP features, including qualitative and quantitative analysis.
- Create, curate, and maintain datasets for benchmarking, regression testing, and scenario coverage.
- Extend and improve internal evaluation frameworks (metrics, dashboards, automated test runs).
- Contribute to end-to-end testing of GenAI features within the in-car experience, including integration and validation workflows.
- Document findings, track model/system changes, and communicate results clearly to the team.
- Collaborate with engineers and researchers to translate evaluation insights into actionable improvements.
What you will need to succeed:
- Ongoing Bachelor’s or Master’s studies in Computer Science, AI/ML, Data Science, Computational Linguistics, or a related field.
- Hands-on programming skills in Python and a solid understanding of basic ML/NLP concepts.
- Interest in GenAI / LLMs, agentic systems, and evaluation of non-deterministic AI behavior.
- Experience with data handling and dataset creation (labeling, preprocessing, quality checks).
- Familiarity with software testing concepts (e.g., unit/e2e testing, CI) is a plus.
- Good written and spoken English communication skills.
- The successful candidate will be based in Karlsruhe, Germany.
Empfohlene Jobs
Kundenbetreuer (m/w/d)
Menschen bezahlbaren und hochwertigen Wohnraum bereitzustellen, ist unser Anspruch. Als kommunale Wohnungsbaugesellschaft der Stadt Karlsruhe schaffen wir lebendige Quartiere für alle in der Region –…
Sustaining Engineer - Elektrotechnik (m/w/d)
WIR SIND INTERNATIONAL AUF ERFOLGSKURS - WERDE TEIL DES TEAMS! Wir sind einer der marktführenden Hersteller von innovativen Hardware-Komplettlösungen für Reinräume und hygienische Produktionen in d…
SAP Berater Berechtigungen & Security (m/w/d) bei innovativem Technologieunternehmen und Managed Service Provider
Nach ausführlicher Absprache suchen wir für unseren Kunden, eine marktführende und europaweit tätige SAP Technologieunternehmensberatung und Managed Service Provider im Umfeld von Technologie, Integr…
Projektingenieur TGA / Versorgungstechnik (m/w/d)
ACT NOW! Bei ENGIE arbeiten Sie beim europaweiten Marktführer für effizienten Energieeinsatz. Mehr als 5.500 Mitarbeiter:innen an 50 Standorten in Deutschland packen beim Thema Klimaneutralität richt…
Projektingenieur für bergrechtliche Genehmigungsverfahren (m/w/d)
Wir suchen Dich Vulcan Energie Ressourcen GmbH ist ein innovatives, schnell wachsendes Unternehmen im Bereich nachhaltiger Lithiumgewinnung und erneuerbarer Energien. Mit unserer Lithiumanlage le…
Einstieg Facharbeiter:in Leit- und Sicherungstechnik inkl. Sprachkurs (w/m/d)
Zum nächstmöglichen Zeitpunkt suchen wir dich für den Job-Sprachkurs mit Option auf einen Einstieg als Signalmechaniker:in (w/m/d) für die DB InfraGO AG in der Region Südwest an den Standorten Ulm, K…
Junior Kalkulator (m/w/d) Rohbau & Wohnungsbau
Karlsruhe Junior Kalkulator (m/w/d) Rohbau & Wohnungsbau „Wir bauen Zukunft!“ – unter diesem Slogan entwickelt sich weisenburger nachhaltig: 1955 gegründet, umfasst die weisenburger-Gruppe e…
Zahntechniker (m/w/d) Dentallabor | Region Karlsruhe
Zahntechniker VIF Personal - Dein Karrierepartner in der Zahnmedizin Dental | Vermittlung | Beratung | persönlich | bundesweit Wir suchen aktuell: Zahntechniker (m/w/d) Dentallabor | Region Karlsru…
Mechatroniker Kältetechnik (m/w/d)
Das gibt es zu tun: Wartung, Reparatur und Entstörung von Kälteanlagen im Kundendienst in der Region Montage und Installation von Neuanlagen der Kältetechnik in der Region Berater und Bindeg…
Medizinische/r Fachangestellte/r (m/w/d) für die HNO-Klinik
Für die Hals-Nasen-Ohrenklinik (Kommissarische Leitungen: Prof. Dr. Rainer Weber / Dr. Stefan Braunhälter) suchen wir zum nächstmöglichen Zeitpunkt eine/einen Medizinische/n Fachangestellte/n (m/w…