Working Student - GenAI / LLM Evaluation - Agentic AI / NLP (f/m/d)
Position Description
As a Working Student in the GenAI / LLM team at Cinemo, you will support the evaluation and validation of agentic AI systems and GenAI algorithms for NLP that power next-generation in-car experiences. You will help build datasets, extend evaluation tooling, and contribute to end-to-end testing workflows to ensure our non-deterministic AI components are measurable, reliable, and ready for real-world automotive environments across cloud-based services and in-vehicle platforms such as Android Automotive OS (AAOS) and Linux.
In this role, you will:
- Support evaluation of agentic AI systems and LLM-based NLP features, including qualitative and quantitative analysis.
- Create, curate, and maintain datasets for benchmarking, regression testing, and scenario coverage.
- Extend and improve internal evaluation frameworks (metrics, dashboards, automated test runs).
- Contribute to end-to-end testing of GenAI features within the in-car experience, including integration and validation workflows.
- Document findings, track model/system changes, and communicate results clearly to the team.
- Collaborate with engineers and researchers to translate evaluation insights into actionable improvements.
What you will need to succeed:
- Ongoing Bachelor’s or Master’s studies in Computer Science, AI/ML, Data Science, Computational Linguistics, or a related field.
- Hands-on programming skills in Python and a solid understanding of basic ML/NLP concepts.
- Interest in GenAI / LLMs, agentic systems, and evaluation of non-deterministic AI behavior.
- Experience with data handling and dataset creation (labeling, preprocessing, quality checks).
- Familiarity with software testing concepts (e.g., unit/e2e testing, CI) is a plus.
- Good written and spoken English communication skills.
- The successful candidate will be based in Karlsruhe, Germany.
Empfohlene Jobs
Elektrofachkraft (m/w/d) für Umbau- und Erneuerungsprojekt im Bereich Brandmeldetechnik gesucht! HPJB1_DE
Die Media.Com GmbH ist ein Dienstleistungsunternehmen im Elektrohandwerk mit Sitz in Brilon. Die Media.Com GmbH übernimmt die Planung, Installation, Wartung und Reparatur von Kommunikations-, Übertrag…
Senior Technical Product Manager: SSL and DNS (w/m/d)
Bei IONOS arbeitest Du bei dem führenden europäischen Anbieter von Cloud-Infrastruktur, Cloud-Services und Hosting-Dienstleistungen partnerschaftlich mit unterschiedlichen Teams zusammen. Wir bieten …
Sicherheitsinspektor*in (m/w/d) für Aufzüge in Karlsruhe
Standort: Karlsruhe ID: 86987 Haushahn – Wir sind der Aufzugpartner für Industrie, Bau- und Wohnwirtschaft in Deutschland. Mit unserem Ursprung im regionalen Mittelstand vor mehr als 125 Ja…
Steuerfachangestellter (m/w/d)
Stellenbeschreibung Bei unserem renommierten Kunden wartet eine abwechslungsreiche Tätigkeit als Steuerfachangestellter (m/w/d) auf Sie. Bringen Sie Ihre Fähigkeiten ein und wachsen Sie mit uns! …
Ausbildung Fachlagerist:in 2026
Zum 01. September 2026 suchen wir dich für die 2-jährige Ausbildung Fachlagerist:in (w/m/d) für die Deutsche Umschlaggesellschaft Schiene - Straße mbH am Standort Karlsruhe. Die Berufsschule ist die …
Vertriebsmitarbeiter B2B (m/w/d) | Projektgeschäft / IoT & Infrastruktur | 100 % Remote | Aufbauphase mit unternehmerischer Verantwortung
Unternehmerisch denkender Hunter im technischen B2B gesucht Du gewinnst neue Kunden aktiv, greifst selbstverständlich zum Telefon und bleibst dran, bis die Unterschrift steht. Gleichzeitig versteh…
Projektleiter*in (m/w/d) Bereich Bau / Immobilien (Gesundheitswesen / Krankenhausbau)
Projektleiter*in (m/w/d) Bereich Bau / Immobilien (Gesundheitswesen / Krankenhausbau)16.03.2026 THOST Projektmanagement GmbH Stuttgart, Karlsruhe Weitere passende Anzeigen: Jobmailer …
Product Manager Domains: Partner Integrations (w/m/d)
Bei IONOS arbeitest Du bei dem führenden europäischen Anbieter von Cloud-Infrastruktur, Cloud-Services und Hosting-Dienstleistungen partnerschaftlich mit unterschiedlichen Teams zusammen. Wir bieten …
Vertriebssachbearbeiter (m/w/d)
Sie bringen vertriebliche Ziele und Kundenwünsche unter einen Hut und zeichnen sich durch Ihre Überzeugungsfähigkeit gegenüber Kunden aus? Dann suchen wir Sie als Vertriebssachbearbeiter (m/w/d) fü…
Bilanzbuchhalter (m/w/d) Perspektive Teamleitung
Rund 400 Mitarbeitende von Carl ROTH unterstützen seit über 145 Jahren Menschen und Unternehmen mit Lösungen rund um die Chemie. Forschende weltweit vertrauen auf unser Know-how und unser Sortiment a…