Working Student - GenAI / LLM Evaluation - Agentic AI / NLP (f/m/d)
Position Description
As a Working Student in the GenAI / LLM team at Cinemo, you will support the evaluation and validation of agentic AI systems and GenAI algorithms for NLP that power next-generation in-car experiences. You will help build datasets, extend evaluation tooling, and contribute to end-to-end testing workflows to ensure our non-deterministic AI components are measurable, reliable, and ready for real-world automotive environments across cloud-based services and in-vehicle platforms such as Android Automotive OS (AAOS) and Linux.
In this role, you will:
- Support evaluation of agentic AI systems and LLM-based NLP features, including qualitative and quantitative analysis.
- Create, curate, and maintain datasets for benchmarking, regression testing, and scenario coverage.
- Extend and improve internal evaluation frameworks (metrics, dashboards, automated test runs).
- Contribute to end-to-end testing of GenAI features within the in-car experience, including integration and validation workflows.
- Document findings, track model/system changes, and communicate results clearly to the team.
- Collaborate with engineers and researchers to translate evaluation insights into actionable improvements.
What you will need to succeed:
- Ongoing Bachelor’s or Master’s studies in Computer Science, AI/ML, Data Science, Computational Linguistics, or a related field.
- Hands-on programming skills in Python and a solid understanding of basic ML/NLP concepts.
- Interest in GenAI / LLMs, agentic systems, and evaluation of non-deterministic AI behavior.
- Experience with data handling and dataset creation (labeling, preprocessing, quality checks).
- Familiarity with software testing concepts (e.g., unit/e2e testing, CI) is a plus.
- Good written and spoken English communication skills.
- The successful candidate will be based in Karlsruhe, Germany.
Empfohlene Jobs
Software Developer Java Stream Processing mit Cloud- & DevOps-Fokus (m/w/d)
Das erwartet Dich: Gemeinsam mit Deinem Team entwickelst Du eine skalierbare, cloud-fähige Microservice-Architektur zur Verarbeitung von Echtzeit- und Statistikdaten für unsere weltweiten Kunden a…
Software- und Webentwicklung
CAS Software AG - Innovator des Jahres®, Marktführer für CRM/xRM im deutschen Mittelstand und Spezialist für CPQ-Lösungen Als gründergeführtes Unternehmen entwickeln wir im Technologiepark in K…
Maschinenführer (m/w/d) - ab 17€/Stunde
Über uns Wir bei office people bringen täglich tausende Menschen mit unserem weit verzweigten Kundennetzwerk zusammen. Als erfahrener Personaldienstleister sind wir an über 130 Standorten in 10 Län…
Controller (m/w/d) am Standort in Karlsruhe
Deine spannende Rolle Erstellung von Monatsreportings und Finanzanalysen Weiterentwicklung und Optimierung relevanter Kennzahlen Aufbereitung von Soll-Ist-Vergleichen, Abweichungsanalysen un…
Techniker (m/w/d) Maschinenbau/Maschinentechnik
Diese Herausforderungen übernimmst du * Durchführung von Neu- und Änderungskonstruktionen von Maschinen und Produktionsanlagen * Anfertigung von Zeichnungen für Einzelteile und Baugruppen sowie Erstel…
Middle Full-Stack Engineer (PHP/Laravel/Vue/Wordpress)
A software development company is looking for a great, long-term Middle Full-Stack Engineer. The company’s creating the world’s most used route sequencing and optimization software for small busin…
Oberbauleiter (m/w/d)
Oberbauleiter (m/w/d)01.08.2025 BREMER Karlsruhe GmbH Karlsruhe Weitere passende Anzeigen: Jobmailer Ihre Merkliste / Mit Klick auf einen Stern in der Trefferliste können Sie sich die Anze…
Altenpfleger (m/w/d) - Bundesweit arbeiten, mit Rückhalt und Perspektive
Das bieten wir dir: - Unbefristeter Arbeitsvertrag bei avanti - Faire, übertarifliche Vergütung inklusive Zuschlägen - Bundesweite Einsätze mit transparenter und frühzeitiger Planung - Organisati…
Senior Solution Designer (w/m/d) - Application Development & Maintenance
Wenn du dich für Capgemini entscheidest, wählst du ein Unternehmen, in dem du die Möglichkeit hast, deinen Karriereweg selbst zu gestalten. Du wirst von einem kollaborativen Netzwerk von Kolleg*innen…
Instandhaltungskoordinator (w/m/d) Straßenbahn-Instandhaltung - Karlsruhe
Jeden von uns bei Stadler treibt eines an: Dass Menschen weltweit mobil sein können – in den besten Schienenfahrzeugen der Welt. Um unsere globale Erfolgsgeschichte weiterzuschreiben, suchen wir nach …