ENAI Evaluation & Agent Systems Engineer
SyntonyRemote
Mondiale catastrofale risico’sAI-veiligheidSoftware engineeringOnderzoek
Waarom staat dit op het bord
Wie wil weten of een AI-systeem na een update veiliger of juist riskanter is geworden, heeft een betrouwbare manier nodig om dat te meten. Hier bouw je testopstellingen waarmee andere onderzoekers en ontwikkelaars dat gedrag vastleggen en vergelijken. Je beantwoordt de veiligheidsvraag dus niet zelf, maar je bouwt het meetinstrument dat bepaalt hoe goed anderen dat kunnen.
Dit bord is in bèta en dit is ons oordeel. Denk je dat we het mis hebben, laat het weten. Geef feedback · Zo redeneren we
Over de functie
Build evaluation software for AI models and agents, designing tests and measuring behavioral changes. - Develop evaluation harnesses for model behavior, tool use, and multi-step agent tasks. - Record inputs, configurations, tool calls, and observations in structured traces. - Build replay and regression tests comparing system behavior before and after changes. - Requires experience with evaluation software, model integrations, or agent systems. - Requires understanding of experiment design, n…
Wil je eerst meer weten?
Begin met onze gratis cursus van zo’n 100 minuten: zes korte delen, in je eigen tempo en zonder aanmelding (Engelstalig). Wil je daarna verder, meld je dan aan voor de EA Fellowship: vijf weken lezen en praten in een kleine groep. Ook gratis, maar selectief.