Naar de inhoud

ML Researcher, Post-Training and Safety

Compassion Aligned Machine LearningRemote

Bekijk de vacatureJe gaat naar de website van de werkgever. Solliciteren doe je daar.

Mondiale catastrofale risico’sAI-veiligheidOnderzoekSoftware engineering

Waarom staat dit op het bord

Als je een taalmodel bepaalde waarden aanleert, blijven die dan overeind wanneer iemand het probeert te misleiden of het model verder traint? Wat je hierover met open modellen ontdekt, wordt openbaar gepubliceerd, zodat andere onderzoekers en AI-bedrijven het kunnen controleren en overnemen, ook als blijkt dat een gangbare aanpak tekortschiet.

Dit bord is in bèta en dit is ons oordeel. Denk je dat we het mis hebben, laat het weten. Geef feedback · Zo redeneren we

Over de functie

Run LLM training experiments on value instillation through mid-training data and post-training RL, then evaluate whether those values persist. - Design and execute RL post-training (RLHF, DPO, GRPO) and mid-training synthetic data experiments on 12B-scale open-weight models. - Build evals to measure value persistence under adversarial prompting, distribution shift, and training-induced degradation like reward hacking. - Write up results for arXiv and LessWrong; flag broken findings and disagr…

Meer over Compassion Aligned Machine LearningWaarom dit probleemBegrippenlijst

Niet de juiste functie? Krijg elke maand nieuwe

Elke eerste dinsdag van de maand: nieuwe vacatures en programma’s van dit bord, plus evenementen in de komende zes weken en het beste van het EA Forum.

In welke taal?

Je krijgt eerst een mail om je aanmelding te bevestigen. Afmelden kan altijd.

Wil je eerst meer weten?

Begin met onze gratis cursus van zo’n 100 minuten: zes korte delen, in je eigen tempo en zonder aanmelding (Engelstalig). Wil je daarna verder, meld je dan aan voor de EA Fellowship: vijf weken lezen en praten in een kleine groep. Ook gratis, maar selectief.

Oneens met iets op dit bord?

Dit bord wordt samengesteld door mensen die het mis kunnen hebben. Vind je dat een vacature er niet op hoort, mis je er een, of klopt er iets anders niet: Geef feedback, of mail jobs@effectiefaltruisme.nl.

Kies welke cookies je toestaat. Noodzakelijke cookies staan altijd aan, want zonder werkt de site niet.

Altijd aan

Houden de site veilig en onthouden je cookiekeuze. Hiermee volgen we je niet.

Laten Google Analytics en Microsoft Clarity ons zien hoe mensen de site gebruiken, zoals welke pagina's ze bezoeken en hoe ze over een pagina bewegen, zodat we hem kunnen verbeteren.

Laten Google en Meta meten of onze advertenties, bijvoorbeeld voor de EA Fellowship, de juiste mensen bereiken.