ENML Researcher, Post-Training and Safety
Compassion Aligned Machine LearningRemote
Mondiale catastrofale risico’sAI-veiligheidOnderzoekSoftware engineering
Waarom staat dit op het bord
Als je een taalmodel bepaalde waarden aanleert, blijven die dan overeind wanneer iemand het probeert te misleiden of het model verder traint? Wat je hierover met open modellen ontdekt, wordt openbaar gepubliceerd, zodat andere onderzoekers en AI-bedrijven het kunnen controleren en overnemen, ook als blijkt dat een gangbare aanpak tekortschiet.
Dit bord is in bèta en dit is ons oordeel. Denk je dat we het mis hebben, laat het weten. Geef feedback · Zo redeneren we
Over de functie
Run LLM training experiments on value instillation through mid-training data and post-training RL, then evaluate whether those values persist. - Design and execute RL post-training (RLHF, DPO, GRPO) and mid-training synthetic data experiments on 12B-scale open-weight models. - Build evals to measure value persistence under adversarial prompting, distribution shift, and training-induced degradation like reward hacking. - Write up results for arXiv and LessWrong; flag broken findings and disagr…
Meer over Compassion Aligned Machine LearningWaarom dit probleemBegrippenlijst
Wil je eerst meer weten?
Begin met onze gratis cursus van zo’n 100 minuten: zes korte delen, in je eigen tempo en zonder aanmelding (Engelstalig). Wil je daarna verder, meld je dan aan voor de EA Fellowship: vijf weken lezen en praten in een kleine groep. Ook gratis, maar selectief.