RLHF

Uczenie maszynowe korzystające ze sprzężenia zwrotnego od człowieka^[1] (ang. reinforcement learning from human feedback, RLHF) – technika pozwalającą na dostosowanie inteligentnego agenta do ludzkich preferencji. Polega ona na wytrenowaniu modelu nagrody przez człowieka, który będzie reprezentował preferencje, a następnie używanie tego modelu wraz z uczeniem przez wzmacnianie^[2].

W klasycznym uczeniu się przez wzmacnianie celem agenta jest nauczenie się funkcji sterującej jego zachowaniem, zwanej polityką. Funkcja ta jest aktualizowana w kolejnych przebiegach uczenia w celu maksymalizacji nagród w oparciu o wydajność zadania agenta^[3], jednak jednoznaczne zdefiniowanie funkcji nagrody, która dokładnie odzwierciedlałaby ludzkie preferencje, jest trudne. Dlatego RLHF dąży do wytrenowania modelu nagrody bezpośrednio na podstawie informacji zwrotnych od człowieka^[2]. Model nagrody jest najpierw trenowany w sposób nadzorowany i następnie używany do sprawdzenia, czy odpowiedź na dany komunikat jest dobra (wysoka nagroda) czy zła (niska nagroda) na podstawie danych rankingowych zebranych od ludzi. Model ten służy następnie jako funkcja nagrody, która ma na celu ulepszenie polityki agenta poprzez algorytm optymalizacji^[4].