Hiperparametr (uczenie maszynowe)

W uczeniu maszynowym hiperparametr jest parametrem, który można ustawić w celu zdefiniowania dowolnej konfigurowalnej części procesu uczenia modelu. Wyróżnić można hiperparametry modelu (takie jak topologia i rozmiar sieci neuronowej) lub hiperparametry algorytmu (takie jak współczynnik uczenia lub rozmiar partii wsadowej optymalizatora). Nazywa się je hiperparametrami, w odróżnieniu od parametrów, które są charakterystykami szacowanymi przez model na podstawie danych.

Nie każdy model lub algorytm wymaga hiperparametrów. Niektóre proste algorytmy, takie jak zwykła regresja metodą najmniejszych kwadratów, nie wymagają żadnego. Jednak już algorytm regresji LASSO dodaje hiperparametr regularyzacji, który musi zostać ustawiony przed rozpoczęciem treningu^[1]. Nawet modele i algorytmy, które nie mają ścisłych wymagań dotyczących definiowania hiperparametrów, mogą nie dawać sensownych wyników, jeśli nie zostaną starannie dobrane. Optymalne wartości hiperparametrów nie zawsze są łatwe do przewidzenia. Często konieczny jest oddzielny proces dostrajania hiperparametrów w celu znalezienia odpowiedniej kombinacji danych i zadania.

Oprócz poprawy wydajności modelu, badacze mogą stosować hiperparametry, aby wprowadzić odporność i powtarzalność wyników, zwłaszcza gdy używają modeli wykorzystujących generowanie liczb losowych.