Zbiór uczący, walidacyjny i testowy
Zbiór uczący, walidacyjny i testowy – typowy podział danych wejściowych stosowany w uczeniu maszynowym przy budowaniu algorytmów[1].
Zbiór uczący (zbiór treningowy, próba ucząca) to zbiór danych używany do trenowania algorytmu uczenia maszynowego. Dzięki temu zbiorowi algorytm może nauczyć się wzorców, zależności, czy dopasować oszacowania parametrów modelu (wag w sieci neuronowej, współczynników w regresji, podziałów w drzewie klasyfikacyjnym). Zwykle ten zbiór danych jest największy.
Zbiór walidacyjny (próba walidacyjna) służy do dostrajania hiperparametrów modelu i monitorowania jego wydajności w trakcie treningu (np. w celu zapobiegania przeuczeniu).
Zbiór testowy (próba testowa) służy do ostatecznej oceny modelu. Pozwala ocenić, czy model dobrze poradzi sobie na nowych, nieznanych (nieużywanych w procesie uczenia i walidacji) danych.
Typowy podział danych na zestaw uczący, walidacyjny i testowy to 50–80% / 10–25% / 10–25%[2][3].
Zamieszanie terminologiczne
W literaturze dotyczącej uczenia maszynowego niekiedy zamienia się miejscami definicje zbiorów „walidacyjnego” i „testowego”. Według Briana Ripleya jest to „najbardziej rażący przykład zamieszania terminologicznego, które szerzy się w badaniach nad sztuczną inteligencją”[4].
Przypisy
- ↑ Aurélien Géron, Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: concepts, tools, and techniques to build intelligent systems, Third edition, Data science / machine learning, Beijing Boston Farnham Sebastopol Tokyo: O'Reilly, 2023, ISBN 978-1-0981-2246-1 [dostęp 2025-04-06].
- ↑ Trevor Hastie, Robert Tibshirani, Jerome H. Friedman, The elements of statistical learning: data mining, inference, and prediction, Second edition, Springer Series in Statistics, New York, NY: Springer, 2017, s. 222, ISBN 978-0-387-84857-0 [dostęp 2025-04-06].
- ↑ Dr Barak Or, Breaking the Mold: Challenging the Common Split for Training, Validation, and Test Sets in Machine… [online], Medium, 13 grudnia 2023 [dostęp 2025-04-06] (ang.).
- ↑ Brian D. Ripley, Pattern recognition and neural networks, Cambridge: Cambridge university press, 2007, ISBN 978-0-521-71770-0 [dostęp 2025-04-07].