ml GBM Gradient Boosting Machines - ghdrako/doc_snipets GitHub Wiki

• https://explained.ai/gradient-boosting/

Hiperparametry liczbę etapów M i szybkość uczenia się. Oba wpływają na dokładność modelu. Im więcej etapów używamy, tym dokładniejszy model, ale im bardziej prawdopodobne jest, że będziemy nadmiernie dopasowani. Podstawową wartością wskaźnika uczenia się lub „kurczenia się ”, jak nazywają to niektóre prace, jest zmniejszenie nadmiernego dopasowania ogólnego modelu.

• Gradient boosting: Distance to target. - optimizes the mean squared error (MSE), also called the L2 loss or cost. (The mean squared error is the average of the square of the difference between the true targets and the predicted values from a set of observations, such as a training or validation set.)
• Gradient boosting: Heading in the right direction. - Optimizing a model according to MSE makes it chase outliers because squaring the difference between targets and predicted values emphasizes extreme values. When we can't remove outliers, it's better to optimize the mean absolute error (MAE), also called the L1 loss or cost. (The MAE is the average of the absolute value of the difference between the true targets and the predicted values.)