Литература: оптимизация гиперпараметров градиентного бустинга - HollowPrincess/GradBoostOptim GitHub Wiki

:no_entry: - нет доступа

Статья Обзор Комментарий
1 Gradient boosting for distributional regression: faster tuning and improved variable selection via noncyclical updates Источники: ResearchGate, Springer Метки: градиентный бустинг, оптимизация гиперпараметров Не подходит: В статье речь идет об оптимизации параметров распределений в GAMLSS с помощью бустинга. Открытый доступ. Авторы представляют новый алгоритм для усиления обобщенных аддитивных моделей для определения местоположения, масштаба и формы (GAMLSS). Чтобы применить выбор устойчивости к усиленному GAMLSS, авторы разрабатали новый «нециклический» алгоритм подбора, который включает дополнительный шаг выбора наиболее подходящего параметра распределения в каждой итерации. Этот новый алгоритм имеет дополнительное преимущество, заключающееся в том, что оптимизация параметров настройки бустинга сводится к одномерной задаче со значительно уменьшенной сложностью.
2 Automatic Gradient Boosting Источник: ResearchGate Метки: оптимизация параметров, градиентный бустинг, xgboost - Открытый доступ. Авторы предлагают свою реализацию autoxgboost - алгоритма, который атвоматически подбирает параметры для xgboost. Это постер, коротко описывающий проект и содержащий ссылку на github репозиторий. https://github.com/dmlc/xgboost . Из README следует, что для оптимизации, автор использовал the bayesian optimization framework mlrMBO. Реализация на R.
3 Is one hyperparameter optimizer enough? Источник: ResearchGate Cornell Метки: оптимизация гиперпараметров, ? Не подойдет В статье проводится сравнение методов оптимизации параметров. Модели, для которых рассматривались эти методы не указаны в abstract
4 :no_entry:[A Comparative Analysis of Hyperopt as Against Other Approaches for Hyper-Parameter Optimization of XGBoost] () Источник: ResearchGate Метки: оптимизация гиперпараметров, xgboost Авторы статьи сравнивают точность и производительность 3 методов оптимизации гиперпараметров: Hyperopt (библиотека для байесовской оптимизации), Random search and Grid Search
5 Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning Источник: ResearchGate Метки: оптимизация гиперпараметров, нейросети, ? Доступ получен. Авторы статьи предлагают гибкий и практичный подход к многофакторной байесовской оптимизации, ориентированный на эффективную оптимизацию гиперпараметров для итеративно обучаемых контролируемых моделей обучения.
6 :no_entry:[Learning to Tune XGBoost with XGBoost] () Источник:ResearchGate Метки: оптимизация гиперпараметров, xgboost Запрос отправлен. На основаниии алгоритма деления пополам SH и метарегрессоров, авторы статьи предлагают новый метод оптимизации параметров MeSH.
7 RPR-BP: A Deep Reinforcement Learning Method for Automatic Hyperparameter Optimization Источник: IEEE Метки: оптимизация гиперпараметров, xgboost :dvd: Для оптиимзации гиперпараметров используется нейросеть. Агент и сеть прогнозирования обучаются на основе реального опыта; затем агент обучается вознаграждению, генерируемому из сети прогнозирования; наконец, агент снова обучается на основе реального опыта. Ссылки на реализации классических методов оптимизации: http://hyperopt.github.io/hyperopt/ и https://github.com/fmfn/BayesianOptimization
8 Kernel and Acquisition Function Setup for Bayesian Optimization of Gradient Boosting Hyperparameters Источник: Springer Метки: оптимизация гиперпараметров, градиентный бустинг :cd: В статье рассматриваются разные методы байесовской оптимизации
9 Comparing Hyperparameter Optimization in Cross- and Within-Project Defect Prediction: A Case Study Источник: Springer Метки: оптимизация гиперпараметров, случайный лес В статье проводится исследование направленное на разработку нового алгоритма оптимизации гиперпараметров в области, связанной с прогнозированием дефектов.
10 Hybrid Methodology Based on Bayesian Optimization and GA-PARSIMONY for Searching Parsimony Models by Combining Hyperparameter Optimization and Feature Selection Источник: Springer Метки: оптимизация гиперпараметров, XGBoost Для оптимизации используется объеинение байесовского метода оптимизации с GA-PARSIMONY.
11 :no_entry:[A boosted decision tree approach using Bayesian hyper-parameter optimization for credit scoring] () Источник: GoogleScholar Метки: оптимизация гиперпараметров, бустинг пример
12 :no_entry:[An XGBoost-based physical fitness evaluation model using advanced feature selection and Bayesian hyper-parameter optimization for wearable running monitoring] () Источник: GoogleScholar Метки: оптимизация гиперпараметров, бустинг пример
13 :no_entry:[A XGBoost risk model via feature selection and Bayesian hyper-parameter optimization] () Источник: GoogleScholar Метки: оптимизация гиперпараметров, xgboost Пример. В XGBoost применяются два подхода к оптимизации гиперпараметров: случайный поиск (RS) и байесовская древовидная оценка Парзена (TPE)
14 Benchmarking and Optimization of Gradient Boosting Decision Tree Algorithms Источник: GoogleScholar Метки: оптимизация гиперпараметров, XGBoost, catboost, lightGBM Сравнение методов градиентного бусинга в контексте производительности и оптимизации гиперпараметров
15 Tunability: Importance of Hyperparameters of Machine Learning Algorithms Источник: GoogleScholar Метки: оптимизация гиперпараметров, ? Исслеование по настройке гиперпараметров, рассматриваются 6 алгоритмов ML, для которых проводится настройка.
16 Gradient boosting in automatic machine learning: feature selection and hyperparameter optimization Источник: GoogleScholar Метки: оптимизация гиперпараметров, градиентный бустинг :star: Диссертация на английском (есть кусочки немецкого). Для оптимизации используется mlrMBO (байесовская оптимизация).
17 Complete Guide to Parameter Tuning in XGBoost with codes in Python Источник: analyticsvidhya Метки: оптимизация гиперпараметров, градиентный бустинг :dvd: В этой статье разбирается пример птимизации гиперпараметров xgboost на основании результатов из статьи номер 18
18 Complete Machine Learning Guide to Parameter Tuning in Gradient Boosting (GBM) in Python Источник: analyticsvidhya Метки: оптимизация гиперпараметров, градиентный бустинг :dvd: Всё то же самое, что и в 17 пункте, только для gbm