Литература: оптимизация гиперпараметров градиентного бустинга - HollowPrincess/GradBoostOptim GitHub Wiki
:no_entry: - нет доступа
№ | Статья | Обзор | Комментарий |
---|---|---|---|
1 | Gradient boosting for distributional regression: faster tuning and improved variable selection via noncyclical updates Источники: ResearchGate, Springer Метки: градиентный бустинг, оптимизация гиперпараметров | Не подходит: В статье речь идет об оптимизации параметров распределений в GAMLSS с помощью бустинга. | Открытый доступ. Авторы представляют новый алгоритм для усиления обобщенных аддитивных моделей для определения местоположения, масштаба и формы (GAMLSS). Чтобы применить выбор устойчивости к усиленному GAMLSS, авторы разрабатали новый «нециклический» алгоритм подбора, который включает дополнительный шаг выбора наиболее подходящего параметра распределения в каждой итерации. Этот новый алгоритм имеет дополнительное преимущество, заключающееся в том, что оптимизация параметров настройки бустинга сводится к одномерной задаче со значительно уменьшенной сложностью. |
2 | Automatic Gradient Boosting Источник: ResearchGate Метки: оптимизация параметров, градиентный бустинг, xgboost | - | Открытый доступ. Авторы предлагают свою реализацию autoxgboost - алгоритма, который атвоматически подбирает параметры для xgboost. Это постер, коротко описывающий проект и содержащий ссылку на github репозиторий. https://github.com/dmlc/xgboost . Из README следует, что для оптимизации, автор использовал the bayesian optimization framework mlrMBO. Реализация на R. |
3 | Is one hyperparameter optimizer enough? Источник: ResearchGate Cornell Метки: оптимизация гиперпараметров, ? | Не подойдет | В статье проводится сравнение методов оптимизации параметров. Модели, для которых рассматривались эти методы не указаны в abstract |
4 | :no_entry:[A Comparative Analysis of Hyperopt as Against Other Approaches for Hyper-Parameter Optimization of XGBoost] () Источник: ResearchGate Метки: оптимизация гиперпараметров, xgboost | Авторы статьи сравнивают точность и производительность 3 методов оптимизации гиперпараметров: Hyperopt (библиотека для байесовской оптимизации), Random search and Grid Search | |
5 | Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning Источник: ResearchGate Метки: оптимизация гиперпараметров, нейросети, ? | Доступ получен. Авторы статьи предлагают гибкий и практичный подход к многофакторной байесовской оптимизации, ориентированный на эффективную оптимизацию гиперпараметров для итеративно обучаемых контролируемых моделей обучения. | |
6 | :no_entry:[Learning to Tune XGBoost with XGBoost] () Источник:ResearchGate Метки: оптимизация гиперпараметров, xgboost | Запрос отправлен. На основаниии алгоритма деления пополам SH и метарегрессоров, авторы статьи предлагают новый метод оптимизации параметров MeSH. | |
7 | RPR-BP: A Deep Reinforcement Learning Method for Automatic Hyperparameter Optimization Источник: IEEE Метки: оптимизация гиперпараметров, xgboost | :dvd: | Для оптиимзации гиперпараметров используется нейросеть. Агент и сеть прогнозирования обучаются на основе реального опыта; затем агент обучается вознаграждению, генерируемому из сети прогнозирования; наконец, агент снова обучается на основе реального опыта. Ссылки на реализации классических методов оптимизации: http://hyperopt.github.io/hyperopt/ и https://github.com/fmfn/BayesianOptimization |
8 | Kernel and Acquisition Function Setup for Bayesian Optimization of Gradient Boosting Hyperparameters Источник: Springer Метки: оптимизация гиперпараметров, градиентный бустинг | :cd: | В статье рассматриваются разные методы байесовской оптимизации |
9 | Comparing Hyperparameter Optimization in Cross- and Within-Project Defect Prediction: A Case Study Источник: Springer Метки: оптимизация гиперпараметров, случайный лес | В статье проводится исследование направленное на разработку нового алгоритма оптимизации гиперпараметров в области, связанной с прогнозированием дефектов. | |
10 | Hybrid Methodology Based on Bayesian Optimization and GA-PARSIMONY for Searching Parsimony Models by Combining Hyperparameter Optimization and Feature Selection Источник: Springer Метки: оптимизация гиперпараметров, XGBoost | Для оптимизации используется объеинение байесовского метода оптимизации с GA-PARSIMONY. | |
11 | :no_entry:[A boosted decision tree approach using Bayesian hyper-parameter optimization for credit scoring] () Источник: GoogleScholar Метки: оптимизация гиперпараметров, бустинг | пример | |
12 | :no_entry:[An XGBoost-based physical fitness evaluation model using advanced feature selection and Bayesian hyper-parameter optimization for wearable running monitoring] () Источник: GoogleScholar Метки: оптимизация гиперпараметров, бустинг | пример | |
13 | :no_entry:[A XGBoost risk model via feature selection and Bayesian hyper-parameter optimization] () Источник: GoogleScholar Метки: оптимизация гиперпараметров, xgboost | Пример. В XGBoost применяются два подхода к оптимизации гиперпараметров: случайный поиск (RS) и байесовская древовидная оценка Парзена (TPE) | |
14 | Benchmarking and Optimization of Gradient Boosting Decision Tree Algorithms Источник: GoogleScholar Метки: оптимизация гиперпараметров, XGBoost, catboost, lightGBM | Сравнение методов градиентного бусинга в контексте производительности и оптимизации гиперпараметров | |
15 | Tunability: Importance of Hyperparameters of Machine Learning Algorithms Источник: GoogleScholar Метки: оптимизация гиперпараметров, ? | Исслеование по настройке гиперпараметров, рассматриваются 6 алгоритмов ML, для которых проводится настройка. | |
16 | Gradient boosting in automatic machine learning: feature selection and hyperparameter optimization Источник: GoogleScholar Метки: оптимизация гиперпараметров, градиентный бустинг | :star: | Диссертация на английском (есть кусочки немецкого). Для оптимизации используется mlrMBO (байесовская оптимизация). |
17 | Complete Guide to Parameter Tuning in XGBoost with codes in Python Источник: analyticsvidhya Метки: оптимизация гиперпараметров, градиентный бустинг | :dvd: | В этой статье разбирается пример птимизации гиперпараметров xgboost на основании результатов из статьи номер 18 |
18 | Complete Machine Learning Guide to Parameter Tuning in Gradient Boosting (GBM) in Python Источник: analyticsvidhya Метки: оптимизация гиперпараметров, градиентный бустинг | :dvd: | Всё то же самое, что и в 17 пункте, только для gbm |