1 |
Gradient-Based Optimization of Hyperparameters |
|
Статья в открытом доступе. Автор предлагает производить оптимизацию гиперпараметров при помощи градиента критерия выбора модели относительно гиперпараметров. Применение: линейная регрессия, нестационарные временные ряды. |
ResearchGate |
оптимизация гиперпараметров |
2 |
Adaptive optimization of hyperparameters in L2-regularised logistic regression |
|
Авторы предлагают метод адаптивной оптимизации гиперпараметров в модели логистической регрессии |
ResearchGate |
оптимизация гиперпараметров |
3 |
Fast Optimization of Hyperparameters for Support Vector Regression Models with Highly Predictive Ability |
|
Запрос на доступ отправлен. В работе предлагается метод поиска гиперпараметров для регрессии опорных векторов. Предложенный метод основывается на поиске по сетке, перекрестной проверке и теоретических методах. После того, как значения двух гиперпараметров определены теоретически, каждый гиперпараметр оптимизируется независимо с помощью сетки и перекрестной проверки. |
ResearchGate |
оптимизация гиперпараметров |
4 |
Using meta-learning to initialize Bayesian optimization of hyperparameters |
|
В статье рассматривается возможность ускорения метода байесовской оптимизации гипер параметров на основе последовательной модели (SMBO), учитывая опыт оптимизации на других данных. |
ResearchGate |
оптимизация гиперпараметров |
5 |
Gradient boosting for distributional regression: faster tuning and improved variable selection via noncyclical updates |
|
Открытый доступ. Авторы представляют новый алгоритм для усиления обобщенных аддитивных моделей для определения местоположения, масштаба и формы (GAMLSS). Чтобы применить выбор устойчивости к усиленному GAMLSS, авторы разрабатали новый «нециклический» алгоритм подбора, который включает дополнительный шаг выбора наиболее подходящего параметра распределения в каждой итерации. Этот новый алгоритм имеет дополнительное преимущество, заключающееся в том, что оптимизация параметров настройки бустинга сводится к одномерной задаче со значительно уменьшенной сложностью. |
ResearchGate, Springer |
градиентный бустинг, оптимизация гиперпараметров !!! |
6 |
Combination of Hyperband and Bayesian Optimization for Hyperparameter Optimization in Deep Learning |
|
Запрос на доступ отправлен. Авторы комбинирют метод Hyperband и байесовской оптимизации для оптимизации гиперпараметров нейросетей. |
ResearchGate |
оптимизация гиперпараметров, нейросети |
7 |
Automatic Gradient Boosting |
|
Открытый доступ. Авторы предлагают свою реализацию autoxgboost - алгоритма, который атвоматически подбирает параметры для xgboost. Это постер, коротко описывающий проект и содержащий ссылку на github репозиторий. https://github.com/dmlc/xgboost . Из README следует, что для оптимизации, автор использовал the bayesian optimization framework mlrMBO. Реализация на R. |
ResearchGate |
оптимизация параметров, градиентный бустинг, xgboost |
8 |
Is one hyperparameter optimizer enough? |
|
Запрос на доступ отправлен. В статье проводится сравнение методов оптимизации параметров. Модели, для которых рассматривались эти методы не указаны в abstract |
ResearchGate |
оптимизация гиперпараметров, ? |
9 |
A Comparative Analysis of Hyperopt as Against Other Approaches for Hyper-Parameter Optimization of XGBoost |
|
Авторы статьи сравнивают точность и производительность 3 методов оптимизации гиперпараметров: Hyperopt (библиотека для байесовской оптимизации), Random search and Grid Search |
ResearchGate |
оптимизация гиперпараметров, xgboost |
10 |
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning |
|
Запрос отправлен. Авторы статьи предлагают гибкий и практичный подход к многофакторной байесовской оптимизации, ориентированный на эффективную оптимизацию гиперпараметров для итеративно обучаемых контролируемых моделей обучения. |
ResearchGate |
оптимизация гиперпараметров, нейросети, ? |
11 |
Hyperparameter Optimization |
|
Запрос отправлен. бзор методов оптимизации гиперпараметров. |
ResearchGate |
оптимизация гиперпараметров |
12 |
Towards an empirical hyperparameters optimization in CNN |
|
Запрос отправлен. Обзор адаптивных методов оптимизации гиперпараметров (Adadelta и Adam) для нейросетей. |
ResearchGate |
оптимизация гиперпараметров, нейросеть |
13 |
Learning to Tune XGBoost with XGBoost |
|
Запрос отправлен. На основаниии алгоритма деления пополам SH и метарегрессоров, авторы статьи предлагают новый метод оптимизации параметров MeSH. |
ResearchGate |
оптимизация гиперпараметров, xgboost |
14 |
RPR-BP: A Deep Reinforcement Learning Method for Automatic Hyperparameter Optimization |
|
Для оптиимзации гиперпараметров используется нейросеть. Агент и сеть прогнозирования обучаются на основе реального опыта; затем агент обучается вознаграждению, генерируемому из сети прогнозирования; наконец, агент снова обучается на основе реального опыта. |
IEEE |
оптимизация гиперпараметров, xgboost |
15 |
Kernel and Acquisition Function Setup for Bayesian Optimization of Gradient Boosting Hyperparameters |
|
В статье рассматриваются разные методы байесовской оптимизации |
Springer |
оптимизация гиперпараметров, градиентный бустинг |
16 |
Comparing Hyperparameter Optimization in Cross- and Within-Project Defect Prediction: A Case Study |
|
В статье проводится исследование направленное на разработку нового алгоритма оптимизации гиперпараметров в области, связанной с прогнозированием дефектов. |
Springer |
оптимизация гиперпараметров, случайный лес |
17 |
Hybrid Methodology Based on Bayesian Optimization and GA-PARSIMONY for Searching Parsimony Models by Combining Hyperparameter Optimization and Feature Selection |
|
Для оптимизации используется объеинение байесовского метода оптимизации с GA-PARSIMONY. |
Springer |
оптимизация гиперпараметров, XGBoost |
18 |
Distributed tuning of machine learning algorithms using MapReduce Clusters |
|
Надо поискать эту статью. Использование MapReduce для оптимизации гиперпараметров. |
GoogleScholar |
оптимизация гиперпараметров, mapreduce |
19 |
A boosted decision tree approach using Bayesian hyper-parameter optimization for credit scoring |
|
пример |
GoogleScholar |
оптимизация гиперпараметров, бустинг |
20 |
An XGBoost-based physical fitness evaluation model using advanced feature selection and Bayesian hyper-parameter optimization for wearable running monitoring |
|
пример |
GoogleScholar |
оптимизация гиперпараметров, бустинг |
21 |
A XGBoost risk model via feature selection and Bayesian hyper-parameter optimization |
|
Пример. В XGBoost применяются два подхода к оптимизации гиперпараметров: случайный поиск (RS) и байесовская древовидная оценка Парзена (TPE) |
GoogleScholar |
оптимизация гиперпараметров, xgboost |
22 |
Benchmarking and Optimization of Gradient Boosting Decision Tree Algorithms |
|
Сравнение методов градиентного бусинга в контексте производительности и оптимизации гиперпараметров |
GoogleScholar |
оптимизация гиперпараметров, XGBoost, catboost, lightGBM |
23 |
Tunability: Importance of Hyperparameters of Machine Learning Algorithms |
|
Исслеование по настройке гиперпараметров, рассматриваются 6 алгоритмов ML, для которых проводится настройка. |
GoogleScholar |
оптимизация гиперпараметров, ? |
24 |
Gradient boosting in automatic machine learning: feature selection and hyperparameter optimization |
|
Диссертация на английском (есть кусочки немецкого). Для оптимизации используется mlrMBO (байесовская оптимизация). |
GoogleScholar |
оптимизация гиперпараметров, градиентный бустинг |