Козиев Илья (kelijah) wrote,
Козиев Илья
kelijah

Categories:

Планы по поводу ML BootCamp V

Первоначальная задача-минимум для http://mlbootcamp.ru/round/12/tasks/ была: освоить тюнинг LightGBM, чтобы он выдывал результаты, сопоставимые с XGBoost.

Задача выполнена на 95%. Рецепт - действуем по рекомендациям в https://github.com/Microsoft/LightGBM/blob/master/docs/Parameters-tuning.md и учитываем, что деревья в LightGBM строятся совсем не так, как в XGBoost. В частности, параметр "максимальная глубина деревьев" не имеет решающего значения, как в других градиентных бустерах. А также используем hyperopt для автоматизации тюнинга.

Вторая задача была: попробовать сделать стекер/блендер. Кстати, на Каггле опубликован пост создателя StackNet. Жаль, что времени на отладку, уже, видимо, нет, так как MLBootCampV закончится через неделю с хвостиком. Я просто не успею отобрать модели для стекинга, да и железо нужно для опробования совершенно нового подхода к решению задачки http://kelijah.livejournal.com/212124.html.

Но в очередь за маечкой я встал поближе к раздаче, мало ли что.
Tags: http://mlbootcamp.ru, hyperopt, lightgbm, xgboost, соревнования
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments