IT系のネタや知識をアウトプットしたかった

Knowledge-IO

IT系 機械学習・ディープラーニング

OptunaでLightGBMのパラメータを自動でチューニングする

投稿日:

OptunaにLightGBMが組み込まれて、より簡単に利用できるようになったので試してみました。
(ちなみに、オプチューナーと読むのが正しいようです。)

基本的に、LightGBMのimport文をoptuna配下のLightGBMに書き換え、train部分に少しの手直しするだけで簡単に使うことができます。

自動でサーチされるパラメータは下記の7つ。

  • lambda_l1
  • lambda_l2
  • num_leaves
  • feature_fraction
  • bagging_fraction
  • bagging_freq
  • min_child_samples

(私の場合、別途num_boost_roundとearly_stopping_roundsを設定して、early_stopするようにします。)
まずOptunaをインストール。LightGBMもOptunaに入っています。

 

コード

 

best_paramsを使って学習・予測

 

以上です。めっちゃ楽。

 

参考

PFNの公式ブログ
Optuna の拡張機能 LightGBM Tuner によるハイパーパラメータ自動最適化

 




-IT系, 機械学習・ディープラーニング

Copyright© Knowledge-IO , 2023 All Rights Reserved Powered by STINGER.