LightGBMのチューニングの話(1)
2022.12.17
機械学習においてまず採用を考えたい「LightGBM」。
そしてハイパーパラメータのチューニングツールとして使う「optuna」の話。
チューニング項目としてよく出る項目のメモ。
■feature_fraction・・デフォルト「1.0」。過学習対策として学習する列の割合。0.95とかだと列を少し間引くことで過学習を抑える。
■bagging_fraction・・デフォルト「1.0」。過学習対策として学習する行の割合。0.95とかだと行を少し間引くことで過学習を抑える。
対象が「列」か「行」かの違い。
decision tree系のライブラリはすぐ過学習してしまうので、「lambda_l1」「lambda_l2」「min_gain_to_split」と一緒にチューニング項目に入れてみたい。
ただ折角の特徴量なのに feature_fraction で列を間引いてしまうのはもったいないと思う場合はデフォルト値のままで様子を見る。
最新記事
- OpenAI(InstructGPT)でチャットボット
- ChatGPTで遊びたいが、GPT-2でカスタムモデルを生成
- 画像生成AI「Stable Diffusion」で遊ぶ
- LightGBMのチューニングの話(1)
- 顔で個人を判定(簡易版)
- 機械学習を使って競馬AIを作ってみた
- 印鑑画像を生成
- Flutterで簡単なデモアプリ
- 電子カルテシステム「OpenDolphin」を使ってみる
- Zoomで講師
- AWSのRedshiftで1億レコード
- RaspberryPi + Node-RED
- Mac Catalina(10.15)へのアップグレードは慎・・・
- 全文検索のデモ
- ruby関連の知識のアップデート
- SRGANで超解像
- オニヒトデをロボで駆除できるか
- 7pay(セブンペイ)のサービス終了に思う
- DQN(Deep Q-Network)を復習する
- AI創薬 5時限目