決定木系機械学習の学習経過をGIFで可視化したらスゴかった。

プログラミング

どうもリンです。AIベンチャー出向中で修行しています。主言語はPythonです。

最近は決定木系機械学習が活躍する時期なので知見を積み上げております。

決定木系機械学習の真髄を知りたい!

と嘆く毎日でございます。

以前↓のような記事を執筆しました。

内容は決定木系アルゴリズムの汎化性能の可視化や、予測線を3Dで見てみるって内容です。「ほーん。各モデルの挙動ってそんな感じなんや。」という知見が得られましたので満足です。

 

さて、今回は同じく決定木系アルゴリズムの「学習の様子」を深堀したいと思います。

  • ランダムフォレストの木の数
  • LightGBMの誤差修正木の数

これらを徐々に増やしていくと、予測結果はどのように推移していくのでしょうか?

原理が分かっていればイメージができますかね。

実物が見たいので、ぜひとも実験してみましょう!

 

原理を知らない方は↓の記事で予習してみましょう。

スポンサーリンク

データセット

今回使うデータセットは、当ブログおなじみの「コンクリートデータ」でございます。

「コンクリート材料の配合データとコンクリート強度」が載ったテーブルデータです。

使用しやすいようにCSV形式に変換しておきました。ダウンロードしてローカルに落としておいてください。

 

「Concrete Compressive Strength Data Set」 ←発行元

【著作権】I-Cheng Yeh, “Modeling of strength of high performance concrete using artificial neural networks,” Cement and Concrete Research, Vol. 28, No. 12, pp. 1797-1808 (1998).

中身の確認

これはカルフォルニア大学アーバイン校が公開しているオープンデータであり、1030データ入っております。

コンクリートデータのCSV中身

↑中身はこんな感じ。

説明変数 cement : セメント(kg/㎥)
Blast Furnance Slag : 高炉スラグ(kg/㎥)
Fly Ash : フライアッシュ(kg/㎥)
Water : 水(kg/㎥)
Superplasticizer : 高流動化剤(kg/㎥)
Coarse Aggregate : 粗骨材(kg/㎥)
Fine Aggregate : 細骨材(kg/㎥)
Age : 材齢(1〜365日)
目的変数 Concrete compressive strength : コンクリート圧縮強度(MPa)

となっております。

材料データから、コンクリートの圧縮強度を予測しましょうってモチベーションですね。

 

カテゴリ変数が入っていないので簡明ですし、マテリアルズインフォマティクスに近いものを感じてなんだか楽しそうなので、当ブログのモデルデータとなっております。

ArtistAnimationでGIFを作ってみる

ほんじゃあ作っていきましょう。

説明は飛ばしがちなので、「このコードどういう意味!?」ってなったら過去記事を見返せば理解できると思います。(手抜き)

前準備

ライブラリのインポートやデータの加工をやっていきます。

ということで、訓練データとテストデータに分けるところまで一気にやっちゃいました。

LightGBMの予測挙動を出力する

一気に行っちゃいました。

詰まりやすいのはimsの取り扱いでしょうか。

matplotlibでアニメーション - Qiita
概要python の matplotlib を使えば手軽に見栄えのいいグラフが作...

↑Qiitaのこちらの記事が参考になりました。

matplotlibではグラフオブジェクトはartistと呼び、imsはartistのリストのリストである必要があるようです。

scatterメソッドやtextメソッドはartistを返すので、imsにはそれらartistのリスト。つまりims.append([im]+[text_RMSE]+[text_cycle])のような形でartistをひとまとまりにしてimsに追加する必要があります。

imsの中身はartistのリストが連なり、リストのリストになっていることが分かります。

 

さて出力を見てみましょう。私の場合はanacondaのフォルダにGIFが格納されています。

LightGBMのテストデータ予測GIF

縦軸が予測値、横軸が正当値です。よって赤線に沿うほど予測能力はGOOD。

この出力はLightGBMで「モデル評価用データ」を予測させました。GIFのタイトル通りです。

追記:RMSLEじゃなくてRMSEですね。投稿してから気づきました。ゆるして。

 

どうでしょうか?誤差修正決定木の本数が少ないうちは予測値は一律で35MPaでしたが、誤差修正が進むと正当値に近い値に収束しています。

特に「最初の予測値が一律で35MPa付近になる」という結果が面白いですね。

ブースティング系の学習進行初期は、かなりの弱学習器を使用しているようです。

単純な決定木1本でも、こんな弱学習器ではありません。とんでもなく強い制約を掛けているようですね。もっと論文を読み込まねば(反省)

 

説明能力も観察する。

先ほどは「モデル評価データ」、つまり未知のデータに対する予測能力を見ていました。

では「モデル訓練データ」を予測させる、つまり既知のデータに対する説明能力がどのように変化するか見てみましょう。

変更点は、

  • 予測値出力をX_test→X_trainにした
  • pred_dfの中身をy_trainとpredicted(予測値)のDFにした。

以上です。出力を見てみましょう。

LightGBMの訓練データ予測GIF

説明能力は予測能力よりも高くなります。至極当然ですね。

少し着目して貰いたい点は次の通り。

  • 学習初期は誤差修正量が多い
  • 学習終盤は誤差修正量が少ない

LightGBMの強みをここで感じます。

つまり現状で誤差が大きいデータほど誤差修正量を多くしますよ」ってことです。

このような考慮をすることで、より早く学習の収束に向かうことができますよね。頭いいすねマジで。

 

そしてこのように説明能力のプロットをすることで「外れ値」検出もできます。

ほら。1つだけ外れてるプロットあるでしょ?これなんかおかしいですよね。

大元の材料データを用意したのは人間です。よってヒューマンエラーが往々にして生じます。

説明変数の入力にミスがあるのか、予測値の入力にミスがあるのか、測定方法のミスなのか。いずれにせよデータの再確認が必要ですね。

そして学習初期にも「大きく予測を外しているプロット」がいくつか確認できますね。これも怪しいです。

何故ならヒューマンエラーでデータがおかしいけど、モデルが試行錯誤して誤った予測方法を構築している可能性があるからです。

そのような状態は一種の過学習になります。汎化性能を落としかねません。学習初期に大きく予測を外すプロットもデータの再検証が必要でしょう。

ランダムフォレストの予測挙動を出力する

ではアンサンブル学習器の一つ「ランダムフォレスト」に行きましょう。

ブースティング系であるLightGBMとはどう変わるのでしょうか!

はい。ほとんどコードは同じです。

ランダムフォレストのテストデータ予測GIF

ぬ!LightGBMのときとは挙動が大きく違いますね。

  • 決定木の本数が少なくても、ある程度の予測性能がある。
  • 急速に収束へ向かう

このような差異があります。

ランダムフォレストは性格の異なる決定木の集合体です。

1本でもある程度の予測能力は担保されているようです。

しかし最終的な予測性能は少し悪いですね。

↑こちらの記事の最後に「何故ランダムフォレストの予測性能はブースティング系に勝てないのか」について考察を述べています。是非ご覧ください。

 

では最後にランダムフォレストの説明能力ですね。

ランダムフォレストの訓練データ予測GIF

きちんと説明能力は収束していて、十分な性能ということがわかります。

そのうえで予測能力が比較的低いということは、やはりLightGBMよりも過学習しているようですね。

外れ値検出には不向きかもしれません。収束が早すぎて外れ値っぽいプロットは1点しか検出できません。

まとめ

ということで決定木系アルゴリズムの学習進行挙動を観察してみました。

アンサンブル系とブースティング系は、やはり全く挙動が違いますね。

イメージとしては理解していたけれど、実験してみると新たな発見もあって面白かったです(小並感)

 

こんな感じで機械学習の挙動についてちょくちょく研究しているので、是非他記事もご覧ください!

 

違うアプローチでの挙動観察は私の教材からどうぞ!(宣伝)↓

機械学習完全マスター教科書販売中です980円[期間限定]:24350文字の教科書です)

pythonの一般的な教本と一味違い、

  • 第一に機械学習を最短経路で「実装」できる
  • 第二に詳しい原理が理解できる

これらを重視して執筆しました。

普通の教本の1/4くらいの値段ですし、誰かに紹介すれば半額の紹介料が入るのですぐ元は取れます

★★★★★この価格でこのクオリティは凄すぎる

大学生ですが、これをつかって実験のレポートのデータ解析などにもつかえそうだと思いました! また、値段が安すぎて恐縮してます汗 凄すぎる…

レビュー欄より

★★★★★ 数ある教材の中でもトップクラスの分かりやすさ

これを機会に一度挫折したpythonを学び直そうと一念発起いたしました。いろいろなお勧めサイトの教材を拝見し購入しては失敗していましたが、ようやく超優良教材見つけました。知りたかった情報がすべて網羅されていて、この価格はなかなか無いと思います。今後の追加情報も期待したいです。

レビュー欄より

↑こんなコメントも頂きました!ありがとうございます(泣)

お役に立てて、必死に執筆した甲斐がありました(泣)(泣)

レビューはモチベに繋がるので、順次追記してコンテンツを増加していきます!乞うご期待!

追記[2020/03/14]:コンテンツ追加しました。

  • ランダムフォレスト&LightGBM内部計算の可視化方法
  • 内部可視化を基にした原理解説
  • 学習の進行による予測分布の変化
  • マテリアルズインフォマティクスへの活用方法

Python初心者であれば更に理解が深まり、玄人でも更なる原理や挙動の知見を得ることができるようになりました!

是非一読あれ~

↓リンク

機械学習はこれ一本!pythonインストール~機械学習実装まで完全理解講座

 

↓ Python学習オンラインスクールをまとめてみました ↓

↓他記事はこちら↓

コメント