BorutaShapを用いた特徴量選択

2023年12月3日未分類 kaggle python データ分析特徴量選択

今回はBorutaShapというライブラリを用いて特徴量選択を行いました。機械学習モデルを作成する際に特徴量の選択は重要です。不要な特徴量はノイズを学習してしまったり、計算時間が増加したりします。

※このブログの内容は個人の意見・見解となります。また、記事の内容の正確性については保証いたしません。本ブログの目的は分析結果をアウトプットしていくことによる自身のデータ分析力向上を主としています。誤りや違うアプローチの方が良いという事も多分にあると思います。後学のため、「もっとこうしたらいい」や誤りを見つけた場合はコメント欄などでお知らせいただけると有難いです。

○特徴量選択
　冒頭でも少しお話しさせていただきましたが特徴量選択を行うモチベーションは下記の3点になります。
・モデルの性能向上：不要なノイズ、情報を学習するのを防ぐため過学習のリスクを軽減できます
・計算効率の向上：特徴量が多いと計算時間が長くなるため、計算効率を上げることができる
・モデルの理解と解釈性向上：モデルの入力に対してどの特徴量が重要かを理解しやすくなる

○BorutaShap
BourtaとShapを組み合わせたものになります。Bourtaはランダム特徴量を使ってモデルの有効性を反復的にテストします。ShapはShap値を用いて、個々の特徴量がモデルの予測に対してどれだけ寄与しているかを評価します。BourtShapではBourtaの特徴量選択とShap値を組み合わせて利用しており、特徴量の重要度を統計学的に証明できるようになるまでランダム特徴量に対して複数回テストを行うため、単純に特徴量の削減などよりも通常は信頼性の高い選択になります。
※決定木ベースの機械学習アルゴリズムのみ実行可能

○実際に使ってみた
・BorutaShapを利用するには!pip install BorutaShapを行なった後、from BorutaShap import BorutaShapでライブラリをインストールします。この際に、`load_boston` has been removed from scikit-learn since version 1.2.とerrorが発生するため、Google Colabであれば下記画像の左下/usr/local/lib/python3.10/dist-packages/BorutaShap.py をクリックし、画像右上のload_bostonをコメントアウトし保存してからimportし直すことで実行できます。