第1章：高度な機械学習アルゴリズムとアンサンブル学習

スタンダードで学んだ単一のモデル（決定木など）には限界があります。アドバンストでは、複数のモデルを組み合わせて精度を極限まで高める「アンサンブル学習」や、実務で直面する「データの偏り」への対処法を学びます。

1. アンサンブル学習の理論

「三人寄れば文殊の知恵」を体現した手法です。複数のモデル（弱学習器）を組み合わせることで、単一モデルよりも高い精度と汎用性を実現します。

• バギング（Bagging）: データをランダムに分割して複数のモデルを並列に学習させ、その平均や多数決で結果を出す手法です。代表例はランダムフォレストです。

• ブースティング（Boosting）: 1つのモデルの失敗（誤差）を、次のモデルが重点的に学習するというプロセスを直列に繰り返す手法です。

  • XGBoost / LightGBM / CatBoost: 現代のデータ分析コンペ（Kaggle等）や実務で「最強」とされるアルゴリズム群です。特にLightGBMは計算速度が速く、大規模データに多用されます。

• スタッキング（Stacking）: 複数の異なるモデル（SVM、ランダムフォレスト等）の予測結果を「新たな入力データ」として、さらに別のモデルで最終的な予測を行う多層構造の手法です。

2. 不均衡データへの対応

実務では「正常データが99%で、異常データが1%しかない」といった、クラスの割合が極端に偏ったデータによく遭遇します。

• オーバーサンプリング（SMOTE）: 少ない方のデータ（マイノリティクラス）を、既存のデータの周辺に合成することで人工的に増やし、バランスを取る手法です。

• アンダーサンプリング: 多い方のデータ（マジョリティクラス）を間引いて数を減らす手法です。

• コスト考慮型学習: 「異常を見逃した時のペナルティ」を学習時に重く設定することで、モデルに少数派データを重視させる方法です。

3. ハイパーパラメータチューニング

モデルの「設定値（ハイパーパラメータ）」を手動で調整するのは限界があります。

• ベイズ最適化（Optunaなど）: 過去の試行結果から「どの設定が良さそうか」を確率的に推測しながら、効率よく最適なパラメータを探し出す技術です。日本発のライブラリである Optuna は世界中で広く使われています。