Recommended
Recommended
More Related Content
What's hot
What's hot (13)
Similar to 2
Similar to 2 (20)
Recently uploaded
Recently uploaded (20)
2
- 1. 機械学習１ 線形回帰モデル ・線形に回帰させる機械学習モデル ・教師あり学習である ・入力とｎ次元パラメータの線形結合を出力するモデル 言い換えると「ｎ次元の入力パラメータの一次式に回帰させる」モデル ・線形結合 𝑦 = 𝑤⊤ 𝑥 + 𝑤0 = 𝑗=1 𝑚 𝑤𝑗𝑥𝑗 + 𝑤0 𝑤 = 𝑤1, 𝑤2, … , wm ⊤ ∊ ℝ𝑚 ・モデル 誤差項を含む線形結合で表現、複数の入力データ 𝑦𝑛 = 𝑤0 + 𝑤1𝑥𝑛1 + 𝑤2𝑥𝑛2 + ⋯ + 𝑤𝑛𝑥𝑛𝑚 + ε𝑛 行列表現は以下のとおり 𝑦 = 𝑋𝑤 + ε ・学習の目的 入力データに近くなる𝑤を求める ・求め方 最小二乗法により、データとモデル出力（回帰直線）の 平均二乗誤差（MSE：MeanSquaredError）を最小とする𝑤を求める （平均二乗誤差の微分＝０となる𝑤を求める） 回帰係数 𝑤 = 𝑋 𝑡𝑟𝑎𝑖𝑛 ⊤ 𝑋 𝑡𝑟𝑎𝑖𝑛 −1 𝑋 𝑡𝑟𝑎𝑖𝑛 ⊤ 𝑦(𝑡𝑟𝑎𝑖𝑛) 予測値 𝑦 = 𝑋 𝑋 𝑡𝑟𝑎𝑖𝑛 ⊤ 𝑋 𝑡𝑟𝑎𝑖𝑛 −1 𝑋 𝑡𝑟𝑎𝑖𝑛 ⊤ 𝑦(𝑡𝑟𝑎𝑖𝑛) ボストンの住宅データセットを元に単回帰、重回帰を実施 （実装演習課題を参考にまとめた）
- 2. 機械学習２ 非線形回帰モデル ・非線形に回帰させる機械学習モデル ・教師あり学習である ・基底関数（非線形関数）とパラメータベクトルの線形結合 ・求め方は最小二乗法や最尤法により推定 ・基底関数 ・多項式 ・ガウス関数 ・スプライン関数 ・モデル 基底関数をφと記述したとき、線形回帰と同じように記述できる 𝑦𝑛 = 𝑤0 + 𝑤1𝜑𝑛1 + 𝑤2𝜑𝑛2 + ⋯ + 𝑤𝑛𝜑𝑛𝑚 + ε𝑛 ・基底関数を複数から選択できる、パラメータの数が多い、といった ことから未学習、過学習となることがあり、適切な表現力のモデルと するために工夫が必要となる。 ・不要な基底関数の削除 ・正則化法 ・交差検証法 学習データ 線形回帰による結果 カーネルリッジ回帰による結果 対応コード「skl_nonlinear regression.ipynb」であるが、 カーネルリッジ回帰 放射基底関数カーネル（Radial basis function kernel）を 使用したものと思われる。 𝑘 𝑥, 𝑦 = exp(−𝛾 𝑥 − 𝑦 2 ) Γ＝５０のRidge推定
- 3. 機械学習３ ロジスティック回帰モデル ・分類問題に対応する機械学習モデル ・教師あり機械学習 ・分類内容は「ある事象に該当するか否か」である。 ・出力は出力１となるか否かの確率である ・モデル 𝑃 𝑌 = 1 𝑥 = σ 𝑤0 + 𝑤1𝑥1 + ⋯ + 𝑤𝑚𝑥𝑚 σはシグモイド関数 σ 𝑥 = 1 1+exp −𝑎𝑥 ・シグモイド関数の性質 ・0付近を境界に曲線の勾配が増加、値が0→1に変化 ・aを大きくすると、ステップ関数に近づく ・微分を自分自身で表現可能 𝜕σ(𝑥) 𝜕𝑥 = 𝜕 𝜕𝑥 1 1 + exp −𝑎𝑥 = 𝑎σ(𝑥)(1 − σ 𝑥 ) ・尤度関数（もっともらしさ） 𝑦1, 𝑦2, … , 𝑦𝑛 𝑤0, 𝑤1, … , 𝑤𝑚 = 𝑖=1 𝑛 𝑝𝑖 𝑦𝑖 1 − 𝑝𝑖 1−𝑦𝑖 = 𝐿(𝑤) 𝐸 𝑤0, 𝑤1, … , 𝑤𝑚 = −log𝐿 𝑤0, 𝑤1, … , 𝑤𝑚 = − 𝑖=1 𝑛 {𝑦𝑖log𝑝𝑖 + 1 − 𝑦𝑖 log 1 − 𝑝𝑖 } 最尤推定…尤度関数を最大化するようなパラメータを選ぶ推定方法 ・勾配降下法 解析的にパラメータ導出が困難なので、反復学習により パラメータを逐次的に更新する ・確率的勾配降下法 計算量が膨大になる場合の効率化手法 データをランダムに選んでパラメータを更新する 実装演習結果 シグモイド関数で運賃と生存率（生存＝１）を予測
- 4. 機械学習４ 主成分分析 実装演習 乳がん検査データを利用し、次元圧縮後のロジスティック 回帰モデルを評価する。 ・他変量データの少ない変量データに圧縮する ・２次、３次元の場合は可視化が実現可能 ・線形変換後の変数の分散が最大となる射影軸を探索する ・線形変換後の分散 𝑉𝑎𝑟 𝑠𝑗 = 𝑎𝑗 ⊤ 𝑉𝑎𝑟 𝑋 𝑎𝑗 ・最適化問題の解法 制約条件として、𝑎𝑗 ⊤ 𝑎𝑗 = 1とする ラグランジュの未定乗数法を利用して 𝐸 𝑎𝑗 = 𝑎𝑗 ⊤ 𝑉𝑎𝑟 𝑋 𝑎𝑗 − λ(𝑎𝑗 ⊤ 𝑎𝑗 − 1) 𝜕σ(𝑥) 𝜕𝑥 = 2𝑉𝑎𝑟 𝑋 𝑎𝑗 − 2λ𝑎𝑗 = 0 𝑉𝑎𝑟 𝑋 𝑎𝑗 = λ𝑎𝑗 →共分散行列の固有値と固有ベクトルが解となる ・寄与率 第𝑘主成分の分散の全文さんに対する割合 𝑘が小さい時点で累積寄与率が十分高ければ、次元の圧縮に成功 そのまま実行すると イテレーション回数の上限に抵触 引数にて適当に大きな数を指定する ９７％で分類可能 累積寄与率６３％
- 6. 機械学習６ サポートベクターマシーン ・２クラス分類のための機械学習手法 ・線形モデルの「正負」で２値分類 ・訓練サンプルから、各データ点との距離（マージン）が 最大となる線形判別関数を求める ＜用語の整理＞ 境界線（超平面）… クラスを分ける線 マージン … 線形判別関数と最も近いデータ点との距離 サポートベクトル… 境界近傍に位置する点 →SVMはサポートベクトルの距離が最大になるように 境界線（超平面）を設定している。 →超平面の学習にサポートベクトル以外のデータは不要 （学習に影響しない） ・ソフトマージンSVM サンプルを線形分離できない場合は誤差（データがマージン内に入る） を許容する考え方。ただし、誤差が過大にならないよう、 誤差に対してペナルティを与える ・カーネルトリック 非線形な関係を変換し、線形変換に落とし込むことで計算を容易にする ・多項式カーネル ・ガウシアンカーネル ・SVM（ハードマージン） 容易に分類できる場合 ・ソフトマージンSVM マージン内の誤差を許す場合