This document summarizes several machine learning algorithms including linear regression, nonlinear regression, logistic regression, principal component analysis, K-means clustering, and support vector machines. For linear regression, it explains that it is used to obtain continuous output from input data using a straight line or curve model. It also discusses minimizing the mean squared error to determine parameters. For nonlinear regression, it notes that basis functions are used instead of linear explanatory variables. The document provides overviews of each algorithm and discusses implementations using Python libraries like scikit-learn.

1. レポート 機械学習
線形回帰
線形回帰というのは、ある入力データから直線または曲線で連続的な出力を得るためのモ
デルである。説明変数から目的変数を予測する必要があることから教師あり学習の一つで
ある。式としては、ｙ
̂
＝∑ 𝑤𝑗𝑥𝑗 +
𝑚
𝑗=1 𝑥0のようにあらわされる。
パラメータ w を求めるためには学習データの平均二乗誤差（MSE）を最小にする最小二乗
法を用いる。MSE を最小とするようなパラメータ w が求めるものである。
scikit-learn のボストンデータを用いて、実装を行った。
この実装では scikit-learn の LinearRegression を用いて予測を行った。手計算だと大変だっ
たが実装自体は簡単であったため、背景を知らずに実装だけ学んでも自分の知識的には意
味がないと感じた。

2. 非線形回帰
第 1 章の様に単純に線形であらわされるものだけではないため、その場合こちらのモデル
を使用する。パラメータを最小二乗法などで求めることは線形回帰と似ているが、1 次の説
明変数ではなく基底関数を用いるところが異なる。基底関数としては多項式型とガウス型
がある。
線形回帰はデータのばらつきを誤差として無視する要素があるが、
非線形回帰では
複雑なモデルにはなるもののばらつきを表現することが出来る。
ただしこれにより、
一定の
誤差は表現できるものの、
無視すべき誤差まで拾いすぎて過学習を起こす可能性がある。
そ
のため、
不要な基底関数の削除や正則化
（モデルが複雑になればなるほど大きくなるパラメ
ータを用意する）を用いる。正則化には L2 ノルム（2 乗の和）も用いた Ridge 推定量、L1
ノルム（1 次の和）を用いた Lasso 推定量が存在する。正則化を用いればモデルが複雑にな
ったとしても、パラメータが一定の水準に収まるため過学習が起こりにくい。
また、
過学習が起こりにくい訓練方法として、
学習データを一部分割して残し学習させて残
りで検証するホールドアウト法がある。分割方法を変えてホールドアウトを複数実施して
最適なモデルを選ぶクロスバリデーション法がある。
実装する中で Ridge を使った時のαを大きくすると滑らかで凸凹が少ない曲線に、小さく
するとよりデータにフィットするような複雑な曲線になった。これにより正則項が大きい
ほどパラメータを大きくすることを防ぐためであることを実感できた。

3. ロジスティック回帰
ロジスティック回帰とは、
これまでの回帰とは異なり、
あるデータを分類するための手法で
ある。ロジスティック線形回帰モデルとは分類問題を解くための教師ありの機械学習モデ
ルであり、入力データを線形結合のした後シグモイド関数で 0～1 の確率へ変換する。
シグモイド関数の形は、𝜎(𝑥) =
1
1+exp⁡
(−𝑎𝑥)
となる。シグモイド関数の特徴は、微分をすると
元のシグモイド関数であらわせることである。
ロジスティック回帰において、適切なパラメータを求めるためには最尤推定法を用いる。
尤度関数は求めた確率の積であらわせることができ、その尤度関数を最大化するパラメー
タが求めるものである。
ただし解析的に求めることはできないため、
勾配降下法でパラメー
タを更新していく手法を用いる。
タイタニック号のデータを用いて実装の練習を行った。
最後に seaborn を使った実装のグラフを参考に 4 つの特徴量で予測をした結果、実装の練
習の数値よりも高いスコアで得られた。

4. 主成分分析
主成分分析とは多変量データをデータの持つ情報量をなるべく減らさずに少数の指標に圧
縮する手法である。
圧縮後のデータの分散が最大になるようなパラメータを求める。
ただし、
制約を設けないと解が無限にできてしまうので、ノルムが１となる制約を入れて計算する
と圧縮後の分散行列の固有値と固有ベクトルが解となる。
主成分分析で実装を行い、
すべての特徴量でロジスティック回帰をした場合と、
主成分２つ
で回帰をした場合の決定係数を比較すると、
多少精度は低くなったものの、
それなりの数値
となったため、２つにしても十分な予測精度が見込まれることが分かった。

5. K-means 法
K-means 法は教師なし学習で与えられたデータをｋ個のクラスタに分類する手法である。
アルゴリズムとしては各クラスタの中心の初期値を設定し、各データ点に最も中心が近い
クラスタを割り当て平均ベクトルを計算し新たな中心として設定する。おれを何度も繰り
返し中心を更新していく。
実装ではモデルが sklearn に入っている KMeans を使うと簡単にできた。
ただし、正しいラベル通りに分類は完全にはできないことが分かった。

6. SVM
サポートベクトルマシンとは 2 クラス分類問題の手法の一つである。考え方としては、デ
ータを二つに分ける境界線を引くのだが、境界線に一番近い点との距離（マージン）を最大
化することである。ただし、直線で分けられないような２次元のケースで、３次元へ拡張す
るようなカーネルトリックを用いることで分類が可能となる工夫がある。
実装について
ラグランジュ乗数法と最急降下法により指定の回数 a を更新して a を求めた。大半の要素
が 0 となっていることが分かった。

7. 自身の理解のために、
xx0,xx1,y_project の中身と contour の使い方の理解のための実装をお
おなってみた。
求める y は xx0,xx1 が増加する方向に傾いた平面上になっていることが分か
った。
Contour で level を-1,0,1 で指定して等高線を引いてみると境界が 0、1,-1 が境界に一番近
い点に沿って線が引かれていることが分かった。

8. 境界線の予測のために、実装では RBF カーネルを使用した。
先の実装では xx0,xx1 ではなく rbf で変換した値で y を予測することにより、もう一つの次
元に拡張した平面で点を切るような分け方となっている。

9. またデータが重なりありの場合も、
重なりがない場合と同様の手順で求められるため、
実装
自体は難しいものではなかった。