This document summarizes machine learning models including linear regression, nonlinear regression, logistic regression, principal component analysis (PCA), k-nearest neighbors, k-means clustering, and support vector machines (SVM). For each model, it provides a brief definition and discusses results from hands-on examples analyzing housing price and medical data using different algorithms like linear regression, kernel ridge regression, and SVM classification. It finds that model selection depends on the problem and accuracy requirements, with simpler models like logistic regression sometimes preferable to deep learning.

1. 機械学習レポート
１：線形回帰モデル
線形回帰モデルとは、回帰問題(ある入力から出力を予測する問題)を線形(直線)に予測
する教師あり学習の手法。2 次元の予測では単回帰、多次元の場合は重回帰と呼ばれる。
入力(ベクトル)とパラメータの各要素を掛け、足し合わせたもの(線形結合)で目的関数が
あらわされる(下記)。パラメータは主に最小二乗法等の手法にて推定される。
最も単純な回帰モデル。
目的関数：ｙ＝w0 + 𝑤1𝑥1 + 𝑤2𝑥2 + ⋯ + 𝑤𝑚𝑥𝑚
ハンズオン結果(部屋数が 4 で犯罪率が 0.3 の物件はいくらになるか)
データ考察：部屋数と価格は強い相関がみられた。犯罪率についても、部屋数ほどではな
いが相関関係にあると思われる。

2. ２：非線形回帰モデル
線形分離が線形回帰モデルの目的関数を x の任意の関数φ(x)に置き換えたもの。回帰関
数として、既定関数と呼ばれる既知の非線形関数(多項式関数、ガウス型既定関数、スプラ
イン関数など)とパラメータベクトルの線形結合が使用される。非線形回帰では解きたい問

3. 題に対して多くの既定関数を用意してしまうと過学習によって汎化性能が低下する問題が
発生する為、正則化法を用いて回帰モデルの複雑さに応じた罰則を設け適切な既定関数を
最小化する等の工夫が必要になる。汎化性能を評価するため、テストデータを確保するた
めの考え方として、ホールドアウト法、クロスバリデーションなどがある。
ハンズオン(課題なしの為、カーネルリッジのαの値の影響について調査した)
Sklearn.kernel_ridge で使用される alpha の変数は正則化の強さを表すため、この変数の大
小は、過学習、未学習に対し大きな影響を与えると考えた。
結果は下記グラフに示すが、alpha の値が未学習、過学習へ与える影響は顕著で、alpha が
10^-4 までは目的関数に近づく方向に進んだが、10^-5 で過学習の傾向が表れ始めた。
Alpha=0 Alpha=1
Alpha=0.1 Alpha=0.01
Alpha=0.001 Alpha=0.0001

4. Alpha=0.00001
３：ロジスティック回帰モデル
分類問題を解くための教師あり機械学習モデル。入力ベクトルとパラメータベクトルの
線形結合をシグモイド関数に入力し、あるクラスに分類される確率を求める。
ロジスティック回帰モデルの重みパラメータの最尤推定は下記尤度関数を、勾配降下法、
確率的勾配降下法等で最大化するパラメータを求めればよい。
Ｙ = {𝑦1, 𝑦2, … , 𝑦𝑖}は得られたデータ。P = {𝑝1, 𝑝2, … , 𝑝𝑖}は確率変数
− ∑{𝑦𝑖
𝑛
𝑖=1
𝑙𝑜𝑔𝑝𝑖 + (1 − 𝑦𝑖)log⁡
(1 − 𝑝𝑖)}
単純なアイデアではあるが、場合によってはディープラーニングよりもロジスティック回
帰を選択する方が良い場合もある。
ハンズオン(年齢が 30 歳で男の乗客は生き残れるか)
年齢、性別のデータを基に、ロジスティック回帰モデルにて学習したモデルで判定させた
ところ、30 歳男性の生存確率は 19.3%となった。

6. ４：主成分分析(PCA)
多次元に広がる次元を圧縮するための手法。データの分散が最大となる軸(第一主成分)
とその軸に直行した上で分散が最大の軸にデータを射影する。これは、データをそのデー
タのばらつきを最もよく表す座標に変換することを意味する。この際に選択される軸の数
が次元数を意味し、それぞれの軸に対する寄与率(各主成分の固有値をその総和で割ったも
の)が大きければ、十分にそのデータ分布を表せた(説明力が高い)と言える。
ハンズオン(32 次元のデータを 2 次元上に次元圧縮した際に、うまく判別できるかを確認)
与えられたデータに対してロジスティック回帰モデルにて学習したところ、下記の通り誤
認識はあるが認識精度の高い分類線が得られた。医療データとしては発見漏れを減らす方
向に調整が必要かと思われるが、単純な分類としては十分な精度と思われる。

7. ５：アルゴリズム
k 近傍法
教師なし学習の分類手法。入力データから近い順にデータを k 個取得し、取得したデ
ータの多数決で分類する、もっとも単純な分類手法の一つ。k の数によって結果が変わ
り、多数決で決定する必要があるため、基本的に k は奇数とすることが多い。
k-means
教師なし学習のクラスタリング手法。各クラスタ中心の初期値を与え、各データ点に
対して各中心との距離を計算し、最も近い中心のラベルに分類する。同じラベルのデータ
の座標の平均値をとり、その座標をそのラベルの新たな中心座標として、再度クラスタを
割り当て直す。この中心座標とクラスタの割り当てを繰り返し、結果が収束するまで繰り
返す。この方法は初期クラスタの中心位置、クラスタの個数(k の値)に結果が依存する。
ハンズオン(課題なしの為、４のデータを k-means で分類)
ロジスティック回帰モデルに比べ精度は落ちるため、高い精度が必要な医療などには使用

8. できないが、あいまいな判断でもよい場合は使用可能と思われる。
６：サポートベクターマシン
サポートベクターマシン(SVM)は教師あり学習の一種で、各データ点から境界と最も近い
点(サポートベクター)と境界との距離(マージン)が最大となる超平面(2 次元の場合は線)を
決定する。この時、完全にデータが分離可能と仮定すると分類の誤りを許容しない(ハード
マージン)で問題はないが、現実の問題は分離可能でないことが多い為、ある程度の分類誤
りは許容するよう(ソフトマージン)にする事で、認識制度の向上が狙える。ソフトマージ
ンの場合、誤差を許容するために、マージンに誤分類されたデータに対する誤差を表す変
数(スラック変数)を加えたものを最小化する。

9. ハンズオン(課題が無かった為、4 のデータを SVM で学習)
Sklearn の svm ライブラリを利用して線形 SVM を実装。ロジスティック回帰モデルとほ
ぼ同等の結果が得られた。上記でも述べたが、医療データは見逃しが最も良くないと考え
られるため。誤認識(True Negative)を減らすために(False Positive)をより受け入れる方向
に閾値を調整すれば良いと考えられる。