「はじめてのパターン認識」を読む第2章識別規則と学習法の概要 1項識別規則と学習法の分類

f:id:kj_man666:20200506082143j:plain

はじめてのパターン認識を1章ずつ読んでまとめたいと思います。

2章は長いので、半分に分けています。

2.1 識別規則と学習法の分類
過去のまとめ

<用語>

学習データ

　たくさんの微妙に異なる特徴ベクトルを正解に対応付けるためのデータ

なお、特徴ベクトル

　抽出されたたくさんの特徴をベクトルの形にまとめたもの

汎用能力

学習データを使った学習モデルを実装したサービスを世に出すと、学習データには含まれていなかったデータが使われる可能性があるが、このような場合でも識別できる能力のこと。

2.1 識別規則と学習法の分類

識別規則の構成法

代表例

　（a）事後確率が最大のものに分類する方法

事前確率とは、データを手に入れる前に想定していた確率のことです。

事後確率とは、データを用いて事前確率を修正した結果の確率です。

ある朝、目が覚めたとき、今日の天気は雨か晴れかわからないなと思いました。何となく、今日晴れる確率は50%かなと想像しました。この50%が事前確率です。

窓の外を見ました。

日の出はとっくに過ぎているのに外がどんよりとして曇っていました。

この結果を見て、雨が降る確率は80%くらいじゃないのかなぁと修正しました。

この80%が事後確率です。

logics-of-blue.com

　（b）各分類の代表的なベクトルとの距離を計算し、一番近い代表ベクトルに分類する。

　　　　代表例：最近傍法

f:id:kj_man666:20200506090345p:plain

今，緑の円で表される新しいデータを取得したとします．

このデータを青い四角か赤い三角のどちらかのグループに所属させる必要があります．

この過程を分類と呼びます．

具体的に何をすれば分類できるのでしょうか?k近傍法を使って分類をしてみましょう．

この新しいデータに最も近いデータを確認するという方法が挙げられます．

画像を見ると，新しいデータに一番近いデータは赤い三角であることは明らかです．

なので，個の新しいデータは赤い三角のグループに追加します．

最も近い距離にあるデータにのみ依存する分類であるため，この方法は単純に最近傍法(Nearest Neighbour) と呼ばれます．

labs.eecs.tottori-u.ac.jp

（参考）scikit-learn KNeighborsClassifier のコード

github.com

　（c）関数を使って、その正負、または最大値で分類を決める方法。

　　　識別のために用いられる関数を識別関数という。

　　　代表例：パーセプトロン型学習回路、サポートベクトルマシン。

パーセプトロン型学習回路

f:id:kj_man666:20200506091241j:plain

人間の脳にはニューロンという神経細胞があり, それを数式で表すためにニューロンモデル(形式ニューロン)が作られた.

ニューロンモデルはいくつかの入力 $X_n$ とひとつの出力 $Y$ を持っている.

出力 $Y$ は"1"か"0"かの2つの値しか出力しない.

2つの値をどちらか決めるためにしきい値を使う.

入力 $X_n$ にそれぞれ結合荷重 $W_n$ という定数との積を足し合わせた数(ネット値)よりもしきい値が低ければ"1"そうでなければ"0"を活性化関数を使って出力する.

このモデルをパーセプトロンという.

qiita.com

サポートベクトルマシン

サポートベクトルマシンを理解するためには、名前の由来である「サポートベクトル」について理解する必要があります。

サポートベクトルとは、先に説明したように「予測に必要となる一部のデータ」です。

では「予測に必要となる一部のデータ」はどのようにして決められるのでしょうか。

それを定めるのに「マージン最大化」と呼ばれる考え方を使います。

SVMでは、正しい分類基準を見つけるために、「マージン最大化」という考えを使います。

マージンとは、「判別する境界とデータとの距離」を指します。

これが大きければ、「ほんの少しデータが変わっただけで誤判定してしまう」というミスをなくすことができます。

なお、境界線と最も近くにあるデータを「サポートベクトル」と呼びます。

境界の近くにあるデータ、すなわちサポートベクトルのみを用いて分類を行います。

サポートベクトル以外のデータの値が多少変化したとしても、分類のための境界線の位置は一切変わりません。

f:id:kj_man666:20200506094237j:plain