パーセプトロンにおける機械学習とその数学的基礎 その1

パーセプトロンのように機械的なシステムがまずあり、それにあとでデータを与えて学習させることのできるシステムについて考えることを機械学習という言い方をします。

機械学習では、学習のさせ方からみて大きく教師あり学習と教師なし学習の二つに分かれます。今回のブログで扱っているパーセプトロンは、教師あり学習を行う機械学習システムとなります。

パーセプトロンの教師あり学習についての少し説明すると、イメージとしては、われわれが、試験のためにたくさん練習問題をといて、試験に臨むという学習の仕方とおなじと思って下さい。これについては、あとでもう少しだけ説明します。

さて、今回のブログでは、パーセプトロンが線形分離可能ということが数学的に証明できる、という事を説明するのがテーマですので、数学的な準備を、まず簡単にしておきましょう。

前回、掲載したパーセプトロンのイメージ図を再掲しましょう。

これを、数学的に見ると、ｎ個の実数からなる入力が一つの実数に写像される関数f(x)だと見なすことができます。数学的表現としては、次の通りですね。

　　　　f:       X ⊆R^n →R  (^はべき乗をあらわす記号）

ここで太文字のRは実数全体の記号です。図1を見て頂くと分かりますが入力集合Xは各要素がn個の実数からなりますから、全体としては実数の全体集合のn乗された大きさの集合の部分集合、という意味です。これが一つの実数に写像されるような関数と一般には考えることができるでしょう。

ところで、繰り返しますが今回は線形分離可能ということを示すわけですから出力は2値になります（下図２参照）

図2では、○と×の二つの点の種類で出力の値の違いを表現しています。間に○と×とを分けている線ありますが、実際の各入力データは2次元ではなくn個の実数からなるn次元のデータですので、間を分けているのは直線とは言わずに超平面という言い方で表現します。

図1のようなパーセプトロンに、図2のような超平面で分離できる学習データで予め学習させておき、本番のデータが○と×どちらかであるかを判定するというのが、今回説明する、パーセプトロンにおける教師あり学習であり、このことがうまくいくと言うことを数学的に証明する、ということが数学的に線形分離可能である、いうことに相当します