2011年2月28日月曜日

パーセプトロンにおける機械学習とその数学的基礎 その1

パーセプトロンのように機械的なシステムがまずあり、それにあとでデータを与えて学習させることのできるシステムについて考えることを機械学習という言い方をします。

機械学習では、学習のさせ方からみて大きく教師あり学習と教師なし学習の二つに分かれます。今回のブログで扱っているパーセプトロンは、教師あり学習を行う機械学習システムとなります。

パーセプトロンの教師あり学習についての少し説明すると、イメージとしては、われわれが、試験のためにたくさん練習問題をといて、試験に臨むという学習の仕方とおなじと思って下さい。これについては、あとでもう少しだけ説明します。

さて、今回のブログでは、パーセプトロンが線形分離可能ということが数学的に証明できる、という事を説明するのがテーマですので、数学的な準備を、まず簡単にしておきましょう。

前回、掲載したパーセプトロンのイメージ図を再掲しましょう。



これを、数学的に見ると、n個の実数からなる入力が一つの実数に写像される関数f(x)だと見なすことができます。数学的表現としては、次の通りですね。

    f:       X R^n (^はべき乗をあらわす記号)
ここで太文字のRは実数全体の記号です。図1を見て頂くと分かりますが入力集合Xは各要素がn個の実数からなりますから、全体としては実数の全体集合のn乗された大きさの集合の部分集合、という意味です。これが一つの実数に写像されるような関数と一般には考えることができるでしょう。

ところで、繰り返しますが今回は線形分離可能ということを示すわけですから出力は2値になります(下図2参照)


図2では、○と×の二つの点の種類で出力の値の違いを表現しています。間に○と×とを分けている線ありますが、実際の各入力データは2次元ではなくn個の実数からなるn次元のデータですので、間を分けているのは直線とは言わずに超平面という言い方で表現します。

図1のようなパーセプトロンに、図2のような超平面で分離できる学習データで予め学習させておき、本番のデータが○と×どちらかであるかを判定するというのが、今回説明する、パーセプトロンにおける教師あり学習であり、このことがうまくいくと言うことを数学的に証明する、ということが数学的に線形分離可能である、いうことに相当します

2011年2月21日月曜日

パーセプトロンについての基本知識

パーセプトロンはニューラルネットワークの一つです。

ニューラルネットワークというのは、計算式で脳のニューロンのネットワークを簡潔に表現しようとしたものです。言い方を変えれば、脳の数学的なモデルという言い方もできるでしょう。

ここからは、Wikipediaのパーセプトロンという項目(http://ja.wikipedia.org/wiki/パーセプトロン)を参考、引用して説明します。

まず、形式ニューロンというモデルがあります。引用すると

”神経生理学者・外科医であるウォーレン・マカロックと論理学者・数学者であるウォルター・ピッツによって、形式ニューロンというモデルが考えられた。このモデルはチューリングマシンと同等の計算能力を持つ。”

とあります。チューリングマシンについては簡単に説明したこともありますので、おわかりの方も多いでしょうが、簡単に言えば、プログラムを逐次的に処理する現代のコンピュータ(ノイマン型コンピュータ)の数理モデルと言えるでしょう。

さて、パーセプトロン。まず、上記Wikipediaの記事から引用しましょう。

”ローゼンブラットはこの形式ニューロンの考え方を基にしてパーセプトロンを開発した。 S層(感覚層、入力層)、A層(連合層、中間層)、R層(反応層、出力層)の3つの部分からなる。 S層とA層の間はランダムに接続されている。 S層には外部から信号が与えられる。A層はS層からの情報を元に反応する。R層はA層の答えに重みづけをして、多数決を行い、答えを出す。”

というわけです。ごく簡単な三層パーセプトロンの図を書くと以下の通り。



さて、この三層パーセプトロンのことを一般的にパーセプトロンと呼んだりするのでややこしいです。このWikipediaの項目にはには単純パーセプトロンとバックプロパゲーションを用いた多層パーセプトロンがありますが、このブログではバックプロパゲーションを用いない三層パーセプトロンについて述べることにします。

さて、パーセプトロンについての上記引用には少し続きがあり、引用しておきます。

”1970年頃、デビッド・マー[2]とジェームズ・アルブス[3]によって小脳はパーセプトロンであるという仮説があいついで提唱された。のちに神経生理学伊藤正男らの前庭動眼反射に関する研究[4]によって、平行繊維-プルキンエ細胞間のシナプスの長期抑圧(LTD, long-term depression)が見つかったことで、小脳パーセプトロン説は支持されている。”

つまり、日本人の伊藤正男というかたが、小脳がパーセプトロンであるという証拠を見つけたわけです。

伊藤正男先生は、いま、ノーベル化学賞を受賞された野依良治先生理事長を務める理化学研究所の同じくノーベル生理学・医学賞を取られた利根川進先生が現在センター長を務められている脳科学総合研究センターの前所長で同センター特別顧問のほか、東大の教授をされているようです。(参考:http://www.brain.riken.go.jp/shogi-project/lab/ito.html