パーセプトロンにおける機械学習とその数学的基礎 その2

まず今回は、これまでのまとめという意味も込めて、いくつか言葉の定義から入りましょう。

これまで扱ってきたようなパーセプトロンのことを線形判別器、もしくはローゼンブラッドのパーセプトロンと呼びます。ローゼンブラッドさんが提案したからローゼンブラッドのパーセプトロンです。これは最初の記事（パーセプトロンについての基本知識）の真ん中辺りで説明していますのでそちらを見て下さい。単にパーセプトロン呼ぶときもあります。これからこのブログでは、特に断りを入れない限り、単にパーセプトロンと言うときは線形判別器と同じ意味で言っていると思って下さい。

次に、汎化学習という言葉を説明しましょう。前回の記事（パーセプトロンにおける機械学習とその数学的基礎　その1）で、教師あり学習を少し説明しましたが、教師あり学習でつかうデータをトレーニングデータと呼びます。そのデータでトレーニングされたパーセプトロンは、トレーニングデータにないようなデータについても、線形判別をしますよね。このようなことを、汎化学習という言い方をします。

さて、前回、超平面という言葉が出てきました。超平面について詳しく説明することはなかなか難しいのですが、とりあえず下図3のような形でベクトルwとbを定義します。

もう少し詳しく定義すると、超平面に対して垂直に矢印が出ますがこれを法線ベクトルと呼びwで表わすこととします。また、bは原点からの超平面からの距離を表わしています。

ベクトルとは、向きと大きさを同時に表わすもの、と考えて下さい。距離のように大きさだけを表わすものは、数学ではスカラーという言い方をします。

このように準備したとき、パーセプトロンの超平面は次の数式で表せます。

中学生で習う、

　y=ax+b

 という、一次方程式とよく似ていますね。それもそのはずで、線型代数というのは、このような一次方程式の解を求めることから発達した学問で、超平面の方程式は単に、

　y=ax+b

の変数xがn個ある方程式と考えてもらうと分かりやすいと思います。