Entry

今読んでいる本 - 『サポートベクターマシン入門』

2010年06月13日

SVM の理論的な背景についてちと知りたくなったので読んでいます。ま,実際,邦書で SVM について説明している書籍は本書くらいしかないので,興味がある向きはおそらく既に読んでると思うんですが。

サポートベクターマシン入門
ネロ クリスティアニーニ ジョン ショー‐テイラー
共立出版
売り上げランキング: 177476
おすすめ度の平均: 3.5
5 読みやすい良書
1 関係者とおもわしきレビューに惑わされないように
5 サポートベクターマシンの入門に最適
5 非常に良くまとめられ、かつ分かりやすい翻訳である。
5 訳注が豊富です

本書は,現在機械学習(machine learning)の手法として確固たる分野を築いている,SVM の理論と実装について初歩から説明している書籍です。かなりやさしいところから説明しているところもあって,数学的な表現にも割と抵抗なく触れられると思う。もちろん,線形代数と簡単な関数解析の知識は必要なんだけれども。

本書のほかには,『パターン認識と機械学習』(Pattern Recognition and Machine Learning; PRML)の下巻でも SVM を取り上げています。しかし,PRML の場合,SVM の説明は証明を省いた結果にとどまっているので,SVM そのものについて知りたい向きにとってはちと物足りない……というか,アイデアの脈絡が分からないと思うんですね。SVM そのものは事後確率を示さないことから,ベイズ理論によるパターン認識の説明からすると,少し外れるからかもしれないんですけれど,ともかくそんな感じ。

パターン認識と機械学習 下 - ベイズ理論による統計的予測
C. M. ビショップ
シュプリンガー・ジャパン株式会社
売り上げランキング: 79044

一方,本書はというと,小難しい数式をいったい何の役に立てようとしているのか,目的を明示している点で分かりやすい。例えば,以下の一節。「ほほう」と思ったところを,少し長いけれども引用します。

したがって,不幸にも,妥当数の属性といえども,特徴次元は d の増加に従い,瞬く間に計算不可能なものとなる.この種の特徴空間を使用するには,特徴空間への陰写像(implicit mapping)を用いた特別の方法を必要とする.これは,3.2節で導入する.

この例の場合,計算量的な問題だけが特徴空間の大きさに起因する問題ではなく,学習マシンの汎化にも困難さがある.学習マシンの汎化は,仮説の標準関数クラス表現の次元に,敏感なのである.

以上の例から明らかなのは,[1つ目: 自動化] 計算量問題と汎化問題の2面から,特徴選択は,学習プロセスの結果としてではなく,学習プロセスの部分として見られるべきことである.したがって,可能な限り自動化されるべきなのである.もっとも,求めようとするターゲット関数に対し,事前知識を用いた期待を反映させるというプロセスは,漠然としたものである.[2つ目: 汎化制御] また,学習の理論的モデルは,汎化を制御する何らかの方法を考慮すべきである.なぜなら,特徴集合が大きすぎれば,必然的に過学習となりうるからである.なお,研究が次元圧縮法に集中することが多いのはこのことを理由とする.しかしながら,汎化を深く理解すれば,次元圧縮せずとも,特徴を増加させるやり方で,可能となることを,4章で理解することになる.すると,無限次元特徴空間でさえ学習可能となる.以上をまとめると,「汎化問題」は,上記の理解を基礎とする学習マシンを使用して回避され,一方,「計算量問題」は,次節で述べる「陰写像」により回避される.

『サポートベクターマシン入門』(Nello Cristianini,John Shawe‐Taylor,大北 剛 訳,共立出版,2002年,pp38-39)

個人的に,この一節はとてもよかった。というのも,この一節によって何をしたいのかが明らかになったから。SVM というと,必ず特徴空間(feature space)に対する陰写像(と,そのためのカーネル関数構築)といった話が出てくるんですけれど,そもそも「なぜ特徴ベクトルを(陰に)特徴空間に変換する必要があるのか」という点については,既知として扱われているところがあったりします。こゆ一節があるだけでも,格段に証明とその後の展開が分かりやすくなります。

また,話が素朴な線形識別器の脈絡から連続した形で説明されている点もいい。こゆのは,説明する人の腕が暗に分かったりします。

最後に,Amazon のレビューについて少しレビューしておくと,1つ星をつけている人のレビューについては,その人の他書に対するレビューも読んだ方がいいと思います。類書に対するレビューがない(あるいは少ない)ことから,およそかじる程度の知識しか求めていないのではないか,と。このサイトでは何度も書いているけれども,経験的に「訳が悪い」といった評価をする向きは,自分の日本語読解力に対して疑いを持つべき人が多いと思うし,背景に対する理解も希薄なことが多いと思っています。もちろん,本当に訳が悪いこともあるんですけどね。あたしゃ割と原書とともに邦訳書を読むことが多いけれども,そゆ例は非常に稀です。少なくとも,こういう評価をする場合は,具体的にどの部分がどのようにいけないのか指摘する必要があると思います。

SVM については,今も研究が進められていて,IEEE TPAMI にもたびたびその成果が掲載されています。そうした成果を理解する入り口という意味でも,本書の内容は理解しておく必要があるんじゃないかと思います。

Trackback
Trackback URL:
Ads
About
Search This Site
Ads
Categories
Recent Entries
Log Archive
Syndicate This Site
Info.
クリエイティブ・コモンズ・ライセンス
Movable Type 3.36
Valid XHTML 1.1!
Valid CSS!
ブログタイムズ

© 2003-2012 AIAN