Entry

要求は作り手が勝手に決めちゃうぜ的発想について

2010年02月28日

風邪で1日寝ていたら夜眠れなくなってしまったので,手慰みに少し書いておきます。

GMail で使われている迷惑メール分類器の精度がことごとく悪くて,FreeBSD やらなんやらの ML がばしばし迷惑フィルタにかかっています。最初はちまちまと迷惑メールを解除していたんだけれども,もう面倒になって放置。GMail では,迷惑メールフィルタそのものを外すことはできないらしく,ホワイトリストを作ってくれってことになっています。しかし,ML に流れるメールには,まれに本当の迷惑メールも含まれるわけで,要するに「使えねーな……この機能」とか,ぶつぶつ……。

もちろん,GMail の迷惑メール識別器が使えない点については,ユーザの立場からすると,便益よりも不利益の方が大きければ使わなきゃいいだけだったりします。もっとも,ソフトウェアの作り手の立場として,Google が内部でこうしたサービスの品質を定量的に把握しているのか,さらには,利用者が求めるサービス品質との関係で,維持すべき水準のような基準を設けているのかについては,気になるところ。

例えば,迷惑メールの識別器と同じ仕組みでもって,病理を判定するソフトウェアを作るとします。レントゲン写真なりなんなりを入力にして,NN だか SVM だかベイズ識別器だかわからないけれども,そんなもんを使って「癌です」とか「癌じゃありません」とか分類する。迷惑メールに相当する判断が「癌です」な判定だったとして,これは病理判定システムとしての要求を満たす精度といえるんでしょうか。あたしがこのシステムを使う医者だったら,絶対使わない。「命に関わる問題」に対して,この精度は低すぎるからです。

喩えが分かりにくくなってしまったんだけれども,要するに,ソフトウェアに要求される機能なり品質なりには段階があるわけで,一般に,致命的な場面になればなるほど高い精度を伴う要求になるということです。もちろん,GMail の迷惑メール識別器に,病理判定システム並みの精度を求めているわけではありません。

あたしが疑問に思っているのは,Google がその内部で,迷惑メールフィルタの精度に対する評価と評価方法を定めているのか,ということ。迷惑フィルタだけじゃない。検索サービスが吐き出す検索結果について,「適切な」検索結果という指標を持っているのだろうか。この点,ウェブサービスのサービスレベルについては,通常 SLA(Service Level Agreement)が定められているけれども,現状では,システムの稼動に対する免責が主たるものになっています。

アルゴリズムが出した計算結果なんだから,利用者はだまってそれを受け入れろ,というのだったら本末転倒な話。ウェブサービスは,利用者を特定できず,概括的にしか要求を定義することができません。そうした中で,自分のとこのアルゴリズムがどの程度の性能を持っているのか,せめてその指標だけでも示すべきじゃないだろうか。

さらにひとつ話を挙げとくと,先日,とある分類問題について話していたところ,横から割り込んだ某氏が「分類問題だったら SVM 使えば一発じゃん」みたいな事を言っていて脱力してしまいました。話はもう少し複雑で,NN 派と SVM 派に分かれていたんですけれど,どちみち両者は問題の性質を何も知らないという……。問題の性質を知らないまま,「分類問題なら SVM(あるいは NN)」という発想がどこからくるのだろう。そこに見えるのは,目的を忘れたまま,安易に出来合いのロジックを部品として利用しようとする横着根性だったりする。

使えねーよこんなもん,と言われる経験がないと,品質に対する目が向きづらいもんだとも思う。目的に対して,そのアプリケーション(とロジック)は要求を満たすのか。基本的なことだけれども,自問したいところでもあったりします。

Trackback
Trackback URL:
Ads
About
Search This Site
Ads
Categories
Recent Entries
Log Archive
Syndicate This Site
Info.
クリエイティブ・コモンズ・ライセンス
Movable Type 3.36
Valid XHTML 1.1!
Valid CSS!
ブログタイムズ

© 2003-2012 AIAN