Entry

小論文も SEO

2005年02月16日

小論文、コンピューターで自動採点 入試センターが試作」(アサヒ・コム

記事だと伝聞になってしまうので,詳しいことを知りたい向きは,研究者である石岡さんのサイトを直接参照にすると良いと思います。CGI を使ったシステムの実験プログラムも用意している模様です(参照:「Jess : 日本語小論文 評価採点システム」(石岡 恒憲))。一応,「論文リスト」もあったけれど,あたしは読んでもじぇんじぇん分かりませんでした。

大学のレポートや試験の場合,階段の上から答案用紙を投げて,遠くに落ちた順から「優」「良」「可」「不可」を決めていくという,ありそうななさそうな噂を聞くけれど,こうもあからさまにコンピュータ任せに採点されることになると,受験生も複雑な心境になってしまうんじゃないでしょうか。

今後は,受験生も Google のロボット検索よろしく,コンピュータのご機嫌をうかがいながら執筆するなんて時代が来るのかもしれません。

ともあれ,人が書いた文章を採点するプログラムというのは,興味があります。せっかくデモもあることだし,早速実験プログラムを使ってみました。あたしはしばらく小論文を書いていないので,他人さまのモノをお借りして……。

題材は,2月15日付の日経新聞「社説」,「京都議定書発効(下) 温暖化防止で日本モデルを世界に示せ」です。フォームに合うように,多少変更しました。具体的には,問題文を以下のように変更。

京都議定書発効に伴い,日本は温暖化防止についていかなる態度をとるべきか論ぜよ。

さらに,解答文中,通常の小論文で使わない「小見出し」(「環境組み込む経済に」,「税制活用の具体化を」)を削除してあります。結果はというと,

Jess 評価結果 (id=7)

修辞 3.6 ( 5 )
句(読点と読点の間、あるいは読点と句点の間)の長すぎる文があります。
漢字がやや必要以上に使われているように見受けられます。
連用形や接続助詞の句の並びの多い文が、幾つかあるように見受けられます。
語彙の多様性がやや不足しています。

論理 2.0 ( 2 )

内容 2.6 ( 3 )

分量過少による減点 0

最終得点 8.2 ( 10 )

これは高得点が出ました。まぁ,Jess は,全国紙の社説を2年分,コラムを2000本使って「学習」しているそうなので,新聞記事で高得点が出るのは,当たり前っちゃ当たり前なんですけどね。

一方,人間であるあたしが読んでみたところ,アメリカの問題や途上国と先進国の問題といった,「京都議定書」独自の問題点について言及していないことから,「問題点の拾い方」の部分で不完全な印象がありました。排出権取引に関する議論はあるものの,これだけだと「京都議定書発効に伴」って論じている印象は薄くなってしまいます。設問の背景を問うている問題の場合,Jess では対応できないみたいですね。みみっちいことですが。

なお,日経新聞の名誉のために言っておくと,この社説は2月13日付の社説「京都議定書発効(上)」の続きもので,外交的な話はここで言及されているんです。ここでの実験は,あくまでも上記設問に対して解答を与えた場合の結果であって,日経新聞に不備があるとは思いません。

また,某大学文学部の小論文では,世界地図を逆さまにした図だけを見せて,「これについて論ぜよ」といった問題が出題されたことがあります。こういった文章を設問にしない問題も,ここで使われるシステムには乗らなそうですね……。世界地図は極端にしても,グラフや図表を見せて小論文を書かせるなんて問題は,あってもいいし実際にもあるんだと思います。人が見てくれる試験を作る大学には,是非とも機械で測れない設問を工夫してもらいたいものです。

逆に,機械で測る大学ばかりが蔓延ると,「小論文を書くために小論文を書く」なんて考え方が現れそうで怖いところがあります。人が何かを書くときってのは,とりあえず表現したいことが先立つはずですから。少子化の時代なんだし,受験生が必死に準備して一生懸命書いた小論文くらい,丁寧に読んでやってもいいんじゃないでしょうか……。

(追記)

ちなみに,やる人がいそうなので,先回りしてこの文章を Jess にかけてみました。問題文は以下の通り。

小論文をコンピューターで自動採点することについて論ぜよ。

結果はというと,

Jess 評価結果 (id=58)

修辞 4.4 ( 5 )
長すぎる文があります。
連用形や接続助詞の句の並びの多い文が、幾つかあるように見受けられます。

論理 2.0 ( 2 )

内容 0.6 ( 3 )
質問文との関係が希薄であるように見受けられます。

分量過少による減点 0

最終得点 7.0 ( 10 )

こんな文でも,一応70点……。案外ちょろいのかもしれません。「内容」だけだと落第ですが……。

Trackback
Trackback URL:
Ads
About
Search This Site
Ads
Categories
Recent Entries
Log Archive
Syndicate This Site
Info.
クリエイティブ・コモンズ・ライセンス
Movable Type 3.36
Valid XHTML 1.1!
Valid CSS!
ブログタイムズ

© 2003-2012 AIAN