小論文自動採点システムの開発 108
「理想の論文作成システム」で対抗したり 部門より
sillywalk 曰く、 "asahi.comの記事によれば、独立行政法人大学入試センターの研究開発部では現在、入試問題の小論文を自動採点するシステム「Jess」(Japanese essay scoring system)の開発に取り組んでいるそうです。米国ビジネススクールの小論文試験で利用されている「e-rater」を参考にしているといい、さらに日本語独特の言い回しを解釈したり要約するなどの研究が続いています。"(続く…)
"試作システムでは、予め全国紙2年分の社説やコラムなど約2,000本を学習させることで、かな漢字の比率、言葉の多様さ、受動態の割合、接続詞の使い方などの「理想の論文」とされる統計分布を算出し、それをもとに文章の形式(5点)、論理構成(2点)、問題文に則した内容か(3点)といった3つの観点(計10点)から採点します。
開発の中心となっている石岡恒憲助教授らによれば、実際の入社試験などで書かれた小論文や作文をJessならびに国語教師ら専門家が採点し、両者の結果を比較したところ、テーマが客観的でかつやや長めの文章ならば両者に大きな開きは見られなかったといいます。今後さらに開発を進め、最新の科学技術用語などにも対応できるよう学習範囲を広げるそうです。
従来、大学入試の小論文試験は採点に多くの時間と労力が必要とされ、また採点者によるバラつきも見られたことから、導入を見送る大学が多かったといいます。しかしJessの普及によって小論文試験を課す大学が今後増えることも予想され、さらに受験対策用として同システムが大学入試センターのサイトで利用できたり、あるいはソフトがダウンロードできるようになるのかも知れません。大学入試が今後どのように変わるのか興味深いところです。"
ますます考えるものが無くなる (スコア:3, すばらしい洞察)
それに対策を講じた小論文パターンとか出来そうだな。
で、学生はそれを「憶えて」試験に挑むと・・・
記憶力重視の試験にさらに輪をかけるわけですな。
こうなると考えるための小論文の意味をなしてない気がするんだが。
#手で採点するのが面倒、というのなら小論文自体やめればいいと思う
Re:ますます考えるものが無くなる (スコア:2, 参考になる)
実際テストサイトのサンプル作文を文脈の考慮抜きにいい加減に書き直しても(例えばある語を関係ない別の語で置き換えるとか)点数は変わりません。これを実際に運用するのは相当問題があるように思いますが、e-rater はそれを補うのに結局は人手に頼っているとか聞いたのでなんだかなぁ、と思いました。
Re:ますます考えるものが無くなる (スコア:1, 興味深い)
これには全く同意なんだが、
論文には明確な論旨が必要。しかも前提、考察、結論が「矛盾なく」語られている必要がある。
そういう意味ではプログラミング言語にも似たところがあるので
わりとよいものができるんじゃないかと。
パースできないような文章なら当然「落第」としてもよいわけだし、
入試問題としての小論文ならキーワードとかも出題側で指定できるわけだし。
塾講師やってた経験から言わせてもらうと、
論文を小中学校で言う「作文」といっしょくたにしてる人がいる。
そういう子に限ってロクなもん書いてこない。
論文は自然言語で書かれた式みたいなもんなんだ、とはやいとこ飲み込ますために
この事例は効きそうだなあ。
Re:ますます考えるものが無くなる (スコア:3, 興味深い)
採点者を複数にすることは小論文の試験で良くありますから、「複数の採点者のうちの一人」がJessというのは、決して悪い案ではないかもしれません。
でもそれだと、どれほど労力が低減されるのかイマイチわかりませんが……。
Nullius addictus iurare in verba magistri
機械に対応した対策 (スコア:1)
屍体メモ [windy.cx]
Re:機械に対応した対策 (スコア:1)
たぶん意味の通る論理展開ができるということだと思うので、
機械対策ができるなら、それもそれで価値があると思う。
Re:機械に対応した対策 (スコア:1)
Re:機械に対応した対策 (スコア:1)
元が英語ベースのシステムを参考にしているだけに, 英文直訳体の方が良い点が取れちゃいそう. 例えば主語や代名詞を全て明示した文とか.
下手すりゃ「てにをは」を省いて単語をスペース区切りで英語と同じ順番にならべた方が点が良かったりして. 「これはペンです.」がダメで「これ です ペン.」がOKだったりしたら笑えるんだけどな.
# 「私はウナギ」なのでID
読者を意識する訓練 (スコア:1, すばらしい洞察)
客観性皆無で主題と結論がリンクしない
「自称小論文」を読まされる状況を考えると、
機械も含めた「読み手」に配慮した文章の書き方をメインに学ぶ事は、
大変有意義な事ではないかと思います。
Re:ますます考えるものが無くなる (スコア:1)
Re:ますます考えるものが無くなる (スコア:2, おもしろおかしい)
「自動採点システムJess用の小論文を作成する」という機能を
作ってもらうというのがいいかも。
Re:ますます考えるものが無くなる (スコア:2, 興味深い)
ひとつ選んでコピペで増植させただけでも、結構高得点出てしまうのですが。
Fの問題文を選んで、
を5回ぐらいくりかえしても、8点ぐらい出ましたよ。
ちょっとオフトピかもしれませんが (スコア:1)
解答: 功芳くん [cside2.jp]
Re:ますます考えるものが無くなる (スコア:1)
Postmodernism Generator (スコア:1, 参考になる)
Re:ますます考えるものが無くなる (スコア:1)
つまり十分な数の小論文を人間の採点者とこのシステムに与えて、
どちらで採点されたか見分けが付かないようになったら実働ＯＫとか
あぁ、「ン」が消えてるんですよ。「ビーフン・カレー」ね。
Re:ますます考えるものが無くなる (スコア:1)
あれでしょ？ (スコア:2, おもしろおかしい)
飛ばして、二眼カメラが飛距離を測る。
飛距離を点数に換算。
Re:あれでしょ？ (スコア:1)
もっと確実かつ簡単に (スコア:1)
小論文用紙の重量を電子天秤で計測して換算.
# 問題は「おいしいカレーの作り方」の評価方法だな
Re:もっと確実かつ簡単に (スコア:1)
で、高校の先生が言ってたことを思い出した。
その先生が京都で大学生をやっていたころ、その先生の担任である
教授様がそんな採点方法をとったとかとらなかったとか。
うちわで扇いで飛ばすそうな。
鉛筆で文字がいっぱい書いてあれば重くなって飛ぶ距離に差が出るとか
なんとか。
今となっては真偽の程は確かめにくいですが。
＃聞いたのはかれこれ２４年前で先生が大学生だったのは３０年くらい前
＃あ、その先生から年賀状が来てたな。
＃来年聞いてみようかな。
人事を半分尽くして天命を待つ
リンクを間違えました… (スコア:1)
訂正して頂ければ幸いです＞編集者様
And now for something completely different...
全国紙って言うけど (スコア:1)
Re:全国紙って言うけど (スコア:3, 参考になる)
＃目的外使用か？
Re:全国紙って言うけど (スコア:4, おもしろおかしい)
- Lupinoid -
Re:全国紙って言うけど (スコア:1)
朝日とか読売の色々な記事(なるべく同じ内容のもの）を採点させてくらべてみたりして...
まぁ採点結果はどの新聞社も似たりよったり(だいたい5-7点くらい）だけど、総じて「漢字が多すぎ」コメントが出ることが多い気がします。
しばらく暇つぶし（そんな暇がどこにある？）に使えそうですね。
Re:全国紙って言うけど (スコア:3, 興味深い)
他の人の例と比較 (スコア:1)
屍体メモ [windy.cx]
自動翻訳で論理的に！？ (スコア:1)
屍体メモ [windy.cx]
Re:自動翻訳で論理的に！？ (スコア:1)
Re:全国紙って言うけど (スコア:1)
私が小学生のときは、内容は難しいけれど、格調高い文体で論旨のはっきりしたことを書いてたように思ったけれど、
最近のは、その辺の記事の要約や聞きかじりの話をポンポンと置いてまとめをチョロチョロって感じのばっかりですね。
＃ それでも朝日を取り続けてるのは懸賞クイズが葉書じゃなくてメールで応募できるから
＃ 精神のバランスは「新潮」と「文春」の立ち読みで
あぁ、「ン」が消えてるんですよ。「ビーフン・カレー」ね。
Re:全国紙って言うけど (スコア:1)
残念ながら別の新聞です。ここ最近は読んでないんだけど、3回に1回位はとんでもないぶっ飛びようなのでした。（天声人語の深代惇郎クラスは無理でも、せめてまともに読めるをって気になりますぜ)
Re:全国紙って言うけど (スコア:1)
> はっきりしたことを書いてたように思ったけれど、
昔の天声人語と今のを比較したわけではないので何ともいえませんが、
実際のところ、booさん自身が変わっただけで天声人語は何も変わって
いないんじゃ?
Re:全国紙って言うけど (スコア:1)
あれ、でもそれじゃぁ後頭部の変化が説明できないなぁ…
あぁ、「ン」が消えてるんですよ。「ビーフン・カレー」ね。
なんのために小論文試験をするのか？ (スコア:1)
論文については判断不能という事ですね。
そんな小論文試験は止めてしまえに一票。
--- de FTNS.
Re:なんのために小論文試験をするのか？ (スコア:1, すばらしい洞察)
Re:なんのために小論文試験をするのか？ (スコア:1, 参考になる)
そういうのは作文と呼ぶ、に一票。
論文は「読ませる」もんとちがうので。
多くの人に一つの論を「伝える」ためのもんなので。
こういうのは文章自体できるだけ定型なほうがええのよ。
引用とかもしやすくなるし。
大抵の受験者はこれができずに落ちる。
凝った表現、比喩、言い回しなんてむしろ邪魔なことが分かってないんじゃ
ユニーク以前に落第でしょ。
さすがに着眼、論旨、結論くらいは読み取って、というのが前提になるけどね。
Re:なんのために小論文試験をするのか？ (スコア:1)
---- 6809
真面目に書き込んだものが (スコア:1, おもしろおかしい)
で、誰が打ち込むの？ (スコア:1)
のですが、OCRは受験生の汗と涙にまみれた手書き答案を読み取れるほど
発達したのでしょうか？ 打ち込みを人手でやるとコスト削減にはあまり
貢献しないような気もします。採点担当者の労力は減るからいいのかな。
将来はOCRとJessのフィルタを通過した答案だけが採点対象になり、字
が汚い人は門前払いになったりして。それよりは小論文試験でワープロを
使うようになる方が現実的かな。
読書感想文は１行読めば書ける！ (スコア:1)
質問文：川端康成の『雪国』を読んで感想を述べよ
結果：質問文との関係が希薄であるように見受けられます。
的確な指摘です．(^^;;
小論文作成システム (スコア:1)
・得られたウェブページを適当に読み込む
・『長くて難し』く『漢字の使用』が適切な語を、『語彙の多様性』が不足しない程度に取り出す
・適切な文の長さで語意を接続する
・適切な文章量になるまで繰り返す
『小論文採点システムで高得点が取れる小論文作成システムを作る（或いは探す）技術』をテストしているのか、なるほど。
Re:読書感想文は１行読めば書ける！ (スコア:1)
ネタ
適度に漢字を使って、適度に長くて難しい語を使う。 (スコア:1)
「長くて難しい語が少ないように見受けられます。 」
つまり、適度に感じを使え、と。そして適度に長くて難しい語も使え、と。そりゃそうかもしれんが「適度」ってのはそんなに簡単に決められるものかなぁ。むしろ論理展開の矛盾とか、表記の揺れとか、そっちのほうが気になる。
屍体メモ [windy.cx]
Re:適度に漢字を使って、適度に長くて難しい語を使う (スコア:2, 興味深い)
> 「長くて難しい語が少ないように見受けられます。 」
これをみてソカール事件 [tohoku.ac.jp]を思い出しました。
足きりに使うのかな？ (スコア:1)
ただ、読むに耐えない論文を排除することはできるので、いわゆる「足きり」には使えるんじゃないでしょうか。
しもべは投稿を求める →スッポン放送局がくいつく →バンブラの新作が発売される
我思うに… (スコア:1, 興味深い)
小論文の文の採点ではないかと思うのだが…
Re:我思うに… (スコア:1, すばらしい洞察)
ていうか、勘違いしている人、大杉。
これは「内容をつかむため」ではなく、
まともな構成の文章になっているかを判別する際の
機械化なんだから。
きちんとした文章を書けないやつは、そこでフィルタされて
人間が読んでくれる事もなくなるってだけ。
（元来の、英語用のソフトはそういうものなんだけど、
今回発表された日本語用のものが、その意図の通りに動くのかは不明）。
Re:我思うに… (スコア:1)
主語と述語の対応とか用法の誤りとか、誤字脱字なんかをチェックして、持ち点から減点のみを行うと言うのはどうでしょう。
足切りラインを設定して「とりあえず正しい日本語で書かれた小論文」だけが次に通る。その先は人間が読んで選定。
コンピュータの得意技のひとつであるバッチ処理を活かすなら、なるべく規則的な処理に終始させるほうが開発・保守コスト的にも良い気がするんだが……。
おっす、おら悟空 (スコア:1)
屍体メモ [windy.cx]