英検のライティングAI添削だけど、精度どうなんだろうね?


Englishbuds 管理人 MommyKayo です。


英検のライティングが「AI採点」だということ、実はほとんど知られていない気がします。

私がバズラーの方に話しても、大抵の方が驚かれます。
バズラーと言えばおうち英語情報魔なのに…

「人が採点してると思ってた💦」という反応が本当に多いです。

でもこれは都市伝説でも何でもない事実で、英検の採点業務の一部にはAIを活用していると英検協会が公言しています。

「どこに、どれくらい」使われているのかは一切公開されていませんが
受験者は毎回ものすごい数ですし、答案も膨大、
しかも短期間で返却しないといけない、
その前提を考えると、ライティングを人が1枚1枚読んで採点するというのはほぼ不可能です。


実務としても、AIがメインで見て、例外的なものだけ人がチェックする形でないと回らないだろうな……と感じます。


これはあくまで私の推測ですが、教育業界のスケール感を考えると、ごく自然な流れだと思っています。

そんな流れも反映して、
「英検ライティングAI採点」と表示されたアプリや教材が出てきていますよね。

英検協会が監修した“公式採点”というわけではなく
あくまで「英検っぽい基準で判定しているツール」であって、
本番の採点と完全に一致するものではないようです。



私は普段の仕事ではAIを猛烈に使っています。

AIのおかげで今の仕事量がさばけております。
本当に助かってます✨


でも、添削だけはまったく信用していません。


私も人の子なので、楽ができるところは徹底的に楽がしたい、
そんなわけで物は試しと

Jolly Grammar の宿題をAIに見せたことがありますが、

・正解を「間違い」と言う
・間違いを堂々と「正しい」と説明する
・子どもが書いた自然な表現を受け止められない
・指導の意図をまるで理解していない

……こういうことが普通に起こります。

AIの活用方法はプロンプトにあり!ということは理解しているので
プロンプトを頑張って考えて指示してもまるでダメ男です。

「オメー、使い物になんねぇな!」とAI相手に暴言を吐く展開に…

チャピ男からしたら

My チャピ男

人に仕事やらしといて何言ってやがるんだ。
オメーがやれよ!
だいたい指示文が悪いんだわ!
人のせいにすんなや!

でしょうね。。。

私のAIならそのうち言い返してきそうだwww


しかし、何事も一回では諦めないしつこい子の私、
息子が書いたライティングをAIに添削させてみたことがあります。

しかし、やはり結果は同じ。

同じような違和感があります。

息子の答案を元に模範解答の作成をお願いしても
トピックの読み違い、理由が不自然、単語数かせぎで内容が薄くなる、
配点の読みが極端、そんな高度な文ウチの息子には書けねーよ、という現実離れした提案などなど。

たまに語数もちゃんと数えられてないことがあって私、激ギレ。

「AIってそういうことが得意なんちゃうんけ!」とまた暴言。


まぁ、私の指示の仕方がショボイのが原因かもしれませんが、
そんなに英検協会のAI添削だけ技術革新がバリバリ進んでいるとは思えない。

きっと英検協会の人も「使い物になんねぇな!」とキレているはず。
(それはあかんやろ…)



まぁ、冗談はさておき、今の私のスタンスだと
「AI採点は方向性を見るための道具」としては使えるけれど、
「この点数なら大丈夫」という信頼性はありません。

そして、AIが高く評価しがちな英文には特徴があると感じています。

安全でシンプルで、文法・スペルミスが少ないもの。

いわゆる“中学生らしい文章”や“素直な意見”は、AI相手だと高得点が出やすいです。

逆に、大人っぽい理由や少し複雑な構文、論理性を強く出した英作文は、
AIに評価されにくい傾向があるような…


つまり、AIに好かれる作文と、人間に評価される作文が同じとは限らないのです。

ということで私は、英作文千本ノックでもライティング添削していても「満点を取りに行こう」という指導はしていません。


背景にある採点の仕組みが公開されていない以上、
満点を狙うための精密な作戦は立てられないからです。

読む側(あるいはAI)の好みやクセでブレる部分もありますし、、、

私が提唱しているのは「8割ラインで安定して合格できる答案」。

・読みやすさ
・理由2つの安定感
・無理のない語彙
・自然な論理の流れ

ここが押さえられていれば、一定の評価が出ると感じています。


AIで採点しているならば、AIに

「これがいいパターンだよ」

という正解を明示、指示しているはず。


おそらくそのパターンは英検協会が模範解答として提示しているものでしょう。
(違ったら腹立つw 年齢のせいかキレやすいババアの私…)


それを前提にするならば、模範解答のパターンを踏襲するのがAIに評価されやすい解答になると考えます。



そして人の機微を理解しているとは言い難く、杓子定規な評価を押し付けてくる可能性があるAI相手に完璧な答案を作成する努力をするのはなかなか難しいぞ、と。



そうであるならば、ライティングで満点を狙うという戦略を取るのではなくて
安定した8割ライティング答案+リーディングでしっかり点を取る方が、結果として最も合格に近いと思っています。

AIは便利です。
でも、できることは限られていると、ヘビーユーザーの私でも思っています。

・スペルの指摘
・語数カウント(たまに怪しいけど…)
・構成の大まかなズレ
・ざっくりレベル感
これは指摘できるかもしれない。

でもおうち英語っ子の英文の添削において大事にしなければならないのは、

子どもの意図、
内容の質、
年齢相応の自然さ

なのではないかなと思っております。

これはAIには判断できません。


知の塊のAIに私が一つだけ勝てるところがあるとしたら
この人間らしいジャッジができるところ?
(当たり前やんw そこで負けたらオマエ何なん?という話…)


なんかよくわからない結末になった気もしますがw

まぁ、そういうことです。

皆さんも人間と言うことで、人間らしくアバウトに解釈しておいてください💛




応援お願いします♪

にほんブログ村 英語ブログ 親子英語へ
にほんブログ村