写真で丸つけをする機能は、どこまで当たるのか ― 手書き714か所で測りました
丸つけは、地味なわりに時間がかかります。diglabo には、解き終えたプリントを写真に撮ると自動で丸つけをする機能を入れてあります。ただ、使う側からすれば「機械が読み違えて、合っているのにバツになったらどうするのか」という不安のほうが先に立つと思います。
私は最初、機械なら人間より正確に数字を読めるものだと思っていました。測ってみると、そうではありませんでした。
どこまで当たるのかを実際に測ったので、その結果を書きます。
どうやって測ったか
子どもが実際に鉛筆で解いたプリントをスキャンし、手書きの答えが入った枠 714 か所について、人が目で読んだ答えを用意しました。これを正解の基準にします。
同じ 714 か所は何度でも測り直せるようにしてあります。読み取りのしくみを変えるたびに、前と同じものさしで比べられます。
結果
714 か所のうち、答えを読み違えた数です。下の 3 つは同じ条件で並べて測りました。
- 以前の方式(スマートフォンの中だけで処理):152 か所 / 21.29%
- 現在の方式(gemini-2.5-flash-lite):10 か所 / 1.40%
- gemini-2.5-flash:7 か所 / 0.98%
- gemini-3.5-flash-lite:6 か所 / 0.84%
以前は端末の中だけで読み取る方式を使っていました。通信しなくて済む代わりに、5 か所に 1 か所を読み違えていました。この数字を見て、外部のモデルに読ませる方式へ切り替えました。
いちばん精度の高いものを使っていないのは、読み取りにかかる費用が 3 倍以上、待ち時間が 1.7 倍になるためです。それで減るのは 714 か所のうち 4 か所です。無料で公開している以上、この差にその費用は出せないと判断しました。
機械が間違えるのは、人も迷う字だった
読み違えの中身を 1 つずつ数えると、現在の方式の 10 か所のうち 9 か所が「0 を 6 と読んだ」ものでした。残りは「4 を 9 と読んだ」ものです。
気になったので、実際の紙を出して見直しました。そこに書かれていた手書きの 0 は、どちらかと言えば 6 に見えました。 機械の判断が間違っていたのではなく、その字がそう読めた、ということです。
読み取りの精度を上げる話だと思っていたものが、途中から字の書き方の話になりました。
意外だったこと ― 機械の「自信」は当てにならない
読み取りのしくみは、1 か所ごとに「この読みにどれくらい自信があるか」を返します。自信の低い枠だけ人が見直せばよい、と考えていました。
実際に調べると、読み違えた箇所は 1 つ残らず「自信あり」と判定されていました。自信が低いと判定された枠は、1 つも出ませんでした。
自信度で怪しい枠を拾う、という設計は成り立ちません。だから diglabo では、読み取った答えをその場で直せるようにしてあります。機械の判断を最後には信じない前提で作っています。
まだ直せていないこと
正直に書きます。
何も書かれていない枠に、数字を作ってしまうことがあります。 消しゴムの跡や紙の影を数字として読んでしまう現象です。対策を入れて減らしましたが、ゼロにはなっていません。
筆算では、書き手によって行がずれます。 あまりのあるわり算やわり算(÷1けた)で、途中の「0」を書かずに飛ばす書き方をすると、あまりを書く行が上にずれます。機械は決まった位置を見にいくので、別の枠を読んでしまいます。書き方が 1 通りではないところに、まだ追いつけていません。
測り方についての注意
同じ画像を同じ設定でもう一度読ませても、239 か所のうち 4 か所(1.7%)は前回と違う読みになりました。生成モデルを使っている以上、これは避けられません。
つまり、この測り方で分かるのは「数か所ぶんより大きい差」だけです。上に並べた数字のうち、10 か所と 7 か所と 6 か所の差はこの幅に近いので、私はこれを「どれが優れている」とは読んでいません。読めるのは、152 か所から 10 か所へ落ちた、という部分だけです。
これから測ること
- 日本語以外のプリント(英語・中国語・韓国語・スペイン語)での読み取り
- 空欄をきちんと空欄と判定できているか
- 読み取った答えが、実際にどれくらい直されているか
いつまでに、とは書きません。測れたらここに書き足します。
丸つけは、合っているかどうかを確かめる作業です。機械が読み違えても、お子さんが間違えたことにはなりません。読み取りがおかしいときは、その場で直してください。そのために直せるようにしてあります。
この記事は、diglabo を作っている親が書いています。教育の専門家ではありません。教え方の一般的な部分は、日本の教科書や学習指導要領で確かめたうえで書いています。
diglabo のプリントは日本のカリキュラムに沿って作り、5つの言語で公開しています。くわしくはこちら