사진으로 채점하는 기능은 얼마나 맞을까 ― 손글씨 714곳을 측정했습니다
채점은 대단한 일이 아닌데도 시간이 꽤 걸립니다. diglabo에는 다 푼 학습지를 사진으로 찍으면 자동으로 채점해 주는 기능을 넣어 두었습니다. 다만 쓰는 쪽에서 보면 '편리하다'보다 '기계가 잘못 읽어서, 맞았는데 틀린 것으로 표시되면 어쩌지'라는 걱정이 먼저 들 것 같습니다.
저는 처음에 기계라면 사람보다 숫자를 정확히 읽을 것이라고 생각했습니다. 재어 보니 그렇지 않았습니다.
어디까지 맞는지 실제로 측정했으므로 그 결과를 적습니다.
어떻게 측정했나
아이가 실제로 연필로 푼 학습지를 스캔하고, 손글씨 답이 들어 있는 칸 714곳에 대해 사람이 눈으로 읽은 답을 준비했습니다. 이것을 정답의 기준으로 삼습니다.
같은 714곳은 몇 번이든 다시 측정할 수 있게 해 두었습니다. 읽는 방식을 바꿀 때마다 같은 잣대로 이전과 비교할 수 있습니다.
결과
714곳 가운데 답을 잘못 읽은 개수입니다. 아래 세 가지는 같은 조건으로 나란히 측정했습니다.
- 이전 방식(스마트폰 안에서만 처리): 152곳 / 21.29%
- 현재 방식(gemini-2.5-flash-lite): 10곳 / 1.40%
- gemini-2.5-flash: 7곳 / 0.98%
- gemini-3.5-flash-lite: 6곳 / 0.84%
예전에는 기기 안에서만 읽는 방식을 썼습니다. 통신이 필요 없는 대신 5곳에 1곳을 잘못 읽었습니다. 이 숫자를 보고 외부 모델에 읽히는 방식으로 바꿨습니다.
가장 정확한 것을 쓰지 않는 이유는, 읽는 데 드는 비용이 3배 이상이고 기다리는 시간이 1.7배가 되기 때문입니다. 그렇게 해서 줄어드는 것은 714곳 중 4곳입니다. 무료로 공개하고 있는 이상, 그 차이에 그만큼의 비용은 쓸 수 없다고 판단했습니다.
기계가 틀리는 곳은 사람도 망설이는 글씨였다
잘못 읽은 내용을 하나씩 세어 보니, 현재 방식의 10곳 가운데 9곳이 '0을 6으로 읽은' 것이었습니다. 나머지는 '4를 9로 읽은' 것이었습니다.
마음에 걸려서 실제 종이를 꺼내 다시 봤습니다. 거기에 쓰여 있던 손글씨 0은, 굳이 말하자면 6으로 보였습니다. 기계의 판단이 틀린 것이 아니라, 그 글씨가 그렇게 읽혔던 것입니다.
읽기 정확도를 올리는 이야기라고 생각했던 것이, 도중부터 글씨 쓰는 방식의 이야기가 되었습니다.
뜻밖이었던 것 ― 기계의 '자신감'은 믿을 수 없다
읽는 구조는 한 칸마다 '이 읽기에 얼마나 자신이 있는지'를 함께 돌려줍니다. 자신이 낮은 칸만 사람이 다시 보면 되겠다고 생각했습니다.
실제로 확인해 보니, 잘못 읽은 곳은 하나도 빠짐없이 '자신 있음'으로 판정되어 있었습니다. 자신이 낮다고 판정된 칸은 한 곳도 나오지 않았습니다.
자신감으로 의심스러운 칸을 골라낸다는 설계는 성립하지 않습니다. 그래서 diglabo에서는 읽어 낸 답을 그 자리에서 고칠 수 있게 해 두었습니다. 기계의 판단을 마지막에는 믿지 않는다는 전제로 만들고 있습니다.
아직 고치지 못한 것
솔직하게 적습니다.
아무것도 쓰여 있지 않은 칸에 숫자를 만들어 내는 경우가 있습니다. 지우개 자국이나 종이의 그림자를 숫자로 읽어 버리는 현상입니다. 대책을 넣어 줄였지만 0이 되지는 않았습니다.
세로셈에서는 쓰는 사람에 따라 줄이 어긋납니다. 나머지가 있는 나눗셈이나 나눗셈(÷1자리 수)에서, 중간의 '0'을 쓰지 않고 건너뛰는 방식으로 쓰면 나머지를 쓰는 줄이 한 줄 위로 올라갑니다. 기계는 정해진 위치를 보러 가므로 다른 칸을 읽어 버립니다. 쓰는 방식이 한 가지가 아닌 지점에는 아직 따라가지 못했습니다.
측정 방법에 대한 주의
같은 이미지를 같은 설정으로 한 번 더 읽혀도, 239곳 가운데 4곳(1.7%)은 지난번과 다른 읽기가 나왔습니다. 생성 모델을 쓰는 이상 이것은 피할 수 없습니다.
즉 이 측정법으로 알 수 있는 것은 '몇 곳보다 큰 차이'뿐입니다. 위에 나열한 숫자 가운데 10곳과 7곳과 6곳의 차이는 이 폭에 가까우므로, 저는 이것을 '어느 쪽이 더 낫다'고 읽지 않습니다. 읽을 수 있는 것은 152곳에서 10곳으로 내려온 부분뿐입니다.
앞으로 측정할 것
- 일본어 이외의 학습지(영어·중국어·한국어·스페인어)에서의 읽기
- 빈칸을 제대로 빈칸으로 판정하고 있는지
- 읽어 낸 답이 실제로 얼마나 수정되고 있는지
언제까지라고는 쓰지 않겠습니다. 측정되면 여기에 덧붙이겠습니다.
채점은 맞았는지 아닌지를 확인하는 작업입니다. 기계가 잘못 읽어도 아이가 틀린 것이 되지는 않습니다. 읽기가 이상할 때는 그 자리에서 고쳐 주세요. 그러라고 고칠 수 있게 해 두었습니다.
이 글은 diglabo를 만들고 있는 학부모가 씁니다. 저는 교사도 교육 전문가도 아닙니다. 일반적인 지도 방법은 일본 초등학교에서 가르치는 내용과 학습지도요령을 확인해 정리했습니다.
diglabo의 학습지는 일본 교육과정을 따릅니다. 일본 밖에서 쓴다면 어떤 의미인지