¿Cuánto acierta la corrección por foto? Lo medí en 714 respuestas a mano
Corregir es una tarea menor que, sin embargo, consume bastante tiempo. diglabo tiene una función que corrige automáticamente una ficha terminada cuando le haces una foto. Aun así, quien la usa no piensa primero "qué cómodo", sino "¿y si la máquina lee mal y marca como error algo que estaba bien?".
Yo daba por hecho que una máquina leería los números con más precisión que una persona. Al medirlo, resultó que no.
Medí cuánto acierta en realidad, así que aquí van los resultados.
Cómo lo medí
Escaneé fichas que un niño había resuelto realmente a lápiz y, para 714 casillas con una respuesta escrita a mano, anoté lo que leía una persona con sus propios ojos. Eso es la referencia.
Esas mismas 714 casillas se pueden volver a medir las veces que haga falta. Cada vez que cambio la forma de leer, puedo compararla con la misma vara de medir.
Resultados
De las 714 casillas, estas son las que se leyeron mal. Las tres últimas se midieron en las mismas condiciones.
- El método anterior (procesado solo dentro del móvil): 152 casillas / 21,29 %
- El método actual (gemini-2.5-flash-lite): 10 casillas / 1,40 %
- gemini-2.5-flash: 7 casillas / 0,98 %
- gemini-3.5-flash-lite: 6 casillas / 0,84 %
Antes la lectura se hacía entera dentro del dispositivo. No hacía falta conexión, pero se equivocaba en una de cada cinco casillas. Ese número fue el motivo de pasar a que la lectura la hiciera un modelo externo.
No uso el más preciso porque cuesta más del triple y tarda 1,7 veces más. Lo que se gana con eso son 4 casillas de 714. Como diglabo es gratuito, decidí que esa diferencia no justificaba el gasto.
Donde falla la máquina es donde también dudan las personas
Al contar una por una las lecturas erróneas, 9 de los 10 fallos del método actual fueron "leer un 0 como un 6". El restante fue "leer un 4 como un 9".
Me quedé con la duda, así que saqué el papel original y lo miré otra vez. Aquel 0 escrito a mano, si acaso, parecía un 6. No es que la máquina se equivocara: es que ese trazo se leía así.
Lo que yo creía un problema de precisión de lectura se convirtió, a mitad de camino, en un problema de caligrafía.
Lo inesperado: la "confianza" de la máquina no sirve
La lectura devuelve, casilla por casilla, cuánta confianza tiene en lo que ha leído. Yo pensaba que bastaría con que una persona revisara solo las casillas de baja confianza.
Al comprobarlo, todas y cada una de las casillas mal leídas estaban marcadas como "con confianza". No salió ni una sola casilla marcada con confianza baja.
Un diseño que seleccione las casillas dudosas por su confianza no se sostiene. Por eso en diglabo puedes corregir la lectura ahí mismo. Está hecho partiendo de que el juicio de la máquina no es la última palabra.
Lo que aún no he resuelto
Lo escribo tal cual.
A veces se inventa una cifra en una casilla donde no había nada escrito. Lee como número la marca de una goma de borrar o una sombra del papel. Con las medidas que tomé ha bajado, pero no a cero.
En las operaciones en columna, las filas se desplazan según quién escriba. En División con residuo y División (entre 1 cifra), si tu hijo se salta el "0" intermedio, el residuo acaba una fila más arriba. La máquina mira siempre la misma posición, así que lee otra casilla. Donde hay más de una forma correcta de escribir, todavía no he llegado.
Una advertencia sobre la medición
Al leer la misma imagen otra vez con la misma configuración, 4 casillas de 239 (1,7 %) dieron un resultado distinto al de la vez anterior. Usando un modelo generativo, esto es inevitable.
Es decir, esta medición solo distingue diferencias mayores que unas pocas casillas. Entre los números de arriba, las distancias entre 10, 7 y 6 están cerca de ese margen, así que no las leo como "este es mejor". Lo que sí se lee es la caída de 152 casillas a 10.
Lo que quiero medir a continuación
- La lectura en fichas en idiomas distintos del japonés (inglés, chino, coreano, español)
- Si las casillas en blanco se detectan correctamente como vacías
- Con qué frecuencia se corrigen realmente las lecturas
No pongo fecha. Cuando lo haya medido, lo añadiré aquí.
Corregir es comprobar si algo está bien. Que la máquina lea mal no significa que tu hijo se haya equivocado. Cuando una lectura no cuadre, corrígela en el momento: para eso está.
Este artículo lo escribe un padre que desarrolla diglabo. No soy docente ni especialista en educación. La parte general se basa en cómo se enseña este tema en las escuelas primarias de Japón, contrastada con las directrices curriculares oficiales de Japón.
Las fichas de diglabo siguen el currículo japonés. Qué significa esto si vives fuera de Japón