Dos colas de revisión.
Solo una de ellas mide algo.
Todos los proveedores dicen que una persona revisa una parte del resultado. Casi ninguno dice cómo se eligió esa parte, y esa elección es la que decide si obtienes un número o una promesa.
9 de septiembre de 20265 min de lectura
Lo razonable de hacer es lo incorrecto para medir
Tienes un sistema evaluando llamadas contra una rúbrica y un revisor con tiempo para una fracción de ellas. Lo obvio es mandarle las llamadas de las que el sistema está menos seguro: las transcripciones turbias, las variables que no pudo determinar, las llamadas donde la separación de hablantes se vio floja.
Eso está bien hecho y hay que hacerlo. Concentra el tiempo del revisor donde de verdad viven los errores, así que el archivo que entregas es mediblemente mejor que la salida cruda.
Lo que no puede hacer es decirte qué tan preciso es el sistema. Seleccionaste a propósito los casos más difíciles. La tasa de error que observas ahí es la de los casos difíciles, no la del trabajo. Repórtala como precisión y estarás subestimando tu propio sistema — y si lo corriges a ojo, ya no estás reportando una medición.
Por eso son dos colas, y hacen trabajos distintos
Muestra aleatoria
Para medir
Se extrae sin mirar confianza, dificultad ni ninguna otra cosa. Si el revisor elige qué llamadas revisar, o el sistema elige por él, el estimado queda sesgado y deja de ser un número defendible.
Cola dirigida por confianza
Para corregir
Todo lo que el sistema marcó: transcripción de baja confianza, variables no determinables, diarización deficiente. Mejora el entregable y no sirve para calcular precisión.
Se corren las dos, se reportan por separado y no se promedian jamás. Mezclarlas no es un error de redondeo: destruye la única cifra del proceso que un comprador puede verificar.
Qué tan grande tiene que ser la muestra de medición
Más chica de lo que la gente espera y —la parte que sorprende a todos— no crece con tu volumen.
Unas 400 llamadas extraídas al azar dan un margen de aproximadamente ±3% al 95% de confianza. Son las mismas 400 proceses 5.000 grabaciones al mes o 40.000, porque la precisión de una proporción depende del tamaño de la muestra, no del tamaño de la población de la que salió.
La consecuencia práctica es que una muestra de medición se especifica como número absoluto, no como porcentaje del volumen. Un 2% fijo suena riguroso y simplemente sale más caro a escala sin ganar certeza: estás comprando el mismo margen dos veces.
Qué cambia esto en una propuesta
«Revisamos una muestra» es la descripción de un proceso. Compromete al proveedor con una actividad, no con un resultado, y es compatible con cualquier nivel de calidad.
«Precisión medida en X% sobre una muestra aleatoria de 400 llamadas, ±3% al 95% de confianza» es una afirmación sobre el entregable. Se puede reproducir, se puede desmentir y se puede contrastar contra el lote siguiente.
La segunda es más difícil de escribir, que es exactamente por lo que vale la pena pedirla. Un proveedor que no puede decirte cómo extrajo su muestra no midió nada: revisó unas llamadas.
El efecto secundario que nadie planifica
Las correcciones del revisor se acumulan, y a partir del segundo mes dejan de ser correcciones y pasan a ser datos de evaluación.
Puedes ver qué variables fallan y en qué condiciones: llamadas cortas, una cola en particular, un acento específico, audio de una plataforma de grabación concreta. La calibración deja de ser una discusión sobre lo que el modelo probablemente hace y se convierte en una lista de lo que demostrablemente hizo.