La mayoría de los programas de IA en la analítica reportan actividad: cuentas creadas, preguntas hechas, prompts escritos. La actividad muestra que la gente probó las herramientas. No muestra si las respuestas llegan más rápido, si el paquete mensual cuesta menos de producir ni si las decisiones mejoraron. Los directivos a quienes se les pide financiar la siguiente fase necesitan esas respuestas, en los mismos términos sencillos que usan para cualquier otra inversión.
Cinco medidas cubren la mayor parte del valor. Cada una es fácil de definir, y cada una necesita una línea base tomada antes de que el asistente entre en operación, porque sin el “antes”, el “después” es solo una opinión. Juntas también muestran qué corregir: un asistente preciso pero poco usado requiere un trabajo distinto al de uno popular que se equivoca con frecuencia.
Tiempo de respuesta
Mida el tiempo desde que se hace una pregunta hasta que llega una respuesta en la que la persona confía lo suficiente para actuar. Antes del lanzamiento, ese camino suele pasar por una solicitud a un analista, una fila de espera, algunos mensajes de aclaración y una hoja de cálculo. Después, las preguntas rutinarias deberían responderse en minutos, y las más difíciles deberían seguir llegando a un analista, ahora con ventaja.
Dé seguimiento a la mediana en lugar del promedio, e incluya las preguntas que todavía terminan con un analista. Un asistente rápido que devuelve muchas preguntas a la fila no ha reducido el tiempo de respuesta. Ha agregado un paso. El método más sencillo es registrar dos momentos para una muestra de solicitudes: cuando llegó la pregunta y cuando la persona que la hizo confirmó la respuesta.
Horas de producción de reportes eliminadas
Buena parte del mes de un equipo de analítica se va en producir los mismos paquetes: actualizar extractos, rehacer diapositivas, redactar comentarios y conciliar una versión con otra. La IA puede redactar los comentarios y responder las preguntas de seguimiento que antes requerían un reporte nuevo. El valor está en las horas que realmente desaparecen.
Cuente las horas eliminadas, no las horas ahorradas en el papel. Un paquete que se sigue produciendo completo, con algo de ayuda de la IA por un lado, no eliminó nada. La medida honesta enumera los paquetes retirados, los pasos que ya no se hacen y las horas reasignadas al análisis. Pregunte a quienes arman los paquetes, no solo a sus gerentes; ellos saben qué pasos desaparecieron y cuáles se movieron discretamente a otra parte.
Adopción por rol
Un solo total de uso oculta la historia. La dirección puede hacer unas cuantas preguntas de alto valor a la semana mientras los analistas de finanzas hacen muchas más, y un solo número dice poco de cualquiera de los dos grupos. Mida el uso activo semanal por rol y cuántas personas regresan después de su primer mes. El uso repetido importa más que el primer uso: un rol que vuelve cada semana encontró valor, mientras que un rol que lo prueba una vez y se va no lo encontró.
La baja adopción en un rol suele ser una señal de diseño más que un problema de capacitación. Significa que el asistente no puede responder las preguntas que ese rol hace, porque faltan datos, medidas o vocabulario. Las preguntas que la gente intentó y luego abandonó muestran qué agregar después. Cierre primero esas brechas y luego vuelva a medir.
Precisión frente a las cifras certificadas
El valor solo cuenta si las respuestas son correctas. Mantenga un conjunto de preguntas de negocio reales con sus respuestas certificadas, acordadas con el responsable de finanzas o de los datos, y ejecútelo después de cada cambio en los datos, el modelo semántico o las instrucciones del asistente. Reporte la proporción de respuestas correctas y fije un umbral por debajo del cual no se libera una nueva versión.
Mida la precisión frente a las mismas cifras certificadas que aparecen en el paquete mensual. Si el asistente y el paquete no coinciden, la dirección no confiará en ninguno de los dos, y todas las demás medidas de esta lista dejarán de importar. Cuando una pregunta falle, registre por qué: una medida faltante, un nombre ambiguo o un vacío en los datos. Esas causas le dicen al equipo de datos qué corregir primero.
Decisiones más rápidas
Es la medida que más importa y la que más se omite. Elija algunas decisiones recurrentes en las que la rapidez tiene valor: reabastecer inventario, aprobar una excepción de precio, validar un pronóstico, mover presupuesto entre campañas. Registre cuánto tarda hoy cada una, desde que llega la señal hasta que se toma la decisión, y mida el mismo ciclo después del lanzamiento. Mantenga definiciones estrictas, para que la señal, la decisión y quien decide sean los mismos antes y después.
En las decisiones más rápidas es donde las horas ahorradas y la mejor precisión se convierten en resultados financieros. También son la historia más clara para un consejo de administración: la misma decisión, con la misma calidad, tomada días antes. Unas cuantas decisiones así, cronometradas con honestidad, convencen más que cualquier gráfica de uso.
Tome la línea base antes del lanzamiento
Las semanas previas al lanzamiento son el único momento en que se puede tomar una línea base limpia. Úselas para:
- tomar una muestra de solicitudes reales al equipo de analítica, y registrar cuándo se hizo cada una y cuándo se respondió;
- registrar las horas dedicadas a cada paquete recurrente, paso por paso;
- escribir el set de prueba de preguntas con sus respuestas certificadas;
- cronometrar las decisiones recurrentes que eligió, de la señal a la decisión.
Al mismo tiempo, acuerde con el patrocinador de negocio una meta para cada medida, de modo que el éxito quede definido antes de que alguien vea los resultados.
Reporte el valor en una página
Reúna las cinco medidas en una página, cada mes, junto a su línea base y su meta, con una nota breve sobre lo que cambió. Luego trátela como cualquier otra revisión de inversión: escale los casos de uso que mueven las medidas, corrija los que se acercan y detenga los que no lo lograrán. Esa página es también el mejor argumento para la siguiente fase, porque muestra el valor en cifras en las que la organización ya confía. Es una de las primeras cosas que establecemos en nuestros proyectos de estrategia de datos e IA.