De tutores humanos a agentes de IA: Lo que aprendimos al escalar un programa de orientación vocacional en Chile

Escalar intervenciones educativas efectivas sigue siendo un importante desafío de política pública. Los programas que tienen éxito a pequeña escala a menudo pierden impacto cuando se expanden-un fenómeno que los investigadores denominan "efecto voltaje". Esto es especialmente cierto para intervenciones que dependen de interacciones humanas intensivas como la orientación vocacional, asesoría pedagógica o tutorías, donde el costo y la disponibilidad de personal capacitado limitan la expansión. La pregunta que enfrentan líderes educativos y responsables de políticas públicas es clara: ¿Cómo podemos escalar intervenciones educativas efectivas manteniendo su impacto? La IA generativa se presenta como una potencial respuesta a este problema, ofreciendo la posibilidad de mantener la calidad mientras se reducen los costos y requerimientos de recursos.

Escalando el programa "Quiero Ser Profe" en Chile

El programa "Quiero Ser Profe" (QSP) de Elige Educar en Chile ejemplifica este desafío de escalabilidad. El objetivo del programa es aumentar la inscripción en programas de pedagogía, mediante orientación y tutoría personalizada a través de WhatsApp a estudiantes de educación secundaria, motivándolos a considerar carreras de enseñanza. Esfuerzos como QSP son especialmente relevantes porque Chile - al igual que otros países de la región y a nivel global - enfrenta una escasez de docentes, con estimaciones que proyectan un déficit de más de 30,000 docentes calificados para el 2030. QSP depende de tutores humanos que deben ser reclutados de programas de formación docente, extensamente capacitados y cuidadosamente supervisados. Este enfoque que depende de recursos humanos crea un techo inherente en el alcance del programa, limitando el número de estudiantes de secundaria que puede atender. Antes del 2020, el programa alcanzaba solo 2,400 (6%) de aproximadamente 40,000 estudiantes de secundaria que expresaban interés en aprender más sobre carreras de pedagogía.

Reconociendo este desafío de escalabilidad, en 2020 el BID colaboró con Elige Educar para explorar si la tecnología podría ayudar a replicar la orientación y tutoría proporcionada por tutores humanos y permitir la ampliación del programa sin sacrificar su impacto. Este primer intento de escalamiento consistió en un chatbot programado disponible vía WhatsApp que fue diseñado para entregar los mismos mensajes centrales e información que los tutores humanos. El chatbot programado se basó enteramente en mensajes pre-escritos y opciones de menú basadas en botones, sin capacidad para generar respuestas personalizadas como los chatbots de IA modernos. Esta intervención fue evaluada a través de una evaluación con más de 40,000 estudiantes (acceso abierto aquí).

Los resultados fueron prometedores en términos de alcance: con el bot programado, el programa ahora podía llegar a la mayoría de los estudiantes interesados en saber más sobre carreras de pedagogía. Sin embargo, el bot no fue efectivo en motivar a los estudiantes a considerar carreras de pedagogía. Los tutores humanos aumentaron la probabilidad de que los estudiantes clasificaran un programa de educación como su primera opción en 1.25 puntos porcentuales-un aumento del 9.5% sobre la línea base-y aumentaron la inscripción en programas de educación en 0.9 puntos porcentuales, lo que representa un incremento del 8.5%. En contraste, los efectos del bot programado fueron menores-aproximadamente un tercio a la mitad del tamaño-y estadísticamente insignificantes. Los resultados subrayan que aunque los bots eran más baratos y escalables, tenían menos impacto, probablemente debido al nivel limitado de interacción y personalización que ofrecían, dos atributos clave de la tutoría humana efectiva.

El chatbot Kai: Aprovechando la IA generativa para lograr calidad a escala

En 2024, construyendo sobre los resultados del estudio y los avances en IA generativa, colaboramos nuevamente con Elige Educar para pilotear un nuevo modelo para escalar el programa QSP. Desarrollamos Kai, un chatbot de IA disponible a través de WhatsApp diseñado para replicar el apoyo personalizado e interactivo de los tutores humanos. Kai se adapta a las necesidades de los estudiantes para ofrecer orientación personalizada, con el objetivo de combinar la escalabilidad y eficiencia de costos de la IA con la interacción y personalización que hace efectiva la orientación y tutoría proporcionada por tutores humanos (Figura 1).

Figura 1. Capturas de pantalla del chatbot Kai vía WhatsApp

Durante el proceso de admisión 2024-25, realizamos un ensayo controlado aleatorio (RCT por sus siglas en inglés) con más de 43,000 estudiantes en tres grupos: un grupo que recibió apoyo de tutores humanos de Elige Educar vía WhatsApp, un grupo que recibió apoyo de Kai vía WhatsApp, y un grupo de control que no recibió la intervención.

Resultados iniciales: Hallazgos clave de la orientación vocacional impulsada por IA

¿Cómo interactuaron los estudiantes con el chatbot Kai, en comparación con los tutores humanos, en el programa QSP? El análisis inicial de las interacciones revela que los estudiantes se comportan de manera diferente con la IA versus con los tutores humanos, revelando patrones importantes para el escalamiento de intervenciones educativas. Emergen cuatro hallazgos clave:

1. Los estudiantes parecen estar más dispuestos a iniciar una interacción con Kai (35%) que con tutores humanos (28%) (Figura 2). Esto sugiere que puede haber una barrera más baja para la participación inicial con sistemas de IA, potencialmente expandiendo el acceso para estudiantes que podrían dudar en interactuar con tutores humanos. Por ejemplo, un estudiante que se preocupa por ser juzgado por su rendimiento académico o incertidumbre sobre su futuro podría encontrar más fácil comenzar una conversación con Kai, sabiendo que puede tomarse su tiempo para responder y no enfrentará el juicio de otra persona.

Figura 2. Participación inicial, Kai y tutores humanos

1. Si bien los estudiantes son más propensos a interactuar con Kai, estas interacciones tienden a ser más cortas y con menos mensajes intercambiados (3.7 mensajes enviados por estudiante en promedio) que aquellas con tutores humanos (5.9 mensajes enviados por estudiante en promedio). Este patrón puede reflejar mayor eficiencia o una profundidad reducida en la orientación proporcionada. Por ejemplo, cuando se le pregunta, "¿Qué universidades en mi ciudad tienen los mejores programas de educación?", Kai responde instantáneamente con un ranking de universidades e información de admisión. Un tutor humano podría demorar más tiempo en responder, pero también podría indagar sobre las preferencias del estudiante, sus objetivos profesionales y su situación económica. Las conversaciones más breves con la IA podrían indicar mayor eficiencia en la entrega de información o, alternativamente, una orientación menos personalizada.

1. Kai parece ser más eficiente que los tutores humanos en abordar directamente las consultas específicas de los usuarios. Kai responde cinco veces más rápido que los tutores humanos y de manera más precisa, con solo diferencias menores en el número de temas cubiertos por conversación. Por ejemplo, cuando se le pregunta, "¿Qué cursos de matemáticas necesito para enseñar en primaria?", Kai enumera los cursos requeridos, mientras que un tutor humano podría dar una respuesta menos completa o derivar la conversación hacia la confianza del estudiante en matemáticas. Si bien las respuestas más rápidas y precisas no necesariamente equivalen a una mejor orientación vocacional-especialmente si se pierde profundidad-las respuestas de Kai tienden a alinearse mejor al contenido específico de la pregunta. Como muestra la Figura 3, existe una mayor correspondencia semántica entre las preguntas de los estudiantes y las respuestas de Kai, sugiriendo un enfoque más directo y temáticamente alineado.

Figura 3.

Nota: Esta figura muestra la distribución de puntajes de similitud coseno entre preguntas de usuarios y respuestas de un tutor humano o Kai. La similitud coseno mide la alineación semántica y sirve como un proxy para la eficiencia de respuesta. Solo se incluyeron pares de entrada-salida basados en preguntas para consistencia.

1. Quizás lo más interesante: los estudiantes parecen aprovechar a Kai y a los tutores humanos de maneras fundamentalmente distintas. Los estudiantes tienden a dirigir a Kai preguntas más informativas y factuales sobre carreras docentes, becas, beneficios y requisitos de admisión (62.6% de todas las consultas a Kai son preguntas basadas en hechos, versus 25.8% de consultas a tutores humanos). En contraste, dirigen más del doble de preguntas subjetivas a tutores humanos, buscando orientación sobre decisiones vocacionales, experiencias con prácticas profesionales y el rigor académico de diferentes programas de educación. Por ejemplo, los estudiantes hacen a Kai preguntas factuales como "¿Cuál es el salario promedio de un maestro?" mientras que preguntan a un tutor humano "¿Seré lo suficientemente paciente para enseñar?". Estos patrones sugieren que la IA y la tutoría humana desempeñan roles distintos pero igualmente valiosos en el proceso de orientación vocacional.

¿Qué sigue?

Estos hallazgos iniciales son prometedores porque revelan el potencial de la IA para escalar programas como QSP. Actualmente estamos realizando análisis más completos para entender mejor las ventajas y limitaciones de la orientación vocacional impulsada por IA, examinando factores como la capacidad de Kai para la empatía, persuasión y eficiencia en comparación con los tutores humanos, así como midiendo el impacto final de esta intervención en los resultados principales de interés: postulaciones e inscripciones en carreras de pedagogía.

Mientras esperamos los resultados completos, queda claro un mensaje: necesitamos evidencia rigurosa sobre el impacto de la IA en la educación. Estos análisis iniciales sugieren que el futuro de las intervenciones educativas dependerá de entender cómo los enfoques impulsados por IA y humanos pueden trabajar juntos. Este enfoque complementario podría ser clave para superar los desafíos persistentes de escalamiento en la política educativa.