IA en temas delicados: ¿puede inventar? ¿reemplaza a las personas?

En los últimos meses conversamos con fundaciones de salud mental, organizaciones educativas, programas de voluntariado y un preuniversitario popular. Todas querían usar inteligencia artificial. Y todas llegaron con dudas parecidas, muy razonables. No eran dudas técnicas: eran dudas sobre las personas con las que trabajan.

En Sumadots creemos que esas dudas son el mejor punto de partida. Aquí van las tres que más escuchamos y cómo las respondemos.

¿Y si la IA inventa algo?

Es la primera pregunta, sobre todo en organizaciones de salud mental. Los modelos de IA que escriben texto a veces inventan respuestas que suenan seguras pero son falsas. En una conversación sobre recetas, eso es una molestia. En una conversación con alguien que lo está pasando mal, es un riesgo que no se puede correr.

Nuestra respuesta es simple: en los momentos delicados, la IA no improvisa. Usamos reglas fijas antes que respuestas generadas. Si una persona escribe algo que indica riesgo, el sistema no le pide a la IA que decida qué contestar. Sigue un camino definido de antemano por el equipo profesional: si es A, es A.

A esto sumamos alertas que pasan la conversación a una persona. La IA no está sola en ningún momento importante: cuando algo se sale de lo esperado, avisa y alguien del equipo toma el control. Y por defecto, todo es anónimo. No necesitamos saber quién es la persona para ayudarla bien.

¿Va a reemplazar al educador o a la psicóloga?

Lo escuchamos en organizaciones educativas y de salud mental por igual: no queremos que la IA reemplace al educador. Estamos de acuerdo. La IA acompaña; no reemplaza.

En la práctica, esto significa que la persona facilitadora sigue al centro. La IA puede preparar material, ofrecer un espacio para practicar o ayudar a encontrar información. Pero quien guía la conversación, interpreta lo que pasa y decide qué hacer es una persona del equipo.

Un buen ejemplo es un simulador de práctica que construimos para docentes de liceos. Cada profesor conversa con una estudiante ficticia, no con una persona real, y practica cómo acompañarla antes de enfrentar una situación así de verdad. Al final recibe un informe sin nota, para aprender y no para ser evaluado. Y si durante el ejercicio aparece una señal de angustia real en quien practica, la práctica se detiene.

¿No va a hacer que dejen de pensar?

Es la preocupación de muchos equipos que trabajan con jóvenes. Si la IA escribe la tarea, el ensayo o la postulación, la persona no aprende. Y además pierde algo valioso: su propia voz. Una postulación escrita por IA suena correcta, pero suena igual a todas las demás.

Por eso insistimos en diseñar el uso de la IA para que haga pensar, no para que piense por la persona. Que haga preguntas en vez de dar respuestas. Que ayude a practicar, no a entregar. Que muestre fuentes en vez de conclusiones.

Por ejemplo, en lugar de pedirle a la IA que escriba la carta de postulación, el estudiante puede usarla para que le haga preguntas sobre su propia historia. Las respuestas salen de él. La IA solo ayuda a ordenar lo que ya tiene que decir, y el profesor sigue revisando y conversando con cada uno.

Cómo empezar sin correr riesgos

Si tu organización trabaja con temas delicados, no hace falta renunciar a la IA. Hace falta empezar con cuidado. Estas son las condiciones que recomendamos:

• Un solo uso, bien hecho. No intentes resolver todo a la vez; elige una tarea concreta y acotada.
• Reglas fijas para todo lo sensible, definidas por el equipo profesional antes de empezar.
• Una persona siempre disponible para recibir las alertas y tomar la conversación.
• Anónimo por defecto: pide solo los datos que de verdad necesitas.
• Una prueba con 3 a 5 grupos antes de abrirlo a todos, para ajustar lo que no funciona.

La IA puede ser una gran aliada en temas difíciles. Pero la confianza se construye de a poco: primero con pocos grupos, con reglas claras y con el equipo al centro. Recién ahí tiene sentido crecer.