IA em temas delicados: ela pode inventar? Substitui as pessoas?

Nos últimos meses conversamos com fundações de saúde mental, organizações educacionais, programas de voluntariado e um cursinho pré-vestibular popular. Todas queriam usar inteligência artificial. E todas chegaram com dúvidas parecidas, muito razoáveis. Não eram dúvidas técnicas: eram dúvidas sobre as pessoas com quem trabalham.

Na Sumadots acreditamos que essas dúvidas são o melhor ponto de partida. Aqui vão as três que mais ouvimos e como respondemos.

E se a IA inventar alguma coisa?

É a primeira pergunta, sobretudo em organizações de saúde mental. Os modelos de IA que escrevem texto às vezes inventam respostas que soam seguras, mas são falsas. Numa conversa sobre receitas, isso é um incômodo. Numa conversa com alguém que está passando por um momento difícil, é um risco que não se pode correr.

Nossa resposta é simples: nos momentos delicados, a IA não improvisa. Usamos regras fixas em vez de respostas geradas. Se uma pessoa escreve algo que indica risco, o sistema não pede à IA que decida o que responder. Segue um caminho definido de antemão pela equipe profissional: se é A, é A.

A isso somamos alertas que passam a conversa para uma pessoa. A IA não fica sozinha em nenhum momento importante: quando algo sai do esperado, ela avisa e alguém da equipe assume. E, por padrão, tudo é anônimo. Não precisamos saber quem é a pessoa para ajudá-la bem.

Ela vai substituir o educador ou a psicóloga?

Ouvimos isso tanto em organizações educacionais quanto de saúde mental: não queremos que a IA substitua o educador. Concordamos. A IA acompanha; não substitui.

Na prática, isso significa que a pessoa facilitadora continua no centro. A IA pode preparar material, oferecer um espaço para praticar ou ajudar a encontrar informações. Mas quem conduz a conversa, interpreta o que acontece e decide o que fazer é uma pessoa da equipe.

Um bom exemplo é um simulador de prática que construímos para professores de escolas. Cada professor conversa com uma estudante fictícia, não com uma pessoa real, e pratica como acompanhá-la antes de enfrentar uma situação assim de verdade. No final, recebe um relatório sem nota, para aprender e não para ser avaliado. E se durante o exercício aparecer um sinal real de angústia em quem está praticando, a prática para.

Ela não vai fazer as pessoas pararem de pensar?

É a preocupação de muitas equipes que trabalham com jovens. Se a IA escreve o trabalho, a redação ou a candidatura, a pessoa não aprende. E ainda perde algo valioso: a própria voz. Uma candidatura escrita por IA soa correta, mas soa igual a todas as outras.

Por isso insistimos em desenhar o uso da IA para que ela faça pensar, não para que pense pela pessoa. Que faça perguntas em vez de dar respostas. Que ajude a praticar, não a entregar. Que mostre fontes em vez de conclusões.

Por exemplo, em vez de pedir à IA que escreva a carta de candidatura, o estudante pode usá-la para que ela faça perguntas sobre a sua própria história. As respostas saem dele. A IA só ajuda a organizar o que ele já tem a dizer, e o professor continua revisando e conversando com cada um.

Como começar sem correr riscos

Se sua organização trabalha com temas delicados, não é preciso abrir mão da IA. É preciso começar com cuidado. Estas são as condições que recomendamos:

• Um único uso, bem feito. Não tente resolver tudo de uma vez; escolha uma tarefa concreta e delimitada.
• Regras fixas para tudo o que é sensível, definidas pela equipe profissional antes de começar.
• Uma pessoa sempre disponível para receber os alertas e assumir a conversa.
• Anônimo por padrão: peça só os dados de que você realmente precisa.
• Um teste com 3 a 5 grupos antes de abrir para todos, para ajustar o que não funciona.

A IA pode ser uma grande aliada em temas difíceis. Mas a confiança se constrói aos poucos: primeiro com poucos grupos, com regras claras e com a equipe no centro. Só então faz sentido crescer.