TLDR: A OpenAI publicou em 26 de agosto de 2025 que, em casos de ameaça iminente de dano físico sério a outras pessoas, conversas podem ser revisadas por humanos e, em último caso, encaminhadas às autoridades. Casos de autoagressão não são encaminhados à polícia, segundo a empresa.
Recentemente saiu um artigo na Futurism sobre uma função nova no ChatGPT. Sim, suas conversas agora podem ser “escaneadas” e reportadas para as autoridades competentes.
Considerando as recentes polêmicas envolvendo a OpenAI, desde psicose de usuários a casos mais sérios como a morte de um adolescente, faz sentido que essa alteração já esteja valendo.
A OpenAI criou um post intitulado, “ajudando as pessoas onde elas precisam mais”. No post, a OpenAI diz, literalmente:
- “Quando detectamos usuários planejando ferir outras pessoas, roteamos a conversa para pipelines especializados revisados por uma equipe pequena… Se os revisores determinarem ameaça iminente de dano físico sério, podemos encaminhar às autoridades.”
- A OpenAI também afirma que não está encaminhando casos de autoagressão para a polícia “para respeitar a privacidade”, e que o modelo tenta redirecionar quem demonstra ideação suicida para recursos de ajuda.
Lembrando que isso já estava na politica de privacidade da OpenAI. Parece algo bem interessante a ideia de evitar um perigo maior quando algum usuário tenta executar ou questionar sobre algo realmente perigoso, mas algumas coisas não ficaram bem definidas como:
- Critérios objetivos: o que exatamente configura “ameaça iminente”?
- Limites de escopo: até onde vai “conteúdo perigoso”?
- Falsos positivos: ironia, role-play ou desabafo artístico podem ser mal interpretados?
- Transparência: existem logs auditáveis, notificação ao usuário e via de apelação?
Além disso, se seus dados podem ser utilizados indiretamente quando se tem uma ameaça iminente, o que não garante que eventualmente eles não possam ser usados em outros momentos? Será que uma ordem do governo americano pode ajustar o que é considerado ameaça também?
É claro, é importante que exista um controle parental e obviamente um sistema para tentar evitar possíveis ameaças, mas será que não falta mais transparência e auditoria para realmente definir o que vai ou não para as autoridades? E sem falar que isso vai literalmente contra a ideia de privacidade que a OpenAI falava desde o começo.
Possivelmente teremos novidades sobre sistemas de segurança/controle em um futuro não tão distante na OpenAI, Google, Anthropic… Mas é necessário tomar cuidado para que algo que possa ser realmente positivo como evitar uma catástrofe se transforme em uma desculpa para violar a privacidade dos usuários.
Um “freio de emergência” se usado da maneira errada, pode trazer mais problemas do que soluções.