Recentemente comecei a assistir Witch Hat Atelier e percebi que estamos vivendo em um mundo um pouco parecido quando pensamos nas inteligências artificiais. Existem algumas pessoas que controlam esse poder, existem inteligências artificiais problemáticas e, se utilizarmos a magia — ou uma inteligência artificial — do jeito errado, podemos destruir o mundo. Ou, pelo menos, acabar um pouco com ele.
O círculo mágico — ou Sigilo — em Witch Hat Atelier segue algumas regras, mas, basicamente, tirando o fato de que precisa ser desenhado com uma tinta mágica especial, qualquer pessoa que conheça os símbolos e saiba desenhá-los consegue fazer magia. Esse é justamente um dos grandes segredos daquele mundo: a magia não é uma habilidade com a qual algumas pessoas simplesmente nascem; qualquer pessoa poderia usá-la se soubesse como os círculos são construídos.[1]
Ah, vale lembrar: se você não assistiu à primeira temporada do anime, vai ter spoilers, viu?
Mesmo copiando por cima de um desenho, alguém pode reproduzir uma magia. O que pode ser um problema se você não souber exatamente o que está fazendo.
Esse mundo dos círculos mágicos não está tão distante das IAs atuais. Temos alguns usuários de IA que conseguem fazer alguns truques a mais com LLMs, especialmente desenvolvedores, mas, com um pouco de prática e conhecimento, praticamente qualquer pessoa consegue pedir que um modelo escreva textos, código, pesquise informações ou controle outras ferramentas.
E é aí que começam alguns problemas.
Primeiro: se qualquer pessoa pode criar qualquer magia ou qualquer programa de computador, o que impede que essa magia ou esse programa sejam usados para o mal?
Segundo: mesmo que uma Magia ou Programa tenha sido criado para ser útil, o que garante que o criador tenha conhecimento suficiente para impedir que ele faça algo de errado?
Terceiro: se uma Magia, Programa ou Sistema for forte o suficiente para causar um estrago gigantesco à humanidade, será que as pessoas ainda deveriam poder escrever seus próprios círculos mágicos ou usar um Oráculo para escrever seus programas?
Protegendo a humanidade dela mesma
Em Witch Hat Atelier, eles escolheram um caminho específico para proteger a humanidade dela mesma.
Depois de guerras, acidentes e usos destrutivos da magia, surge o chamado Dia do Pacto. A partir dele, o conhecimento sobre o verdadeiro funcionamento da magia passa a ser mantido por um grupo restrito de bruxos. As memórias da população sobre esse conhecimento são apagadas, e aqueles que não conhecem o segredo passam a ser os Não-Sabe.[2]
Além disso, existem regras específicas:
- Um bruxo não deve permitir que um Não-Sabe descubra o segredo de como a magia é realizada.
- Certos tipos de magia são proibidos, incluindo magias capazes de afetar diretamente corpo ou mente e transformações de seres vivos.[2]
- Caso um Não-Sabe descubra como a magia realmente funciona, sua memória sobre esse conhecimento pode ser apagada.[2][3]
É uma solução bastante extrema. Não basta controlar o uso da magia: o próprio conhecimento sobre como ela funciona precisa ser protegido.
Temos algo semelhante acontecendo com os modelos de LLM, não temos?
Certos tipos de assistência são deliberadamente restringidos quando poderiam facilitar danos graves. Laboratórios de fronteira já avaliam explicitamente capacidades relacionadas, por exemplo, a riscos biológicos, químicos, cibernéticos e à autonomia antes ou durante a disponibilização de modelos avançados.[7][8][9]
Muitos dos maiores LLMs também são modelos fechados. O usuário consegue utilizar aquela “magia”, mas não necessariamente recebe os pesos do modelo, os dados utilizados no treinamento, as instruções internas ou todos os detalhes sobre como aquela capacidade foi construída.
Quando utilizamos um modelo fechado por meio de uma API ou de uma interface de chat, conseguimos pedir que ele realize uma tarefa. Podemos utilizar a magia, mas não recebemos necessariamente o Sigilo que está por trás dela.
Em um modelo com pesos abertos, a situação começa a mudar. Você não está apenas utilizando a magia: está recebendo uma parte muito maior do Sigilo e, dependendo do seu conhecimento, pode modificá-lo, ajustá-lo ou utilizá-lo para criar alguma coisa completamente diferente.
Vale uma precisão aqui: quando eu falar em “modelos abertos” neste texto, estou falando principalmente de modelos open-weight. Ter acesso aos pesos não significa necessariamente que o dataset, o código de treinamento e todo o processo de construção do modelo também sejam abertos.[4]
Witch Hat Atelier leva essa lógica de controle às últimas consequências. Não basta impedir que alguém utilize certas magias. O conhecimento de que qualquer pessoa poderia desenhar esses círculos mágicos também precisa permanecer escondido.
E é aqui que surge um problema muito maior.
Existe uma diferença importante entre controlar uma ferramenta e controlar o conhecimento necessário para construir essa ferramenta.
No mundo de Witch Hat Atelier, os bruxos decidiram controlar os dois.
Quando todo mundo consegue desenhar círculos mágicos
Já na nossa realidade, a “Magia” parece seguir um caminho um pouco diferente, mas que talvez acabe se cruzando com o mundo de Witch Hat Atelier.
Modelos fechados de fronteira já passam por processos específicos de avaliação e mitigação de risco conforme suas capacidades aumentam.[7][8][9] E os modelos open-weight estão cada vez mais próximos dos sistemas fechados em diferentes métricas.
O AI Index 2026, da Stanford, mostra bem essa aproximação. Em maio de 2023, a diferença entre o melhor modelo fechado e o melhor open-weight no Arena era de cerca de 15,2%. Em agosto de 2024, chegou a apenas 0,5%. A diferença voltou a crescer com novos modelos proprietários, mas, em março de 2026, ainda estava em aproximadamente 3,3%.[4]
Ou seja: a distância varia conforme novas gerações são lançadas, mas modelos que podem ser baixados e modificados estão muito mais competitivos do que estavam alguns anos atrás.
E isso começa a aparecer também na regulação.
Na União Europeia, por exemplo, o AI Act prevê obrigações adicionais para modelos de propósito geral considerados de risco sistêmico. Modelos distribuídos sob licenças livres e abertas podem receber algumas isenções, mas essas isenções não valem da mesma forma quando o modelo é classificado como de risco sistêmico.[5][6]
Mais interessante ainda: a própria Comissão Europeia reconhece que um modelo pode apresentar risco sistêmico não apenas por seu tamanho ou pelo custo de treinamento, mas também por fatores como alcance, escalabilidade e pelo scaffolding ao redor dele — isto é, as ferramentas e sistemas que ampliam o que aquele modelo consegue fazer.[5]
E isso nos leva a um problema interessante.
Talvez o maior risco nem seja o número de parâmetros.
O que acontece quando um modelo pequeno o suficiente para rodar em um computador doméstico for capaz de coordenar dezenas ou centenas de agentes realizando tarefas complexas de forma autônoma?
O que acontece quando qualquer pessoa puder montar um pequeno enxame de agentes para pesquisar, programar, testar sistemas ou executar uma tarefa durante horas com pouca intervenção humana?
Nesse ponto, não importa tanto se aquele modelo possui 15 bilhões, 100 bilhões ou um trilhão de parâmetros.
O que importa é a capacidade que foi colocada na mão de alguém.
Eu consigo imaginar um cenário em que teremos restrições cada vez mais parecidas com as do mundo de Witch Hat Atelier. Talvez não tenhamos nossa memória apagada depois de descobrir como um Transformer funciona — espero —, mas podemos chegar a um ponto em que algumas capacidades sejam consideradas perigosas demais para serem distribuídas sem nenhum tipo de controle.
Só que isso cria outra pergunta.
Será que existe um jeito de todos os seres humanos utilizarem a magia — digo, modelos de ponta — sem que a gente se exploda no meio do caminho?
Todo mundo deveria poder aprender magia
Eu acho que sim.
Mas talvez a resposta não esteja nem em liberar absolutamente tudo, nem em transformar algumas empresas, governos ou laboratórios em uma espécie de Conselho dos Bruxos.
Porque os dois extremos têm problemas.
Se liberarmos absolutamente todas as capacidades sem nenhum tipo de preocupação, precisamos aceitar que pessoas mal-intencionadas também receberão exatamente as mesmas ferramentas. Não existe uma versão da democratização em que somente pessoas legais ganham acesso.
Por outro lado, se decidirmos que inteligência artificial avançada é perigosa demais para a população, então começamos a construir uma classe muito pequena de pessoas e organizações que podem utilizar uma das tecnologias mais poderosas já criadas.
Nesse cenário, alguns poucos grupos não seriam apenas responsáveis por construir os Sigilos.
Eles também escolheriam quais Sigilos podem existir.
E isso me parece igualmente perigoso.
Talvez exista um terceiro caminho.
Em vez de separar o mundo entre Bruxos e Não-Sabe, podemos assumir que todas as pessoas deveriam ter o direito de aprender magia, mas que nem todas as capacidades precisam necessariamente ser disponibilizadas da mesma forma.
Modelos podem ser abertos, pesquisa pode ser aberta. Pessoas podem estudar como esses sistemas funcionam, criar seus próprios modelos, executar agentes e experimentar novas formas de utilização.
Mas capacidades capazes de produzir danos gigantescos podem exigir camadas adicionais de segurança.
Quanto maior a capacidade de um sistema causar danos, maiores poderiam ser as exigências de auditoria, isolamento, rastreabilidade e responsabilidade.
Não seria:
“Você não pode aprender magia.”
Seria algo mais próximo de:
“Você pode aprender magia. Mas algumas magias exigem mais responsabilidade para serem utilizadas.”
Talvez o erro dos bruxos de Witch Hat Atelier não tenha sido perceber que algumas magias eram perigosas.
Talvez o erro tenha sido concluir que, para impedir essas magias, eles precisavam esconder a própria existência da magia.
O problema não é o Sigilo
Vale lembrar que um Sigilo não é necessariamente bom ou mau. Um modelo de inteligência artificial também não.
O mesmo sistema capaz de procurar uma vulnerabilidade em milhares de computadores pode ser utilizado para encontrar essas vulnerabilidades antes de um atacante. Um agente capaz de manipular um sistema complexo também pode ser utilizado para monitorá-lo, corrigir erros ou impedir que alguma coisa saia do controle.
Então talvez nossa defesa contra inteligências artificiais extremamente capazes não seja construir sistemas cada vez menos capazes. Talvez seja construir sistemas defensivos igualmente capazes. Se qualquer pessoa puder ter um pequeno exército de agentes atacando alguma coisa, talvez nossos computadores também precisem de seus próprios agentes protegendo-os.
Se modelos puderem encontrar falhas em segundos, talvez a infraestrutura também precise de modelos procurando essas falhas continuamente.
Uma espécie de sistema imunológico digital, ou mais ou menos o que seu antivírus faz todos os dias. Isso ainda não elimina a necessidade de regras, mas quebra a ideia que nossa única proteção possível seria esconder o conhecimento.
Afinal, quem deveria controlar a magia?
Talvez essa seja uma das perguntas mais importantes que teremos que responder nos próximos anos.
Não apenas:
“Quão inteligente uma IA pode ficar?”
Mas:
“Quem poderá utilizá-la quando ela chegar lá?”
Eu não gostaria de viver em um mundo onde somente algumas poucas empresas possuem acesso às inteligências mais poderosas existentes. Mas também acho que viver em um mundo onde qualquer pessoa consegue apertar um botão e colocar centenas de agentes autônomos fazendo absolutamente qualquer coisa, sem nenhum limite, também não parece muito legal.
Talvez o equilíbrio esteja em democratizar o conhecimento e, ao mesmo tempo, tratar capacidades realmente perigosas como aquilo que elas são: capacidades perigosas.
Sem transformar todo usuário em um Não-Sabe, nem todo pesquisador em um Chapéu Pontudo. E, principalmente, sem transformar algumas poucas organizações nos únicos Bruxos autorizados do planeta.
Witch Hat Atelier imagina um mundo onde a humanidade resolveu o perigo da magia escondendo o segredo dela. Essa escolha não existe mais e talvez nem devesse existir.
A nossa magia já está sendo utilizada e continua evoluindo. E, provavelmente, cada vez mais pessoas vão aprender a desenhar seus próprios círculos mágicos. A questão agora não é mais se devemos permitir que a humanidade descubra a magia. É descobrir como deixar todo mundo utilizá-la sem destruir o mundo no processo.
Bibliografia
-
Kodansha — site oficial de Witch Hat Atelier. Apresenta a premissa central de que qualquer pessoa pode usar magia ao desenhar os círculos com as ferramentas corretas e que esse fato é mantido em segredo pelos bruxos.
https://morning.kodansha.co.jp/tongari_official/ -
Independent Witch Hat Atelier Wiki — Day of the Pact. Referência para o Dia do Pacto, proibição de magias que afetam corpo e mente, transformação de seres vivos e regras sobre revelar o segredo da magia.
https://witchhatatelier.telepedia.net/wiki/Day_of_the_Pact -
Independent Witch Hat Atelier Wiki — Memory Erasure. Referência para o uso de magia de apagamento de memória em pessoas que descobrem o segredo da magia.
https://witchhatatelier.telepedia.net/wiki/Memory_Erasure -
Stanford Institute for Human-Centered AI — AI Index Report 2026, Technical Performance. Dados sobre a diferença de desempenho entre modelos closed-weight e open-weight e explicação da distinção entre diferentes níveis de abertura.
https://hai.stanford.edu/ai-index/2026-ai-index-report/technical-performance -
Comissão Europeia — General-Purpose AI Models in the AI Act: Questions & Answers. Explica modelos de propósito geral com risco sistêmico, critérios como alcance, escalabilidade e scaffolding, além das regras aplicáveis a modelos open-source.
https://digital-strategy.ec.europa.eu/en/faqs/general-purpose-ai-models-ai-act-questions-answers -
União Europeia — Regulation (EU) 2024/1689, Artificial Intelligence Act. Texto legal do AI Act, incluindo a classificação e obrigações para modelos de IA de propósito geral com risco sistêmico.
https://eur-lex.europa.eu/eli/reg/2024/1689/oj -
OpenAI — Preparedness Framework, Version 2. Framework para acompanhar capacidades de fronteira e riscos relacionados a biologia/química, cibersegurança e outros domínios, associando capacidades mais elevadas a salvaguardas adicionais.
https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf -
Anthropic — Responsible Scaling Policy. Framework de governança de risco que relaciona o avanço das capacidades dos modelos a avaliações e medidas de segurança progressivamente maiores.
https://www.anthropic.com/responsible-scaling-policy -
Google DeepMind — Frontier Safety Framework. Framework para identificar capacidades de IA avançada capazes de produzir danos graves e aplicar avaliações e mitigações proporcionais ao risco.
https://deepmind.google/frontier-safety/