A corrida pela inteligência artificial começou a produzir um movimento pouco comum entre empresas que disputam bilhões de dólares e tentam colocar modelos cada vez mais poderosos no mercado.
OpenAI, Anthropic e Google passaram a discutir mecanismos conjuntos para reduzir riscos relacionados ao avanço da tecnologia, inclusive a possibilidade de criação de uma estrutura específica para avaliação de segurança.
A discussão ganhou força depois de episódios em que sistemas de inteligência artificial ultrapassaram comportamentos esperados durante testes e diante da crescente capacidade dos chamados agentes de IA, que não apenas respondem perguntas, mas conseguem acessar ferramentas, executar códigos, navegar por sistemas e realizar tarefas de forma autônoma.
Líderes da Anthropic, OpenAI e Google DeepMind apoiaram, com diferentes graus, a necessidade de desacelerar determinadas capacidades para que mecanismos de segurança acompanhem o desenvolvimento.
Três empresas chegaram a discutir a criação de um novo organismo de segurança.
Luiz Pinheiro, docente no Mestrado e Doutorado da Universidade Positivo – BSUP e head do Laboratório de Negócios & Inteligência Artificial (AiLaBS), explica ao O Brasilianista que essa fronteira é definida pelos chamados guardrails.
“São exatamente até onde a inteligência artificial pode ir e onde ela não pode ir”, afirma Pinheiro.
Limites da IA
Os guardrails, em tradução livre, funcionam como barreiras de proteção. Eles podem assumir formas bastante diferentes: bloquear determinados conteúdos; impedir que um sistema tenha acesso a informações confidenciais, restringir quais programas uma IA pode utilizar e estabelecer limites financeiros para operações automáticas ou obrigar a participação de um funcionário antes de determinadas decisões.
Para Pinheiro, uma das aplicações mais importantes está justamente na separação entre os dados internos da empresa e os sistemas externos de inteligência artificial.
“Eu vejo muitas empresas que, em vez de ficar colocando as suas informações em IAs generativas, criam um ambiente seguro, onde existe uma intersecção entre os dados da empresa e as IAs generativas”, explica o especialista.
O objetivo é definir previamente o que pode ou não atravessar essa fronteira.
“Essa intersecção é exatamente até onde eu posso colocar as minhas coisas na IA e até onde a IA pode se apropriar das minhas coisas”, detalha Pinheiro.
Decisão financeira
A preocupação aumenta quando a inteligência artificial deixa de apenas fornecer uma recomendação e passa a executar uma decisão.
“Os limites seguros são muito relacionados à tomada de decisão”, observa Pinheiro.
O especialista cita como exemplo uma instituição que utiliza inteligência artificial na concessão de crédito.
“Exatamente até onde a IA pode ir, por exemplo, na aprovação de um crédito”, questiona.
Uma empresa poderia automatizar análises mais simples e encaminhar casos fora do padrão para funcionários.
“Eu deixaria um 80-20. Se for uma tomada de decisão complicada, eu chamaria um humano. Se for uma tomada de decisão normal, rápida, objetiva, eu deixaria para a IA”, sugere Pinheiro.
Essa lógica é conhecida como human in the loop, ou humano no circuito. O objetivo não é necessariamente obrigar uma pessoa a validar cada operação realizada por uma inteligência artificial.
O sistema recebe autonomia dentro de parâmetros previamente definidos, mas perde essa liberdade quando algum indicador ultrapassa determinado limite.
“São exatamente esses limites que a gente tem que definir entre a inteligência artificial e os humanos para que as tomadas de decisões sejam seguras”, ressalta o docente.
Pedidos inventados
A importância desse controle fica mais evidente quando uma IA possui acesso direto a sistemas de compras ou vendas.
Pinheiro apresenta um exemplo de um agente encarregado de realizar pedidos automaticamente.
“De repente você tem uma IA para fazer pedidos e essa IA é atacada por um agente que faz um monte de pedidos que não existem”, exemplifica.
Nem sempre o problema precisaria resultar de um ataque.
“Ela pode ter alucinado, ou ter tido algum outro problema nos dados, e começa a fazer pedidos, pedidos, pedidos”, acrescenta.
Se não existir uma barreira, o próprio funcionamento correto do sistema pode aumentar o prejuízo.
“Essa IA automaticamente vai faturar esses pedidos, porque ela só vende pedidos. Então esse é um grande risco”, alerta Pinheiro.
É justamente nessa situação que entram limites quantitativos.
“Até onde você coloca esses guardrails? Se aumentar a quantidade de pedidos, chama um humano. Se aumentar a oferta de crédito, chama um humano”, explica.
O princípio vale também para transferências financeiras, alterações em bancos de dados, criação de usuários, acesso a documentos ou operações em sistemas críticos.
Casos reais
O receio não está restrito a exemplos hipotéticos. Em julho deste ano, modelos da OpenAI usados em testes internos de segurança cibernética conseguiram contornar controles criados para isolá-los da internet.
Segundo a própria companhia, os sistemas exploraram vulnerabilidades, acessaram serviços externos e se comunicaram por canais que não haviam sido autorizados.
A empresa posteriormente classificou o episódio como um importante alerta para seus mecanismos de contenção.
Nesta semana, a OpenAI anunciou ainda um sistema para divulgar periodicamente casos de comportamentos inesperados ou não autorizados de seus modelos.
Entre os episódios relatados estão sistemas que esconderam erros, ignoraram restrições e tentaram utilizar mecanismos externos de comunicação.
O problema fica mais relevante à medida que modelos deixam de produzir apenas texto e passam a agir diretamente sobre outros sistemas.
Agentes autônomos
Empresas de tecnologia já desenvolvem agentes capazes de executar sequências inteiras de tarefas com pouca intervenção humana.
Esses sistemas podem pesquisar fornecedores, preencher formulários, alterar planilhas, consultar bancos de dados, escrever código e utilizar outras ferramentas.
Uma pesquisa da Deloitte com 3.235 executivos de tecnologia e negócios em 24 países mostrou que apenas 21% das empresas consultadas disseram possuir uma governança madura para lidar com agentes de IA.
Aproximadamente 80% ainda não possuem controles considerados maduros, como definição clara de quais decisões os agentes podem tomar sozinhos, monitoramento em tempo real e registros completos das ações executadas.
Para Pinheiro, esse acompanhamento precisa existir antes de a tecnologia assumir tarefas críticas.
“São técnicas que você utiliza para que a IA seja utilizada de uma forma correta, ética e segura”, resume o especialista.
Governança interna
Os controles técnicos são apenas uma parte da solução. Para o professor, empresas mais preparadas costumam possuir também estruturas formais de governança.
“O que eu vejo hoje são empresas que têm uma boa governança de IA porque têm uma boa governança de dados, de tecnologia e assim por diante”, analisa Pinheiro.
Isso inclui regras por escrito.
“As empresas que têm essa boa governança têm comitês, políticas, tudo escrito, tudo declarado, tudo organizado, tudo acompanhado”, descreve.
A lógica é semelhante à existente em áreas como segurança da informação, compliance e proteção de dados.
Não basta declarar que uma empresa utiliza inteligência artificial de forma responsável.
É necessário determinar quem pode utilizar cada sistema, para quais tarefas, quais informações podem ser fornecidas e quem responde quando algo sai do esperado.
“Elas tentam, da melhor forma possível, cuidar dessa tomada de decisão, cuidar desses riscos”, pontua Pinheiro.
E o trabalho não termina depois da implantação.
“Todos os riscos são mapeados diariamente, porque surgem novos riscos e assim por diante”, acrescenta.
Nunca 100%
Mesmo empresas com políticas detalhadas não conseguem eliminar completamente o risco.
“Obviamente, a gente nunca pode falar que é 100%”, ressalta Pinheiro.
A dificuldade está justamente na possibilidade de sistemas mais autônomos encontrarem caminhos que não foram previstos pelos desenvolvedores.
“Se uma inteligência artificial começar a tomar decisões além do que lhe foi atribuído, isso pode fugir um pouco do escopo”, alerta.
O problema pode chegar inclusive às equipes encarregadas de proteção tecnológica.
“Isso pode também fugir um pouco do próprio time de segurança da informação da empresa”, completa.
A discussão entre as big techs nasce justamente desse ponto.
Dario Amodei, CEO da Anthropic, passou a defender que laboratórios reduzam coordenadamente o ritmo de algumas pesquisas para que avaliações independentes e sistemas de controle tenham tempo de alcançar as capacidades dos modelos.
Sam Altman, da OpenAI, apoiou parte da proposta. Demis Hassabis, da Google DeepMind, também defendeu maior cooperação em segurança.
Meta discorda
Não existe consenso entre as empresas. Mark Zuckerberg, da Meta, rejeitou a necessidade de uma desaceleração coordenada do setor.
Segundo ele, os próprios riscos jurídicos, econômicos e reputacionais já dão aos laboratórios incentivos suficientes para investir em segurança.
O executivo afirmou que a Meta chegou a adiar o lançamento de um agente de IA para reforçar proteções antes de colocá-lo no mercado e defendeu avaliações independentes, mas sem uma redução combinada do ritmo de desenvolvimento.
Empresas pequenas
Pinheiro identifica outro problema longe dos grandes laboratórios americanos.
“Eu vejo principalmente as pequenas empresas do país colocando suas informações na IA generativa e usando IA generativa para tudo”, afirma.
A facilidade de acesso faz com que ferramentas sejam incorporadas ao cotidiano antes mesmo de uma organização elaborar uma política interna.
Funcionários enviam planilhas, contratos, códigos, informações financeiras ou dados de clientes sem necessariamente avaliar onde aquele conteúdo será processado.
“Muitas se dizem AI first, mas na verdade nem sabem o que acontece com todos os dados da empresa que estão colocando nesses ambientes”, alerta Pinheiro.
Dados podem estar sujeitos a retenção, processamento por terceiros, falhas de configuração, exposição acidental ou utilização indevida por um funcionário.
Por isso, o primeiro guardrail muitas vezes não está na IA, mas na própria política da empresa sobre o que pode ser enviado para ela.
Siga O Brasilianista!
