IA está avançando para criar versões de si mesma, afirma Anthropic, criadora do Claude

A empresa de inteligência artificial e criadora do Claude, Anthropic, afirmouque os sistemas de IA são cada vez mais capazes de construir versões futuras de si mesmos, aumentando as preocupações sobre os perigos da tecnologia.

O debate sobre os riscos da IA ​​se intensificou nos últimos meses, alimentado por diversos incidentes e alertas apocalípticos de profissionais do setor.

A Anthropic afirmou que seu chatbot Claude agora lidera mais de um quarto de seu trabalho de pesquisa e desenvolvimento e colabora com funcionários humanos em mais de 90% das tarefas.

A empresa afirmou que estava divulgando as informações para dar ao público, a terceiros e aos governos 'uma melhor visibilidade do ritmo do desenvolvimento da IA', visto que o mundo 'considera desacelerar' esse ritmo.

O CEO da Anthropic, Dario Amodei, pediu este mês uma desaceleração no desenvolvimento da IA, visto que os rápidos avanços na tecnologia alimentam preocupações com a perda de empregos, o aumento da demanda de energia e o impacto ambiental dos centros de dados.

Os receios de que os criadores de agentes de IA pudessem perder o controle de suas criações também aumentaram depois que vários modelos da Anthropic e da concorrente OpenAI supostamente escaparam de seus ambientes confinados por conta própria, acessaram a internet e invadiram sites e plataformas.

'Modelos que aceleram seu próprio desenvolvimento podem tornar mais difícil para os humanos entenderem ou controlarem esses sistemas. Portanto, é importante compartilhar essas métricas para entender o quão perto o mundo está de alcançar o aperfeiçoamento recursivo (um modelo que constrói seu sucessor de forma totalmente autônoma)', disse a empresa em um relatório.

Inteligência artificial — Foto: Reprodução/Pexels

Em agosto, Claude liderava 26% da pesquisa e desenvolvimento da Anthropic, o que significa que a empresa conseguia concluir a maior parte de uma tarefa do início ao fim com supervisão humana.

A Anthropic afirmou que Claude ainda não conseguia operar 'de forma totalmente autônoma'.

A empresa afirmou ter cerca de 30 mi agentes de IA realizando trabalhos de pesquisa e engenharia, referindo-se a bots com potencial para executar tarefas.

A expectativa é que a Anthropic supere a OpenAI no mercado de ações com um IPO estrondoso ainda este ano, apesar das preocupações em torno da regulamentação do setor.

OpenAI foi alvo de 'hacker ético' com ajuda de Claude, da Anthropic

Sede da OpenAI. — Foto: Divulgação

Pesquisadores de cibersegurança invadiram a OpenAI com a ajuda do chatbot Claude, da Anthropic, para testar as falhas na segurança da empresa.

Uma equipe da startup Hacktron AI sediada nos EUA comprometeu diversas contas ChatGPT de funcionários da OpenAI, iniciando um processo que lhes permitiu acessar o cache de software do alvo. Segundo eles, o alcance 'que poderíamos acessar era enorme'.

A informação foi revelada no blog do grupo e depois confirmada por veículos como a agência de notícias AFP e o jornal Wall Street Journal.

Inicialmente, a equipe de pesquisa usou o Claude, que pode gerar código para hackers, para acessar contas do ChatGPT por meio de um fórum de discussão da equipe da OpenAI hospedado na plataforma Discourse. Em seguida, eles fizeram uma tentativa de alterar o código em um arquivo de forma inofensiva para o serviço da OpenAI no repositório de software GitHub.

A Hacktron reportou o ataque à OpenAI, tendo realizado a operação no âmbito de um programa da OpenAI que recompensava hackers éticos por testarem seus sistemas. Os pesquisadores enfatizaram que tiveram acesso ao código do repositório do GitHub, mas não o baixaram.

Apesar do uso inicial de Claude, os pesquisadores afirmaram que utilizaram principalmente o modelo de ponta GPT-5.6 Sol da OpenAI para realizar o ataque.

Um porta-voz da OpenAI disse que agradeciam 'aos pesquisadores por entrarem em contato conosco e compartilharem suas descobertas', acrescentando que a empresa já havia corrigido as vulnerabilidades que foram exploradas.

A Hacktron afirmou que as ferramentas de IA tornaram uma tarefa de hacking antes complexa muito mais fácil e reduziram drasticamente o tempo necessário para planejar e executar um ataque. Essa é uma afirmação comum entre especialistas em segurança cibernética ao discutir o impacto da IA.

'O trabalho que antes exigia uma equipe bem estruturada e meses de esforço agora pode ser concluído em dias', afirmou a Hacktron, que recebeu um pagamento de US$ 6.500 da OpenAI por meio do programa de recompensas por bugs da empresa.

O ataque é o mais recente incidente de segurança na OpenAI, que revelou em julho que um 'enxame' de agentes (termo usado para descrever ferramentas de IA capazes de realizar tarefas de forma autônoma) alimentado por sua tecnologia, havia invadido a startup de IA Hugging Face durante um teste de segurança cibernética.

Esta semana, a empresa sediada em São Francisco revelou mais seis exemplos de ações 'inesperadas ou preocupantes' de sua tecnologia e alertou que o ritmo de desenvolvimento não poderia continuar em 'velocidade máxima por muito mais tempo'.

No fim de semana, a Anthropic fez um novo apelo por uma desaceleração no desenvolvimento da IA , que foi apoiado pela OpenAI, Google DeepMind e Elon Musk.

A Anthropic também reiterou os alertas de que o desenvolvimento desenfreado da IA ​​representa uma ameaça existencial, preocupações sobre as quais alguns especialistas se mostram céticos.

Sam Altman, CEO da OpenAI, empresa de inteligência artificial. — Foto: World Economic Forum / Benedikt von Loebell