Um pesquisador respeitado por IA o gigante Antrópico largou o emprego, deixando um terrível aviso de que o mundo está em perigo devido ao uso indevido de computadores avançados.
Mrinank Sharma, pesquisador de segurança de IA da Anthropic, postou sua carta de demissão nas redes sociais na segunda-feira, alegando que “o mundo está em perigo” devido aos avanços da IA e riscos relacionados, como o bioterrorismo.
A Anthropic constrói sistemas avançados de IA, como chatbots e ferramentas que podem gerar textos ou ideias, incluindo o popular programa Claude.
No entanto, Sharma afirmou na sua carta que ele e a empresa de IA foram pressionados a deixar de lado os seus valores a fim de priorizar o crescimento da inteligência artificial.
Seu trabalho na Anthropic, com salário estimado em mais de US$ 200 mil, era liderar uma equipe focada na “segurança da IA”, o que significa descobrir maneiras de garantir que a IA não cause danos aos humanos que o utilizam.
Por exemplo, Sharma observou que ajudou a criar defesas para que a IA não pudesse ser usada por malfeitores para produzir substâncias perigosas, como armas biológicas.
Ele também estudou problemas como ‘bajulação de IA’, em que os chatbots de IA podem lisonjear ou concordar excessivamente com os usuários de maneiras que poderiam manipulá-los e distorcer o senso de realidade das pessoas.
“Parece que estamos a aproximar-nos de um limiar em que a nossa sabedoria deve crescer na mesma medida que a nossa capacidade de afectar o mundo, para não enfrentarmos as consequências”, escreveu Sharma na sua carta.
Mrinank Sharma (na foto) renunciou ao cargo de cientista de segurança de IA na Anthropic, alertando que a pesquisa não controlada de IA estava colocando o mundo em perigo
A Anthropic criou o assistente de IA conhecido como Claude (imagem stock)
A renúncia de Sharma foi imediata, afastando-se de seu cargo de destaque na Anthropic após quase três anos.
O residente da Califórnia estudou na Universidade de Oxford e na Universidade de Cambridge, obtendo um mestrado em engenharia e aprendizado de máquina.
No entanto, o especialista em segurança da IA disse que uma combinação de grandes problemas globais que estão todos interligados, incluindo guerras, pandemias, alterações climáticas e o crescimento descontrolado da IA, influenciaram a sua decisão de desistir.
Sharma expressou receio de que poderosos programas de IA estivessem facilitando aos cientistas a formulação de armas biológicas que poderiam espalhar doenças por todo o mundo.
Sem regulamentações adequadas sobre o uso da IA, essas ferramentas avançadas ajudam a responder rapidamente a difíceis questões biológicas e até mesmo sugerir mudanças genéticas para tornar os vírus mais contagiosos ou mortais.
Graças a grandes modelos de linguagem, como o ChatGPT, treinados em milhões de artigos científicos, a IA poderia fornecer instruções passo a passo para a criação de novas armas biológicas ou ajudar a contornar as verificações de segurança nos serviços de produção de ADN.
Sharma também mencionou a capacidade da IA de mexer com a mente das pessoas, fornecendo ao público respostas tão adaptadas às opiniões pessoais de cada pessoa que distorce as suas decisões e prejudica o pensamento independente.
‘Eu continuamente me vejo avaliando nossa situação. O mundo está em perigo. E não apenas da IA’, o ex-cientista antrópico declarou em sua carta compartilhada no X.
A Anthropic foi fundada por ex-funcionários da OpenAI, que criou o ChatGPT, que não estavam satisfeitos com o compromisso da OpenAI com a segurança pública
A postagem de Sharma no X foi vista mais de 14 milhões de vezes até quinta-feira. O autoproclamado poeta disse que seu próximo passo na carreira envolveria algo em que ele pudesse contribuir de uma forma que ‘se sentisse plenamente íntegro’.
Anthropic é uma empresa de IA fundada em 2021 por sete ex-funcionários da OpenAI, a empresa que criou o ChatGPT.
Esse grupo incluía os irmãos CEO Dario Amodei e a presidente da Anthropic Daniela Amodei, que disseram ter saído devido a preocupações com a falta de foco da OpenAI na segurança e queriam criar sistemas de IA confiáveis e interpretáveis que priorizassem o bem-estar humano.
Os principais produtos da empresa são a família Claude de modelos de IA, que inclui assistentes de chatbot para codificação e outras tarefas pessoais e profissionais.
A Anthropic supostamente detém cerca de 40% do mercado de IA em termos de assistentes de IA, com sua receita anual estimada em US$ 9 bilhões.
No entanto, Dario Amodei defendeu publicamente a imposição de regulamentações mais rigorosas a todos os sistemas de IA, testemunhando perante o Senado dos EUA em 2023 sobre os princípios da supervisão desta nova tecnologia.
Amodei recentemente pressionou por padrões federais criteriosos para substituir as amplas leis estaduais que regulamentam o uso de IA nos EUA.
