Nova demo de Meta AI escreve literatura científica racista e imprecisa, é removida

Prolongar / Uma ilustração gerada por IA de robôs fazendo ciência.

Ars-Technica

Na terça-feira, o Meta AI revelou uma demonstração da Galactica, um grande modelo de linguagem projetado para “armazenar, combinar e raciocinar sobre o conhecimento científico”. Embora destinado a acelerar a redação de literatura científica, usuários conflitantes que executam testes descobriram que também pode gerar absurdo realista. Após vários dias de crítica éticaMeta colocou a demonstração offline, relatórios Revisão de tecnologia do MIT.

Modelos de linguagem grande (LLM), como OpenAI GPT-3, aprenda a escrever textos estudando milhões de exemplos e compreendendo as relações estatísticas entre as palavras. Como resultado, eles podem escrever artigos persuasivos, mas esses trabalhos também podem ser cheio de mentiras e estereótipos potencialmente perigosos. Alguns críticos chamam os LLMs de “papagaios estocásticospor sua capacidade de cuspir texto de forma convincente sem entender seu significado.

Digite Galactica, um LLM destinado a escrever literatura científica. Seus autores formaram a Galactica em “um vasto e organizado corpo de conhecimento científico da humanidade”, compreendendo mais de 48 milhões de artigos, livros didáticos e notas de palestras, sites científicos e enciclopédias. De acordo com O artigo da GalácticaOs pesquisadores da Meta AI acreditavam que esses dados supostamente de alta qualidade levariam a resultados de alta qualidade.

Uma captura de tela do site Galactica da Meta AI antes do final da demonstração.
Prolongar / Uma captura de tela do site Galactica da Meta AI antes do final da demonstração.

Meta AI

A partir de terça-feira, os visitantes do Site da Galáctica poderia digitar prompts para gerar documentos como revisões de literatura, artigos wiki, notas de aula e respostas a perguntas, de acordo com exemplos fornecidos pelo site. O site apresentou o modelo como “uma nova interface para acessar e manipular o que sabemos sobre o universo”.

Enquanto algumas pessoas encontraram a demo promissor e útiloutros logo descobriram que qualquer um poderia digitar racista Onde avisos potencialmente ofensivos, gerando conteúdo confiável sobre esses tópicos com a mesma facilidade. Por exemplo, alguém o usou para autor uma entrada wiki em um trabalho de pesquisa fictício intitulado “Os benefícios de comer vidro triturado”.

Mesmo quando a produção da Galactica não era ofensiva às normas sociais, o modelo podia atacar fatos científicos bem compreendidos, cuspindo imprecisões como datas incorretas ou nomes de animais, exigindo conhecimento aprofundado do assunto a ser capturado.

Como resultado, meta desenhado a demonstração Galactica na quinta-feira. Em seguida, o cientista-chefe de IA da Meta, Yann LeCun tuitou“A demo Galactica está off-line no momento. Não é mais possível se divertir fazendo mau uso dela. Feliz?”

O episódio relembra um dilema ético comum na IA: quando se trata de modelos generativos potencialmente perigosos, cabe ao público em geral usá-los com responsabilidade ou aos editores dos modelos evitar abusos?

Onde a prática da indústria cai entre esses dois extremos provavelmente irá variar entre as culturas e conforme os modelos de aprendizagem profunda amadurecem. No fim do dia, regulamentos governamentais pode acabar desempenhando um papel importante na formação da resposta.