Em 10 de junho, o fundador da OpenAI, Sam Altman, apareceu na Conferência de Inteligência Artificial Zhiyuan de 2023, realizada em Pequim, China, por meio de um link de vídeo. Esta foi a primeira vez que Altman fez um discurso para um público chinês.
Em seu discurso, Altman citou o "Tao Te Ching" e falou sobre a cooperação entre os principais países, dizendo que a segurança da IA começa com uma única etapa, e a cooperação e coordenação entre os países deve ser realizada.
Em seguida, Altman aceitou uma sessão de perguntas e respostas individual com Zhang Hongjiang, presidente do Zhiyuan Research Institute.
Dr. Zhang Hongjiang é atualmente o presidente do Beijing Zhiyuan Artificial Intelligence Research Institute, e também atua como diretor independente e consultor para várias empresas. Ele foi diretor executivo e CEO do Kingsoft Group e CEO da Kingsoft Cloud. Ele foi um dos fundadores do Microsoft Asia Research Institute. ) Dean e Microsoft "Distinguished Scientist".
Antes de ingressar na Microsoft, Zhang Hongjiang foi gerente da Hewlett-Packard Labs no Vale do Silício, EUA; antes disso, ele também trabalhou no Institute of Systems Science, National University of Singapore.
O conteúdo central do discurso de Altman:
A razão pela qual a atual revolução da IA é tão impactante não é apenas a escala de seu impacto, mas também a velocidade de seu progresso. Isso traz dividendos e riscos.
Com o advento de sistemas de IA cada vez mais poderosos, a importância da cooperação global nunca foi tão grande. Em alguns eventos importantes, os países devem cooperar e coordenar. O avanço da segurança AGI é uma das áreas mais importantes em que precisamos encontrar interesses comuns.
O alinhamento continua sendo uma questão não resolvida. O GPT-4 levou oito meses para trabalhar no alinhamento. No entanto, pesquisas relacionadas ainda estão sendo atualizadas, divididas principalmente em dois aspectos: escalabilidade e interpretabilidade.
Conteúdo principal da sessão de perguntas e respostas:
Os humanos terão um poderoso sistema de inteligência artificial (IA) dentro de dez anos.
O OpenAI não tem um novo cronograma de código aberto relevante. O modelo de código aberto tem vantagens, mas o código aberto pode não ser o melhor caminho (para promover o desenvolvimento da IA).
É muito mais fácil entender redes neurais do que cérebros humanos.
Em algum momento, tentarei fazer um modelo GPT-5, mas não em breve. Não sei quando o GPT-5 específico aparecerá.
A segurança da IA requer a participação e contribuição de pesquisadores chineses.
Nota: "Alinhamento de IA" é a questão mais importante em questões de controle de IA, ou seja, o objetivo do sistema de IA deve estar alinhado (consistente) com os valores e interesses humanos.
Conteúdo do discurso de Sam Altman:
Com o advento de sistemas de inteligência artificial cada vez mais poderosos, as apostas para a cooperação global nunca foram tão altas.
Se não formos cuidadosos, um sistema de IA mal colocado, projetado para melhorar os resultados da saúde pública, pode atrapalhar todo o sistema de saúde, fornecendo recomendações infundadas. Da mesma forma, os sistemas de IA projetados para otimizar a produção agrícola podem esgotar inadvertidamente os recursos naturais ou danificar os ecossistemas devido à falta de consideração da sustentabilidade a longo prazo que afeta a produção de alimentos, um equilíbrio ambiental.
Espero que todos possamos concordar que o avanço da segurança AGI é uma das áreas mais importantes em que precisamos trabalhar juntos e encontrar pontos em comum.
O restante da minha apresentação se concentrará em onde podemos começar: ** 1. A primeira área é a governança da AGI **, a AGI se tornou fundamentalmente uma força poderosa para a mudança em nossa civilização, enfatizando a necessidade significativa de cooperação e coordenação internacional. Todos se beneficiam de uma abordagem de governança colaborativa. Se navegarmos por esse caminho com segurança e responsabilidade, os sistemas AgI podem criar prosperidade econômica incomparável para a economia global, enfrentar desafios comuns, como mudança climática e segurança da saúde global, e melhorar o bem-estar social.
Eu também acredito profundamente no futuro. Precisamos investir na segurança da AGI para chegar onde queremos e aproveitar.
Para fazer isso, precisamos de uma coordenação cuidadosa. Esta é uma tecnologia global com alcance global. O custo dos acidentes causados pelo desenvolvimento e implantação imprudentes afetará a todos nós.
Na cooperação internacional, acho que há duas áreas-chave que são as mais importantes.
Em primeiro lugar precisamos estabelecer normas e padrões internacionais e prestar atenção à inclusão no processo. O uso de sistemas AGI em qualquer país deve seguir tais padrões e normas internacionais de forma igual e consistente. Dentro dessas cercas de segurança, acreditamos que as pessoas têm ampla oportunidade de fazer suas próprias escolhas.
Em segundo lugar, precisamos absolutamente de cooperação internacional para construir de forma verificável a confiança internacional no desenvolvimento seguro de sistemas de IA cada vez mais poderosos. Não tenho ilusões de que esta é uma tarefa fácil que requer muita atenção dedicada e sustentada. **
O Tao Te Ching nos diz: Uma jornada de mil milhas começa com um único passo. Acreditamos que o primeiro passo mais construtivo nesse sentido é cooperar com a comunidade científica e tecnológica internacional.
O que precisa ser enfatizado é que devemos aumentar o mecanismo de transparência e compartilhamento de conhecimento na promoção do progresso tecnológico. Quando se trata de segurança AGI, os pesquisadores que descobrem problemas emergentes de segurança devem compartilhar suas percepções para o bem maior.
Precisamos pensar muito sobre como podemos respeitar e proteger a propriedade intelectual enquanto incentivamos essa norma. Se fizermos isso, abriremos novas portas para aprofundarmos nossa cooperação.
De forma mais ampla, devemos investir na promoção e orientação de pesquisas sobre alinhamento e segurança da IA.
Na Open AI, nossa pesquisa hoje se concentra em questões técnicas que permitem que a IA desempenhe um papel útil e mais seguro em nossos sistemas atuais. Isso também pode significar que treinamos o ChatGPT de forma que não faça ameaças de violência ou ajude os usuários em atividades prejudiciais.
Mas à medida que nos aproximamos da era da AGI, o impacto potencial e o tamanho do impacto dos sistemas de IA desalinhados crescerão exponencialmente. Enfrentar esses desafios de forma proativa agora minimiza o risco de resultados catastróficos no futuro.
Para o sistema atual, usamos principalmente aprendizado por reforço com feedback humano para treinar nosso modelo para ser um assistente de segurança útil. Este é apenas um exemplo de várias técnicas de ajuste pós-treinamento. E também estamos trabalhando duro em novas tecnologias, que exigem muito trabalho de engenharia.
Desde o término do pré-treinamento do GPT4 até sua implantação, dedicamos 8 meses ao trabalho de alinhamento. No geral, achamos que estamos fazendo um bom trabalho aqui. O GPT4 é mais humano do que qualquer um de nossos modelos anteriores.
No entanto, o alinhamento continua sendo um problema em aberto para sistemas mais avançados, que, argumentamos, requerem novas abordagens técnicas com governança e supervisão aprimoradas.
Para futuros sistemas AGI, propõe 100.000 linhas de código binário. É improvável que supervisores humanos descubram se tal modelo está fazendo algo nefasto. Portanto, estamos investindo em algumas direções de pesquisa novas e complementares que esperamos que levem a avanços.
** **Um deles é a supervisão escalável. Podemos tentar usar sistemas de IA para ajudar os humanos a supervisionar outros sistemas de IA. Por exemplo, podemos treinar um modelo para ajudar a supervisão humana a encontrar falhas na saída de outros modelos. **
A segunda é a habilidade interpretativa. Queríamos tentar entender melhor o que está acontecendo dentro desses modelos. Publicamos recentemente um artigo usando GPT-4 para interpretar neurônios em GPT-2. **Em outro artigo, usamos Model Internals para detectar quando um modelo está mentindo. **Ainda temos um longo caminho a percorrer. Acreditamos que técnicas avançadas de aprendizado de máquina podem melhorar ainda mais nossa capacidade de explicar.
Em última análise, nosso objetivo é treinar sistemas de IA para ajudar nos estudos de alinhamento. **A beleza dessa abordagem é que ela pode ser dimensionada com a velocidade do desenvolvimento da IA.
Colher os benefícios extraordinários da AGI ao mesmo tempo em que reduz os riscos é um dos desafios seminais de nosso tempo. Vemos um grande potencial para pesquisadores na China, nos EUA e em todo o mundo trabalharem juntos em direção ao mesmo objetivo e trabalharem duro para resolver os desafios técnicos impostos pelo alinhamento da AGI.
Se fizermos isso, acredito que seremos capazes de usar a AGI para resolver os problemas mais importantes do mundo e melhorar muito a qualidade da vida humana. Muito obrigado.
A seguir está a transcrição da conversa:
Nos próximos dez anos teremos um sistema de IA muito poderoso
Zhang Hongjiang, presidente do Zhiyuan Research Institute, perguntou: **A que distância estamos da inteligência artificial geral (AGI)? O risco é urgente ou estamos longe disso? **
Sam Altman: É difícil estimar quando. **É muito provável que tenhamos sistemas de IA muito poderosos nos próximos dez anos, e novas tecnologias mudarão fundamentalmente o mundo mais rápido do que pensamos. **Nesse mundo, acho importante e urgente acertar isso (regras de segurança da IA), e é por isso que apelo à comunidade internacional para trabalhar em conjunto.
De certa forma, a aceleração e o impacto sistêmico das novas tecnologias que estamos vendo agora não tem precedentes. Então, acho que é estar preparado para o que está por vir e estar ciente das preocupações de segurança. Dada a escala da IA, os riscos são significativos.
Na sua opinião, no campo da segurança AGI, quais são as vantagens de diferentes países para resolver este problema, especialmente para resolver questões de segurança AI. Como esses pontos fortes podem ser combinados?
Cooperação global para propor padrões e estruturas de segurança para IA
Zhang Hongjiang: Você mencionou várias vezes na introdução anterior que a cooperação global está em andamento. Sabemos que o mundo já enfrentou crises consideráveis no passado. De alguma forma, para muitos deles, conseguimos construir um consenso, construir uma cooperação global. Você também está em uma turnê global, que tipo de colaboração global você está tentando promover?
Sam Altman: Sim, estou muito satisfeito com as reações e respostas de todos até agora. Acho que as pessoas estão levando muito a sério os riscos e as oportunidades da AGI.
Acho que a discussão sobre segurança percorreu um longo caminho nos últimos 6 meses. Parece haver um compromisso real para descobrir uma estrutura que nos permita aproveitar esses benefícios enquanto trabalhamos juntos globalmente para reduzir os riscos. Acho que estamos muito bem preparados para fazer isso. A cooperação global é sempre difícil, mas vejo isso como uma oportunidade e uma ameaça para unir o mundo. Seria muito útil se pudéssemos criar uma estrutura e padrões de segurança para esses sistemas.
Como resolver o problema de alinhamento da inteligência artificial
Zhang Hongjiang: Você mencionou que o alinhamento da inteligência artificial avançada é um problema não resolvido. Também notei que a OpenAI se esforçou muito nos últimos anos. Você mencionou que o GPT-4 é de longe o melhor exemplo no campo do alinhamento. Você acha que podemos resolver os problemas de segurança da AGI apenas com o ajuste fino (API)? Ou é muito mais difícil do que a maneira como esse problema é resolvido?
Sam Altman: Acho que existem diferentes maneiras de entender a palavra alinhamento. Acho que o que precisamos resolver é o desafio em todo o sistema de inteligência artificial. O alinhamento no sentido tradicional de fazer o comportamento do modelo corresponder à intenção do usuário certamente faz parte disso.
Mas também haverá outras questões, como verificar o que os sistemas estão fazendo, o que queremos que eles façam e como ajustar o valor do sistema. É muito importante ter uma visão geral da segurança do AGI.
Todo o resto é difícil sem uma solução técnica. Acho que é muito importante nos concentrarmos em garantir que abordamos os aspectos técnicos da segurança. Como mencionei, descobrir quais são nossos valores não é uma questão técnica. Embora requeira aporte técnico, é um tema que merece uma discussão aprofundada por toda a sociedade. Devemos projetar sistemas que sejam justos, representativos e inclusivos.
Zhang Hongjiang: Para alinhamento, o que vemos GPT-4 ainda é uma solução do ponto de vista técnico. Mas existem muitos outros fatores além da tecnologia, muitas vezes sistêmicos. A segurança da IA pode não ser exceção aqui. Além dos aspectos técnicos, quais são os outros fatores e questões? Você acha que é fundamental para a segurança da IA? Como devemos responder a esses desafios? Especialmente porque a maioria de nós somos cientistas. O que deveríamos fazer.
Sam Altman: Esta é certamente uma questão muito complexa. Mas todo o resto é difícil sem uma solução técnica. Acho muito importante que o governo se concentre em garantir que abordamos os aspectos técnicos da segurança. **Como mencionei, descobrir quais são nossos valores não é uma questão técnica. Requer aporte técnico, mas também é um tema que merece uma discussão aprofundada por toda a sociedade. **Devemos projetar sistemas que sejam justos, representativos e inclusivos. **
E, como você aponta, precisamos pensar na segurança não apenas do próprio modelo de AI, mas do sistema como um todo.
Portanto, é importante ser capaz de construir classificadores e detectores seguros que sejam executados em sistemas que monitoram a IA quanto à conformidade com as políticas de uso. Acho difícil prever com antecedência todos os problemas que surgirão com qualquer tecnologia. Portanto, aprenda com o uso no mundo real e implemente iterativamente para ver o que acontece quando você realmente cria a realidade e a melhora.
Também é importante dar tempo para que os humanos e as sociedades aprendam e se atualizem e pensem sobre como esses modelos irão interagir com suas vidas de maneiras boas e ruins.
Requer a cooperação de todos os países
Zhang Hongjiang: Anteriormente, você mencionou a cooperação global. Você tem viajado pelo mundo. China, Estados Unidos e Europa são as forças motrizes por trás da inovação da inteligência artificial. Na sua opinião, na AGI, quais são as vantagens de diferentes países para resolver o problema da AGI, especialmente para resolver o problema da segurança humana? Como esses pontos fortes podem ser combinados?
Sam Altman: Acho que geralmente são necessárias muitas perspectivas diferentes e segurança de IA. Ainda não temos todas as respostas, e esta é uma questão bastante difícil e importante.
Além disso, como mencionado, não é uma questão puramente técnica tornar a IA segura e benéfica. Envolve entender as preferências do usuário em diferentes países em contextos muito diferentes. Precisamos de muitas entradas diferentes para fazer isso acontecer. A China tem alguns dos melhores talentos de IA do mundo. Fundamentalmente, acho que as melhores mentes de todo o mundo são necessárias para lidar com a dificuldade de alinhar sistemas avançados de IA. Então, eu realmente espero que os pesquisadores chineses de IA possam fazer grandes contribuições aqui.
Requer uma arquitetura muito diferente para tornar a AGI mais segura
Zhang Hongjiang: Perguntas de acompanhamento sobre GPT-4 e segurança de IA. É possível que precisemos mudar toda a infraestrutura ou toda a arquitetura do modelo AGI. Para torná-lo mais seguro e fácil de ser verificado.
Sam Altman: É totalmente possível que precisemos de algumas arquiteturas muito diferentes, tanto do ponto de vista funcional quanto do ponto de vista da segurança.
Acho que seremos capazes de fazer algum progresso, um bom progresso em explicar os recursos de nossos vários modelos agora e fazer com que eles nos expliquem melhor o que estão fazendo e por quê. Mas sim, eu não ficaria surpreso se houvesse outro salto gigante depois do Transformer. Mudamos muito a arquitetura desde o Transformer original.
A possibilidade de código aberto OpenAI
Zhang Hongjiang: Eu entendo que o fórum de hoje é sobre segurança de IA, porque as pessoas estão muito curiosas sobre OpenAI, então tenho muitas perguntas sobre OpenAI, não apenas sobre segurança de IA. Eu tenho uma pergunta do público aqui, há algum plano para OpenAI reabrir o código de seus modelos como fazia antes da versão 3.0? Também acho que o código aberto é bom para a segurança da IA.
Sam Altman: Alguns de nossos modelos são de código aberto e outros não, mas com o passar do tempo, acho que você deve esperar que continuemos a abrir mais modelos de código aberto no futuro. Não tenho um modelo ou cronograma específico, mas é algo que estamos discutindo agora.
Zhang Hongjiang: A BAAI faz todos os esforços de código aberto, incluindo os próprios modelos e algoritmos. Acreditamos que temos essa necessidade, compartilhar e dar que você percebe como aquele que está no controle. Você tem ideias semelhantes ou esses tópicos foram discutidos entre seus colegas ou colegas da OpenAI.
Sam Altman: Sim, **acho que o código aberto tem um papel importante de certa forma. **
Também surgiram muitos novos modelos de código aberto recentemente. Acho que o modelo de API também tem um papel importante. Ele nos fornece controles de segurança adicionais. Você pode bloquear certos usos. Você pode bloquear certos tipos de ajustes. Se algo não funcionar, você pode devolvê-lo. Na escala do modelo atual, não estou muito preocupado com isso. Mas, à medida que o modelo se torna tão poderoso quanto esperamos, se estivermos certos sobre isso, acho que o código aberto pode não ser o melhor caminho, embora às vezes esteja certo. **Acho que só temos que equilibrar com cuidado. **
Teremos mais modelos grandes de código aberto no futuro, mas não há modelo e cronograma específicos.
O próximo passo para AGI? Veremos o GPT-5 em breve?
Zhang Hongjiang: Como pesquisador, também estou curioso, qual é a próxima direção da pesquisa AGI? Em termos de grandes modelos, grandes modelos de linguagem, veremos o GPT-5 em breve? A próxima fronteira é em modelos incorporados? A robótica autônoma é uma área que a OpenAI é ou planeja explorar?
Sam Altman: Também estou curioso sobre o que vem a seguir, e uma das minhas coisas favoritas sobre fazer este trabalho é que há muita emoção e surpresa na vanguarda da pesquisa. Ainda não temos as respostas, então estamos explorando muitos novos paradigmas possíveis. Claro que, em algum momento, tentaremos fazer um modelo GPT-5, mas não tão cedo. Não sabemos quando exatamente. Trabalhamos com robótica desde o início do OpenAI e estamos muito interessados nisso, mas tivemos algumas dificuldades. Espero que um dia possamos voltar a este campo.
Zhang Hongjiang: Parece ótimo. Você também mencionou em sua apresentação como usa o GPT-4 para explicar como o GPT-2 funciona, tornando o modelo mais seguro. Essa abordagem é escalável? É nessa direção que a OpenAI continuará avançando no futuro?
Sam Altman: Continuaremos a avançar nessa direção.
Zhang Hongjiang: Você acha que esse método pode ser aplicado a neurônios biológicos? Porque a razão pela qual faço esta pergunta é que existem alguns biólogos e neurocientistas que querem usar este método para estudar e explorar como os neurônios humanos funcionam em seu campo.
Sam Altman: É muito mais fácil ver o que está acontecendo em neurônios artificiais do que em neurônios biológicos. ** Então, acho que essa abordagem é válida para redes neurais artificiais. **Acho que existe uma maneira de usar modelos mais poderosos para nos ajudar a entender outros modelos. Mas não tenho certeza de como você aplicaria essa abordagem ao cérebro humano.
É viável controlar o número de modelos
Zhang Hongjiang: OK, obrigado. Agora que falamos sobre segurança de IA e controle de AGI, uma das questões que discutimos é: seria mais seguro se houvesse apenas três modelos no mundo? É como o controle nuclear, você não quer que as armas nucleares proliferem. Temos esse tratado onde tentamos controlar o número de países que podem obter essa tecnologia. Então, controlar o número de modelos é uma direção viável?
Sam Altman: Acho que há opiniões diferentes sobre se é mais seguro ter um modelo minoritário ou majoritário no mundo. Eu acho que é mais importante, nós temos um sistema onde qualquer modelo robusto é adequadamente testado quanto à segurança? Temos uma estrutura em que qualquer pessoa que crie um modelo suficientemente robusto tenha os recursos e a responsabilidade de garantir que o que eles criam seja seguro e alinhado?
Zhang Hongjiang: Nesta reunião ontem, o professor Max, do MIT Future of Life Institute, mencionou um possível método, que é semelhante à forma como controlamos o desenvolvimento de medicamentos. Quando cientistas ou empresas desenvolvem novos medicamentos, você não pode comercializá-los diretamente. Você tem que passar por este processo de teste. Isso é algo que podemos aprender?
Sam Altman: Definitivamente, acho que podemos aprender muito com as estruturas de licenciamento e teste desenvolvidas em diferentes setores. Mas acho que fundamentalmente temos algo que pode funcionar.
Zhang Hongjiang: Muito obrigado, Sam. Obrigado por dedicar seu tempo para participar desta reunião, ainda que online. Tenho certeza de que há muito mais perguntas, mas devido ao tempo, temos que parar por aqui. Espero que da próxima vez que você tiver a oportunidade de vir à China, venha a Pequim, possamos ter uma discussão mais aprofundada. muito obrigado.
Ver original
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
O texto completo está aqui! Zhang Hongjiang fala com OpenAI Altman: AGI mudará fundamentalmente a civilização e não haverá GPT-5 em breve
Fonte: Wall Street News
Autor: Ge Jiming
Em 10 de junho, o fundador da OpenAI, Sam Altman, apareceu na Conferência de Inteligência Artificial Zhiyuan de 2023, realizada em Pequim, China, por meio de um link de vídeo. Esta foi a primeira vez que Altman fez um discurso para um público chinês.
Em seu discurso, Altman citou o "Tao Te Ching" e falou sobre a cooperação entre os principais países, dizendo que a segurança da IA começa com uma única etapa, e a cooperação e coordenação entre os países deve ser realizada.
Em seguida, Altman aceitou uma sessão de perguntas e respostas individual com Zhang Hongjiang, presidente do Zhiyuan Research Institute.
Dr. Zhang Hongjiang é atualmente o presidente do Beijing Zhiyuan Artificial Intelligence Research Institute, e também atua como diretor independente e consultor para várias empresas. Ele foi diretor executivo e CEO do Kingsoft Group e CEO da Kingsoft Cloud. Ele foi um dos fundadores do Microsoft Asia Research Institute. ) Dean e Microsoft "Distinguished Scientist".
Antes de ingressar na Microsoft, Zhang Hongjiang foi gerente da Hewlett-Packard Labs no Vale do Silício, EUA; antes disso, ele também trabalhou no Institute of Systems Science, National University of Singapore. O conteúdo central do discurso de Altman:
Conteúdo principal da sessão de perguntas e respostas:
Nota: "Alinhamento de IA" é a questão mais importante em questões de controle de IA, ou seja, o objetivo do sistema de IA deve estar alinhado (consistente) com os valores e interesses humanos.
Conteúdo do discurso de Sam Altman:
Com o advento de sistemas de inteligência artificial cada vez mais poderosos, as apostas para a cooperação global nunca foram tão altas.
Se não formos cuidadosos, um sistema de IA mal colocado, projetado para melhorar os resultados da saúde pública, pode atrapalhar todo o sistema de saúde, fornecendo recomendações infundadas. Da mesma forma, os sistemas de IA projetados para otimizar a produção agrícola podem esgotar inadvertidamente os recursos naturais ou danificar os ecossistemas devido à falta de consideração da sustentabilidade a longo prazo que afeta a produção de alimentos, um equilíbrio ambiental.
Espero que todos possamos concordar que o avanço da segurança AGI é uma das áreas mais importantes em que precisamos trabalhar juntos e encontrar pontos em comum.
Eu também acredito profundamente no futuro. Precisamos investir na segurança da AGI para chegar onde queremos e aproveitar.
Para fazer isso, precisamos de uma coordenação cuidadosa. Esta é uma tecnologia global com alcance global. O custo dos acidentes causados pelo desenvolvimento e implantação imprudentes afetará a todos nós.
Na cooperação internacional, acho que há duas áreas-chave que são as mais importantes.
Em primeiro lugar precisamos estabelecer normas e padrões internacionais e prestar atenção à inclusão no processo. O uso de sistemas AGI em qualquer país deve seguir tais padrões e normas internacionais de forma igual e consistente. Dentro dessas cercas de segurança, acreditamos que as pessoas têm ampla oportunidade de fazer suas próprias escolhas.
Em segundo lugar, precisamos absolutamente de cooperação internacional para construir de forma verificável a confiança internacional no desenvolvimento seguro de sistemas de IA cada vez mais poderosos. Não tenho ilusões de que esta é uma tarefa fácil que requer muita atenção dedicada e sustentada. **
O Tao Te Ching nos diz: Uma jornada de mil milhas começa com um único passo. Acreditamos que o primeiro passo mais construtivo nesse sentido é cooperar com a comunidade científica e tecnológica internacional.
O que precisa ser enfatizado é que devemos aumentar o mecanismo de transparência e compartilhamento de conhecimento na promoção do progresso tecnológico. Quando se trata de segurança AGI, os pesquisadores que descobrem problemas emergentes de segurança devem compartilhar suas percepções para o bem maior.
Precisamos pensar muito sobre como podemos respeitar e proteger a propriedade intelectual enquanto incentivamos essa norma. Se fizermos isso, abriremos novas portas para aprofundarmos nossa cooperação.
De forma mais ampla, devemos investir na promoção e orientação de pesquisas sobre alinhamento e segurança da IA.
Na Open AI, nossa pesquisa hoje se concentra em questões técnicas que permitem que a IA desempenhe um papel útil e mais seguro em nossos sistemas atuais. Isso também pode significar que treinamos o ChatGPT de forma que não faça ameaças de violência ou ajude os usuários em atividades prejudiciais.
Mas à medida que nos aproximamos da era da AGI, o impacto potencial e o tamanho do impacto dos sistemas de IA desalinhados crescerão exponencialmente. Enfrentar esses desafios de forma proativa agora minimiza o risco de resultados catastróficos no futuro.
Para o sistema atual, usamos principalmente aprendizado por reforço com feedback humano para treinar nosso modelo para ser um assistente de segurança útil. Este é apenas um exemplo de várias técnicas de ajuste pós-treinamento. E também estamos trabalhando duro em novas tecnologias, que exigem muito trabalho de engenharia.
Desde o término do pré-treinamento do GPT4 até sua implantação, dedicamos 8 meses ao trabalho de alinhamento. No geral, achamos que estamos fazendo um bom trabalho aqui. O GPT4 é mais humano do que qualquer um de nossos modelos anteriores.
No entanto, o alinhamento continua sendo um problema em aberto para sistemas mais avançados, que, argumentamos, requerem novas abordagens técnicas com governança e supervisão aprimoradas.
Para futuros sistemas AGI, propõe 100.000 linhas de código binário. É improvável que supervisores humanos descubram se tal modelo está fazendo algo nefasto. Portanto, estamos investindo em algumas direções de pesquisa novas e complementares que esperamos que levem a avanços.
**
**Um deles é a supervisão escalável. Podemos tentar usar sistemas de IA para ajudar os humanos a supervisionar outros sistemas de IA. Por exemplo, podemos treinar um modelo para ajudar a supervisão humana a encontrar falhas na saída de outros modelos. **
A segunda é a habilidade interpretativa. Queríamos tentar entender melhor o que está acontecendo dentro desses modelos. Publicamos recentemente um artigo usando GPT-4 para interpretar neurônios em GPT-2. **Em outro artigo, usamos Model Internals para detectar quando um modelo está mentindo. **Ainda temos um longo caminho a percorrer. Acreditamos que técnicas avançadas de aprendizado de máquina podem melhorar ainda mais nossa capacidade de explicar.
Em última análise, nosso objetivo é treinar sistemas de IA para ajudar nos estudos de alinhamento. **A beleza dessa abordagem é que ela pode ser dimensionada com a velocidade do desenvolvimento da IA.
Colher os benefícios extraordinários da AGI ao mesmo tempo em que reduz os riscos é um dos desafios seminais de nosso tempo. Vemos um grande potencial para pesquisadores na China, nos EUA e em todo o mundo trabalharem juntos em direção ao mesmo objetivo e trabalharem duro para resolver os desafios técnicos impostos pelo alinhamento da AGI.
Se fizermos isso, acredito que seremos capazes de usar a AGI para resolver os problemas mais importantes do mundo e melhorar muito a qualidade da vida humana. Muito obrigado.
A seguir está a transcrição da conversa:
Nos próximos dez anos teremos um sistema de IA muito poderoso
Zhang Hongjiang, presidente do Zhiyuan Research Institute, perguntou: **A que distância estamos da inteligência artificial geral (AGI)? O risco é urgente ou estamos longe disso? **
Sam Altman: É difícil estimar quando. **É muito provável que tenhamos sistemas de IA muito poderosos nos próximos dez anos, e novas tecnologias mudarão fundamentalmente o mundo mais rápido do que pensamos. **Nesse mundo, acho importante e urgente acertar isso (regras de segurança da IA), e é por isso que apelo à comunidade internacional para trabalhar em conjunto.
De certa forma, a aceleração e o impacto sistêmico das novas tecnologias que estamos vendo agora não tem precedentes. Então, acho que é estar preparado para o que está por vir e estar ciente das preocupações de segurança. Dada a escala da IA, os riscos são significativos.
Na sua opinião, no campo da segurança AGI, quais são as vantagens de diferentes países para resolver este problema, especialmente para resolver questões de segurança AI. Como esses pontos fortes podem ser combinados?
Cooperação global para propor padrões e estruturas de segurança para IA
Zhang Hongjiang: Você mencionou várias vezes na introdução anterior que a cooperação global está em andamento. Sabemos que o mundo já enfrentou crises consideráveis no passado. De alguma forma, para muitos deles, conseguimos construir um consenso, construir uma cooperação global. Você também está em uma turnê global, que tipo de colaboração global você está tentando promover?
Sam Altman: Sim, estou muito satisfeito com as reações e respostas de todos até agora. Acho que as pessoas estão levando muito a sério os riscos e as oportunidades da AGI.
Acho que a discussão sobre segurança percorreu um longo caminho nos últimos 6 meses. Parece haver um compromisso real para descobrir uma estrutura que nos permita aproveitar esses benefícios enquanto trabalhamos juntos globalmente para reduzir os riscos. Acho que estamos muito bem preparados para fazer isso. A cooperação global é sempre difícil, mas vejo isso como uma oportunidade e uma ameaça para unir o mundo. Seria muito útil se pudéssemos criar uma estrutura e padrões de segurança para esses sistemas.
Como resolver o problema de alinhamento da inteligência artificial
Zhang Hongjiang: Você mencionou que o alinhamento da inteligência artificial avançada é um problema não resolvido. Também notei que a OpenAI se esforçou muito nos últimos anos. Você mencionou que o GPT-4 é de longe o melhor exemplo no campo do alinhamento. Você acha que podemos resolver os problemas de segurança da AGI apenas com o ajuste fino (API)? Ou é muito mais difícil do que a maneira como esse problema é resolvido?
Sam Altman: Acho que existem diferentes maneiras de entender a palavra alinhamento. Acho que o que precisamos resolver é o desafio em todo o sistema de inteligência artificial. O alinhamento no sentido tradicional de fazer o comportamento do modelo corresponder à intenção do usuário certamente faz parte disso.
Mas também haverá outras questões, como verificar o que os sistemas estão fazendo, o que queremos que eles façam e como ajustar o valor do sistema. É muito importante ter uma visão geral da segurança do AGI.
Todo o resto é difícil sem uma solução técnica. Acho que é muito importante nos concentrarmos em garantir que abordamos os aspectos técnicos da segurança. Como mencionei, descobrir quais são nossos valores não é uma questão técnica. Embora requeira aporte técnico, é um tema que merece uma discussão aprofundada por toda a sociedade. Devemos projetar sistemas que sejam justos, representativos e inclusivos.
Zhang Hongjiang: Para alinhamento, o que vemos GPT-4 ainda é uma solução do ponto de vista técnico. Mas existem muitos outros fatores além da tecnologia, muitas vezes sistêmicos. A segurança da IA pode não ser exceção aqui. Além dos aspectos técnicos, quais são os outros fatores e questões? Você acha que é fundamental para a segurança da IA? Como devemos responder a esses desafios? Especialmente porque a maioria de nós somos cientistas. O que deveríamos fazer.
Sam Altman: Esta é certamente uma questão muito complexa. Mas todo o resto é difícil sem uma solução técnica. Acho muito importante que o governo se concentre em garantir que abordamos os aspectos técnicos da segurança. **Como mencionei, descobrir quais são nossos valores não é uma questão técnica. Requer aporte técnico, mas também é um tema que merece uma discussão aprofundada por toda a sociedade. **Devemos projetar sistemas que sejam justos, representativos e inclusivos. **
E, como você aponta, precisamos pensar na segurança não apenas do próprio modelo de AI, mas do sistema como um todo.
Portanto, é importante ser capaz de construir classificadores e detectores seguros que sejam executados em sistemas que monitoram a IA quanto à conformidade com as políticas de uso. Acho difícil prever com antecedência todos os problemas que surgirão com qualquer tecnologia. Portanto, aprenda com o uso no mundo real e implemente iterativamente para ver o que acontece quando você realmente cria a realidade e a melhora.
Também é importante dar tempo para que os humanos e as sociedades aprendam e se atualizem e pensem sobre como esses modelos irão interagir com suas vidas de maneiras boas e ruins.
Requer a cooperação de todos os países
Zhang Hongjiang: Anteriormente, você mencionou a cooperação global. Você tem viajado pelo mundo. China, Estados Unidos e Europa são as forças motrizes por trás da inovação da inteligência artificial. Na sua opinião, na AGI, quais são as vantagens de diferentes países para resolver o problema da AGI, especialmente para resolver o problema da segurança humana? Como esses pontos fortes podem ser combinados?
Sam Altman: Acho que geralmente são necessárias muitas perspectivas diferentes e segurança de IA. Ainda não temos todas as respostas, e esta é uma questão bastante difícil e importante.
Além disso, como mencionado, não é uma questão puramente técnica tornar a IA segura e benéfica. Envolve entender as preferências do usuário em diferentes países em contextos muito diferentes. Precisamos de muitas entradas diferentes para fazer isso acontecer. A China tem alguns dos melhores talentos de IA do mundo. Fundamentalmente, acho que as melhores mentes de todo o mundo são necessárias para lidar com a dificuldade de alinhar sistemas avançados de IA. Então, eu realmente espero que os pesquisadores chineses de IA possam fazer grandes contribuições aqui.
Requer uma arquitetura muito diferente para tornar a AGI mais segura
Zhang Hongjiang: Perguntas de acompanhamento sobre GPT-4 e segurança de IA. É possível que precisemos mudar toda a infraestrutura ou toda a arquitetura do modelo AGI. Para torná-lo mais seguro e fácil de ser verificado.
Sam Altman: É totalmente possível que precisemos de algumas arquiteturas muito diferentes, tanto do ponto de vista funcional quanto do ponto de vista da segurança.
Acho que seremos capazes de fazer algum progresso, um bom progresso em explicar os recursos de nossos vários modelos agora e fazer com que eles nos expliquem melhor o que estão fazendo e por quê. Mas sim, eu não ficaria surpreso se houvesse outro salto gigante depois do Transformer. Mudamos muito a arquitetura desde o Transformer original.
A possibilidade de código aberto OpenAI
Zhang Hongjiang: Eu entendo que o fórum de hoje é sobre segurança de IA, porque as pessoas estão muito curiosas sobre OpenAI, então tenho muitas perguntas sobre OpenAI, não apenas sobre segurança de IA. Eu tenho uma pergunta do público aqui, há algum plano para OpenAI reabrir o código de seus modelos como fazia antes da versão 3.0? Também acho que o código aberto é bom para a segurança da IA.
Sam Altman: Alguns de nossos modelos são de código aberto e outros não, mas com o passar do tempo, acho que você deve esperar que continuemos a abrir mais modelos de código aberto no futuro. Não tenho um modelo ou cronograma específico, mas é algo que estamos discutindo agora.
Zhang Hongjiang: A BAAI faz todos os esforços de código aberto, incluindo os próprios modelos e algoritmos. Acreditamos que temos essa necessidade, compartilhar e dar que você percebe como aquele que está no controle. Você tem ideias semelhantes ou esses tópicos foram discutidos entre seus colegas ou colegas da OpenAI.
Sam Altman: Sim, **acho que o código aberto tem um papel importante de certa forma. **
Também surgiram muitos novos modelos de código aberto recentemente. Acho que o modelo de API também tem um papel importante. Ele nos fornece controles de segurança adicionais. Você pode bloquear certos usos. Você pode bloquear certos tipos de ajustes. Se algo não funcionar, você pode devolvê-lo. Na escala do modelo atual, não estou muito preocupado com isso. Mas, à medida que o modelo se torna tão poderoso quanto esperamos, se estivermos certos sobre isso, acho que o código aberto pode não ser o melhor caminho, embora às vezes esteja certo. **Acho que só temos que equilibrar com cuidado. **
Teremos mais modelos grandes de código aberto no futuro, mas não há modelo e cronograma específicos.
O próximo passo para AGI? Veremos o GPT-5 em breve?
Zhang Hongjiang: Como pesquisador, também estou curioso, qual é a próxima direção da pesquisa AGI? Em termos de grandes modelos, grandes modelos de linguagem, veremos o GPT-5 em breve? A próxima fronteira é em modelos incorporados? A robótica autônoma é uma área que a OpenAI é ou planeja explorar?
Sam Altman: Também estou curioso sobre o que vem a seguir, e uma das minhas coisas favoritas sobre fazer este trabalho é que há muita emoção e surpresa na vanguarda da pesquisa. Ainda não temos as respostas, então estamos explorando muitos novos paradigmas possíveis. Claro que, em algum momento, tentaremos fazer um modelo GPT-5, mas não tão cedo. Não sabemos quando exatamente. Trabalhamos com robótica desde o início do OpenAI e estamos muito interessados nisso, mas tivemos algumas dificuldades. Espero que um dia possamos voltar a este campo.
Zhang Hongjiang: Parece ótimo. Você também mencionou em sua apresentação como usa o GPT-4 para explicar como o GPT-2 funciona, tornando o modelo mais seguro. Essa abordagem é escalável? É nessa direção que a OpenAI continuará avançando no futuro?
Sam Altman: Continuaremos a avançar nessa direção.
Zhang Hongjiang: Você acha que esse método pode ser aplicado a neurônios biológicos? Porque a razão pela qual faço esta pergunta é que existem alguns biólogos e neurocientistas que querem usar este método para estudar e explorar como os neurônios humanos funcionam em seu campo.
Sam Altman: É muito mais fácil ver o que está acontecendo em neurônios artificiais do que em neurônios biológicos. ** Então, acho que essa abordagem é válida para redes neurais artificiais. **Acho que existe uma maneira de usar modelos mais poderosos para nos ajudar a entender outros modelos. Mas não tenho certeza de como você aplicaria essa abordagem ao cérebro humano.
É viável controlar o número de modelos
Zhang Hongjiang: OK, obrigado. Agora que falamos sobre segurança de IA e controle de AGI, uma das questões que discutimos é: seria mais seguro se houvesse apenas três modelos no mundo? É como o controle nuclear, você não quer que as armas nucleares proliferem. Temos esse tratado onde tentamos controlar o número de países que podem obter essa tecnologia. Então, controlar o número de modelos é uma direção viável?
Sam Altman: Acho que há opiniões diferentes sobre se é mais seguro ter um modelo minoritário ou majoritário no mundo. Eu acho que é mais importante, nós temos um sistema onde qualquer modelo robusto é adequadamente testado quanto à segurança? Temos uma estrutura em que qualquer pessoa que crie um modelo suficientemente robusto tenha os recursos e a responsabilidade de garantir que o que eles criam seja seguro e alinhado?
Zhang Hongjiang: Nesta reunião ontem, o professor Max, do MIT Future of Life Institute, mencionou um possível método, que é semelhante à forma como controlamos o desenvolvimento de medicamentos. Quando cientistas ou empresas desenvolvem novos medicamentos, você não pode comercializá-los diretamente. Você tem que passar por este processo de teste. Isso é algo que podemos aprender?
Sam Altman: Definitivamente, acho que podemos aprender muito com as estruturas de licenciamento e teste desenvolvidas em diferentes setores. Mas acho que fundamentalmente temos algo que pode funcionar.
Zhang Hongjiang: Muito obrigado, Sam. Obrigado por dedicar seu tempo para participar desta reunião, ainda que online. Tenho certeza de que há muito mais perguntas, mas devido ao tempo, temos que parar por aqui. Espero que da próxima vez que você tiver a oportunidade de vir à China, venha a Pequim, possamos ter uma discussão mais aprofundada. muito obrigado.