O que nos ensina o romance de Peter Watts, «Cegueira Falsa»
No romance «Cegueira Falsa», o biólogo canadense e escritor Peter Watts propôs uma hipótese radical: a mente pode ser eficaz sem consciência. Quase 20 anos após a publicação do livro, essa tese descreve precisamente a inteligência artificial generativa.
Vamos entender por que «inteligente» não é igual a «compreensiva» e quais erros cometemos ao humanizar algoritmos.
Romance de 2006, que se tornou um comentário aos anos 2020
«Cegueira Falsa» foi publicado em outubro de 2006. O romance foi indicado ao prêmio Hugo em 2007 e foi finalista dos prêmios John Campbell e Locus.
Seu autor é um biólogo marinho da Universidade da Colúmbia Britânica, com doutorado em zoologia e ecologia de recursos. No romance, ele incluiu mais de 130 referências a trabalhos científicos, embaladas em uma narrativa de ficção científica sobre o primeiro contato. Nos anos 2000, o livro permanecia de nicho, classificado como ficção científica «hard» e distinguido por um estilo pesado e uma visão sombria da natureza humana. Críticos destacaram uma prosa intransponível e uma frieza emocional na narrativa.
A ideia do romance baseia-se na distinção de dois conceitos frequentemente associados: inteligência, como capacidade de resolver problemas, processar informações, e consciência, como compreensão subjetiva, sensação de «como é estar» algo, como formulou o filósofo Thomas Nagel.
Watts propõe uma hipótese provocativa: a consciência é uma propriedade evolutivamente redundante, um efeito colateral, e não uma condição necessária para a inteligência.
O romance explora essa intuição através de várias linhas narrativas. Os criptógrafos — seres alienígenas na nave «Rorschach» — possuem uma inteligência muitas ordens de magnitude superior à humana. Eles analisam a atividade neural da tripulação e resolvem tarefas complexas. Mas não têm experiência subjetiva. Não sabem que existem. Como Watts formula com uma das personagens:
«Imagine que você é um criptógrafo. Imagine que você tem uma mente, mas não razão, tem tarefas, mas não consciência. Seus nervos vibram com programas de sobrevivência e autopreservação, flexíveis, autogeridos, até tecnológicos — mas não há sistema que cuide deles. Você pode pensar em qualquer coisa, mas não percebe nada».
O protagonista e narrador, Siri Kiton, é um humano que, na infância, passou por uma hemisferectomia para tratar epilepsia. Ele consegue modelar com precisão o comportamento de outras pessoas, mas é desprovido de empatia e experiência emocional genuína. Seu papel é o de um sintetizador, um tradutor de dados complexos para o centro de comando: ele transforma informações sem relação pessoal com elas. Kiton mesmo admite:
«Não é meu trabalho entender. Para começar, se eu pudesse entendê-los, não seriam avanços tão grandes. Eu sou, digamos, um condutor».
A terceira linha é a do vampiro Yukka Sarasti, um predador do Paleoceno ressuscitado geneticamente, com uma inteligência superior à humana. Os vampiros podem ver simultaneamente ambos os lados do cubo de Nekkér — operando várias modelos cognitivas paralelamente.
Excesso consciente
Por trás de cada um desses personagens há uma base filosófica real. A concepção de zumbis filosóficos, introduzida por Robert Kirk em 1974 e popularizada por David Chalmers no livro «A Mente Consciente» (1996), descreve uma criatura hipotética, fisicamente idêntica ao humano, mas desprovida de experiência subjetiva. Os criptógrafos representam uma radicalização dessa ideia: não uma cópia do humano sem consciência, mas uma forma de inteligência fundamentalmente diferente.
Chalmers, em 1995, formulou o «problema difícil da consciência»: por que processos físicos no cérebro geram experiência subjetiva? Mesmo que expliquemos completamente todas as funções cognitivas — atenção, categorização, processamento de informações — resta a questão: por que sua execução é acompanhada por sensação? «Cegueira Falsa» aborda esse problema e o inverte: e se a resposta for «nenhuma sensação é necessária»?
Watts descreveu a gênese da ideia assim: ele buscava uma explicação funcional para a consciência e aplicava o mesmo teste a cada possível função — a sistema inconsciente consegue fazer o mesmo? A resposta sempre foi «sim». Então, percebeu que uma conclusão mais forte era a ausência de função. No pós-escrito do romance, Watts resume: a consciência, em condições cotidianas, pouco se ocupa, além de «receber memorandos de uma camada subconsciente muito mais inteligente, aprovar e atribuir toda a glória a ela mesma».
Muito antes de Watts, a ideia de consciência como uma «sobrecarga» evolutiva foi formulada pelo filósofo norueguês Peter Wessel Zapffe. Em seu ensaio «O Último Messias» (1933), ele comparou a mente humana a como «alguns cervos na época paleontológica» morreram por causa de «chifres excessivamente pesados». Zapffe considerava a consciência uma espécie de excesso evolutivo: uma capacidade que evoluiu além da necessidade prática, transformando-se de vantagem em fardo.
Mas, se Watts prova que a consciência não é necessária para a inteligência, a tese do pensador norueguês é ainda mais radical: ela não é apenas redundante, mas destrutiva. Para ele, os humanos precisam «limitar artificialmente o conteúdo da consciência» para não sucumbir ao estado de «pânico cósmico» ao perceber sua finitude.
O filósofo David Rosenthal chegou a uma conclusão semelhante. Em um artigo de 2008, mostrou que a consciência dos estados cognitivos não acrescenta uma função significativa além dos processos que a geram.
Eliza na sala chinesa
Em 1980, o filósofo John Searle publicou o experimento mental «Sala Chinesa», que se tornou amplamente conhecido. Sua essência: uma pessoa que não conhece chinês fica em uma sala fechada com um conjunto de regras para manipular caracteres hieroglíficos. Ao receber perguntas em chinês, ela monta respostas de acordo com as regras. O observador externo fica convencido de que há alguém que entende chinês lá dentro. Mas a pessoa não entende nada. A conclusão de Searle: a sintaxe não é idêntica à semântica. O processamento correto de símbolos não significa compreensão de seu significado.
Esse experimento é incorporado na narrativa de «Cegueira Falsa» diretamente. Quando a tripulação do «Teseu» estabelece contato com «Rorschach», a nave alienígena responde em inglês idiomático. Inicialmente, isso é visto como uma inovação — comunicação com uma inteligência extraterrestre. Mas a linguista Susan James percebe gradualmente: «Rorschach» aprendeu inglês interceptando transmissões humanas. Ele coleta e combina padrões linguísticos. Produz respostas gramaticalmente e contextualizadas corretas. Mas não entende o que fala.
Watts explica a ideia por meio da explicação do próprio Kiton:
«A essência é que se pode comunicar usando algoritmos de análise comparativa simples e sem ter a menor ideia do que se está dizendo. Se usar um conjunto suficientemente detalhado de regras, pode passar no teste de Turing. Ser considerado um astuto e brincalhão, mesmo sem saber a língua na qual se comunica».
Se LLMs são uma sala chinesa, por que milhões de pessoas agem como se por trás da interface estivesse uma entidade compreensiva? A resposta está nos vieses cognitivos, produzidos pela evolução.
Em 1966, o pioneiro em inteligência artificial Joseph Weizenbaum criou o ELIZA no MIT, um programa que usava correspondência de padrões simples para imitar um psicoterapeuta. Ele reformulava as falas do usuário em perguntas. O efeito impressionou o próprio criador: sua assistente, que acompanhava o desenvolvimento, pediu para ficar sozinha com o ELIZA após alguns minutos de conversa. Weizenbaum escreveu posteriormente:
«Não imaginei que uma interação tão curta com um programa relativamente simples pudesse gerar um pensamento delirante poderoso em pessoas completamente normais».
Esse fenômeno ficou conhecido como «efeito Eliza» — a tendência de atribuir compreensão às máquinas que, na verdade, não a possuem. O efeito persiste mesmo quando o usuário sabe que está diante de um programa.
Esse é um viés cognitivo. Evoluímos para reconhecer nossos semelhantes, e a linguagem é um dos marcadores diagnósticos mais fortes de pertencimento à espécie Homo sapiens. Watts descreveu esse mecanismo no romance por meio do personagem Robert Canningham, que explica por que uma criatura inconsciente será indistinguível de uma consciente:
«Um autômato inteligente se fundirá ao fundo, observará o ambiente, imitará seu comportamento e agirá como uma pessoa comum. E tudo isso — sem perceber o que faz, sem sequer perceber sua própria existência».
O professor de robótica cognitiva do Imperial College London e pesquisador sênior do Google DeepMind, Murray Shanahan, alerta:
«O uso descuidado de palavras carregadas de filosofia, como ‘acredita’ e ‘pensa’, é especialmente problemático, porque obscurece o mecanismo e incentiva ativamente a antropomorfização».
Os criptógrafos escrevem código
Em 2024, Watts, em entrevista à revista Helice, afirmou: «Há 20 anos, previ coisas que acontecem hoje. Mas agora não tenho ideia do que acontecerá nos próximos 20 anos».
Uma das principais lições do romance não está na previsão de tecnologias. É um aviso sobre a armadilha cognitiva: a consciência não é obrigatória para a eficácia. Os criptógrafos resolvem tarefas melhor que humanos, sem possuir experiência subjetiva. LLMs escrevem código e traduzem línguas sem compreensão.
Nós antropomorfizamos não porque a IA nos engana, mas porque nosso cérebro foi programado para buscar inteligência na linguagem. O efeito Eliza, descrito ainda em 1966, foi amplificado várias vezes por sistemas treinados em bilhões de textos.
O romance ensina a distinguir o que o sistema faz do que o sistema é. A habilidade de não confundir imitação com compreensão continua sendo uma das competências mais valiosas. Watts formulou esse entendimento duas décadas antes de a questão se tornar prática.
Texto: Sasha Kosovan
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Consciência — um atavismo - ForkLog: criptomoedas, IA, singularidade, futuro
O que nos ensina o romance de Peter Watts, «Cegueira Falsa»
No romance «Cegueira Falsa», o biólogo canadense e escritor Peter Watts propôs uma hipótese radical: a mente pode ser eficaz sem consciência. Quase 20 anos após a publicação do livro, essa tese descreve precisamente a inteligência artificial generativa.
Vamos entender por que «inteligente» não é igual a «compreensiva» e quais erros cometemos ao humanizar algoritmos.
Romance de 2006, que se tornou um comentário aos anos 2020
«Cegueira Falsa» foi publicado em outubro de 2006. O romance foi indicado ao prêmio Hugo em 2007 e foi finalista dos prêmios John Campbell e Locus.
Seu autor é um biólogo marinho da Universidade da Colúmbia Britânica, com doutorado em zoologia e ecologia de recursos. No romance, ele incluiu mais de 130 referências a trabalhos científicos, embaladas em uma narrativa de ficção científica sobre o primeiro contato. Nos anos 2000, o livro permanecia de nicho, classificado como ficção científica «hard» e distinguido por um estilo pesado e uma visão sombria da natureza humana. Críticos destacaram uma prosa intransponível e uma frieza emocional na narrativa.
A ideia do romance baseia-se na distinção de dois conceitos frequentemente associados: inteligência, como capacidade de resolver problemas, processar informações, e consciência, como compreensão subjetiva, sensação de «como é estar» algo, como formulou o filósofo Thomas Nagel.
Watts propõe uma hipótese provocativa: a consciência é uma propriedade evolutivamente redundante, um efeito colateral, e não uma condição necessária para a inteligência.
O romance explora essa intuição através de várias linhas narrativas. Os criptógrafos — seres alienígenas na nave «Rorschach» — possuem uma inteligência muitas ordens de magnitude superior à humana. Eles analisam a atividade neural da tripulação e resolvem tarefas complexas. Mas não têm experiência subjetiva. Não sabem que existem. Como Watts formula com uma das personagens:
O protagonista e narrador, Siri Kiton, é um humano que, na infância, passou por uma hemisferectomia para tratar epilepsia. Ele consegue modelar com precisão o comportamento de outras pessoas, mas é desprovido de empatia e experiência emocional genuína. Seu papel é o de um sintetizador, um tradutor de dados complexos para o centro de comando: ele transforma informações sem relação pessoal com elas. Kiton mesmo admite:
A terceira linha é a do vampiro Yukka Sarasti, um predador do Paleoceno ressuscitado geneticamente, com uma inteligência superior à humana. Os vampiros podem ver simultaneamente ambos os lados do cubo de Nekkér — operando várias modelos cognitivas paralelamente.
Excesso consciente
Por trás de cada um desses personagens há uma base filosófica real. A concepção de zumbis filosóficos, introduzida por Robert Kirk em 1974 e popularizada por David Chalmers no livro «A Mente Consciente» (1996), descreve uma criatura hipotética, fisicamente idêntica ao humano, mas desprovida de experiência subjetiva. Os criptógrafos representam uma radicalização dessa ideia: não uma cópia do humano sem consciência, mas uma forma de inteligência fundamentalmente diferente.
Chalmers, em 1995, formulou o «problema difícil da consciência»: por que processos físicos no cérebro geram experiência subjetiva? Mesmo que expliquemos completamente todas as funções cognitivas — atenção, categorização, processamento de informações — resta a questão: por que sua execução é acompanhada por sensação? «Cegueira Falsa» aborda esse problema e o inverte: e se a resposta for «nenhuma sensação é necessária»?
Watts descreveu a gênese da ideia assim: ele buscava uma explicação funcional para a consciência e aplicava o mesmo teste a cada possível função — a sistema inconsciente consegue fazer o mesmo? A resposta sempre foi «sim». Então, percebeu que uma conclusão mais forte era a ausência de função. No pós-escrito do romance, Watts resume: a consciência, em condições cotidianas, pouco se ocupa, além de «receber memorandos de uma camada subconsciente muito mais inteligente, aprovar e atribuir toda a glória a ela mesma».
Muito antes de Watts, a ideia de consciência como uma «sobrecarga» evolutiva foi formulada pelo filósofo norueguês Peter Wessel Zapffe. Em seu ensaio «O Último Messias» (1933), ele comparou a mente humana a como «alguns cervos na época paleontológica» morreram por causa de «chifres excessivamente pesados». Zapffe considerava a consciência uma espécie de excesso evolutivo: uma capacidade que evoluiu além da necessidade prática, transformando-se de vantagem em fardo.
Mas, se Watts prova que a consciência não é necessária para a inteligência, a tese do pensador norueguês é ainda mais radical: ela não é apenas redundante, mas destrutiva. Para ele, os humanos precisam «limitar artificialmente o conteúdo da consciência» para não sucumbir ao estado de «pânico cósmico» ao perceber sua finitude.
O filósofo David Rosenthal chegou a uma conclusão semelhante. Em um artigo de 2008, mostrou que a consciência dos estados cognitivos não acrescenta uma função significativa além dos processos que a geram.
Eliza na sala chinesa
Em 1980, o filósofo John Searle publicou o experimento mental «Sala Chinesa», que se tornou amplamente conhecido. Sua essência: uma pessoa que não conhece chinês fica em uma sala fechada com um conjunto de regras para manipular caracteres hieroglíficos. Ao receber perguntas em chinês, ela monta respostas de acordo com as regras. O observador externo fica convencido de que há alguém que entende chinês lá dentro. Mas a pessoa não entende nada. A conclusão de Searle: a sintaxe não é idêntica à semântica. O processamento correto de símbolos não significa compreensão de seu significado.
Esse experimento é incorporado na narrativa de «Cegueira Falsa» diretamente. Quando a tripulação do «Teseu» estabelece contato com «Rorschach», a nave alienígena responde em inglês idiomático. Inicialmente, isso é visto como uma inovação — comunicação com uma inteligência extraterrestre. Mas a linguista Susan James percebe gradualmente: «Rorschach» aprendeu inglês interceptando transmissões humanas. Ele coleta e combina padrões linguísticos. Produz respostas gramaticalmente e contextualizadas corretas. Mas não entende o que fala.
Watts explica a ideia por meio da explicação do próprio Kiton:
Se LLMs são uma sala chinesa, por que milhões de pessoas agem como se por trás da interface estivesse uma entidade compreensiva? A resposta está nos vieses cognitivos, produzidos pela evolução.
Em 1966, o pioneiro em inteligência artificial Joseph Weizenbaum criou o ELIZA no MIT, um programa que usava correspondência de padrões simples para imitar um psicoterapeuta. Ele reformulava as falas do usuário em perguntas. O efeito impressionou o próprio criador: sua assistente, que acompanhava o desenvolvimento, pediu para ficar sozinha com o ELIZA após alguns minutos de conversa. Weizenbaum escreveu posteriormente:
Esse fenômeno ficou conhecido como «efeito Eliza» — a tendência de atribuir compreensão às máquinas que, na verdade, não a possuem. O efeito persiste mesmo quando o usuário sabe que está diante de um programa.
Esse é um viés cognitivo. Evoluímos para reconhecer nossos semelhantes, e a linguagem é um dos marcadores diagnósticos mais fortes de pertencimento à espécie Homo sapiens. Watts descreveu esse mecanismo no romance por meio do personagem Robert Canningham, que explica por que uma criatura inconsciente será indistinguível de uma consciente:
«Um autômato inteligente se fundirá ao fundo, observará o ambiente, imitará seu comportamento e agirá como uma pessoa comum. E tudo isso — sem perceber o que faz, sem sequer perceber sua própria existência».
O professor de robótica cognitiva do Imperial College London e pesquisador sênior do Google DeepMind, Murray Shanahan, alerta:
Os criptógrafos escrevem código
Em 2024, Watts, em entrevista à revista Helice, afirmou: «Há 20 anos, previ coisas que acontecem hoje. Mas agora não tenho ideia do que acontecerá nos próximos 20 anos».
Uma das principais lições do romance não está na previsão de tecnologias. É um aviso sobre a armadilha cognitiva: a consciência não é obrigatória para a eficácia. Os criptógrafos resolvem tarefas melhor que humanos, sem possuir experiência subjetiva. LLMs escrevem código e traduzem línguas sem compreensão.
Nós antropomorfizamos não porque a IA nos engana, mas porque nosso cérebro foi programado para buscar inteligência na linguagem. O efeito Eliza, descrito ainda em 1966, foi amplificado várias vezes por sistemas treinados em bilhões de textos.
O romance ensina a distinguir o que o sistema faz do que o sistema é. A habilidade de não confundir imitação com compreensão continua sendo uma das competências mais valiosas. Watts formulou esse entendimento duas décadas antes de a questão se tornar prática.
Texto: Sasha Kosovan