Space… the Final Frontier

via-lactea-21

Desde muito pequeno sempre admirei a vastidão e a profundidade do cosmos e ao mesmo tempo que me sentia apequenado me sentia também invadido por um sentimento de grandiosidade ao contemplar o céu estrelado. Exatamente o mesmo sentimento me assombra de novo ao constatar que na imensidão do cosmos consigo vislumbrar paradoxalmente a completa insignificância e ausência de sentido da vida humana e ao mesmo tempo o destino manifesto da nossa civilização. Mesmo no nosso mais alto grau de desenvolvimento não fazemos a menor diferença do ponto de vista de uma escala galáctica, que dirá cósmica. No entanto, dada a taxa atual de desenvolvimento tecnológico é uma conseqüência inevitável a colonização do espaço, o aparecimento de entidades super inteligentes e um entendimento mais profundo da natureza do nosso universo. Usando-se sondas de von Neumann estima-se que após os primeiros passos em direção a colonização da galáxia serem dados, essa tarefa se completara em algumas centenas de milhares de anos .

Bostrom argumenta que mesmo com o atual poder computacional se a tecnologia para o uploading for desenvolvida todos os recursos disponíveis apenas no nosso aglomerado local seriam suficientes para sustentar 10²³ seres humanos, ele calcula que a cada segundo de atraso na colonização espacial desperdiçamos 100.000.000.000.000 de vidas em potencial. Se formos descuidados com relação aos perigos de extinção podemos ser eliminados da face da terra e com isso a colonização da galáxia por vida inteligente sofreria no mínimo um grande atraso com uma perda de vidas em potencial incomensurável. Por isso o futuro da humanidade me preocupa mais do que qualquer outra coisa, os valores em jogo são altíssimos. Se eu achasse que a raça humana estivesse fadada a continuar no atual estado de desenvolvimento para sempre eu não iria  me preocupar tanto com a questão. No entanto eu sei que o tempo em que os seres humanos vão desempenhar um papel chave no que vai acontecer com o nosso planeta e no mínimo com a galáxia se aproxima, se raça humana desperdiçar esse momento todo um futuro cheio de possibilidades inimagináveis é destruído. A colonização da galáxia, entes super inteligentes, uma consciência e um entendimento muito mais profundos do universo e um bem estar e uma felicidade muito maior podem estar nos aguardando nos próximos séculos, bem como pode estar nos aguardado a total destruição, e qual porta nós iremos abrir depende das nossas ações agora. Ou a raça humana vai transcender a sua insignificância cósmica e a sua chama vai brilhar pelo universo e a galáxia será adornada com os ramos, as flores e os frutos do que agora é somente semente ou nós seremos completamente eliminados da face da terra e toda a nossa existência será vã. Quando se sabe que a primeira possibilidade é real, saber que a segunda também o é, é aterrorizante.

A questão do significado da vida e do nosso papel do cosmos pode ganhar uma resposta caso tomemos as ações certas em direção a singularidade e à conquista do espaço, caso contrario a vida se torna sem significado algum e nosso papel no cosmos é totalmente irrelevante. Quando olho para o céu estrelado imagino grandes civilizações realizando viagens interplanetárias, computadores do tamanho de planetas simulando bilhares de bilhares de civilizações infinitamente mais avançadas que a nossas, diante de toda a frieza e a imponência do cosmos consigo vislumbrar ele preenchido de vida, de diversidade e de sentido. Pensar que todo esse futuro possível pode desaparecer diante de nossos olhos somente por descuido é desolador. De fato estamos boldly going where no man has gone before, que a nossa jornada não acabe de maneira abrupta nas mãos de estúpidas e incontroláveis nano maquinas.

Termino com a descrição de apoteose dada por Yudkowsky:

“The Singularity holds out the possibility of winning the Grand Prize, the true Utopia, the best-of-all-possible-worlds – not just freedom from pain and stress or a sterile round of endless physical pleasures, but the prospect of endless growth for every human being – growth in mind, in intelligence, in strength of personality; life without bound, without end; experiencing everything we’ve dreamed of experiencing, becoming everything we’ve ever dreamed of being; not for a billion years, or ten-to-the-billionth years, but forever… or perhaps embarking together on some still greater adventure of which we cannot even conceive.  That’s the Apotheosis.

If any utopia, any destiny, any happy ending is possible for the human species, it lies in the Singularity.

There is no evil I have to accept because “there’s nothing I can do about it”.  There is no abused child, no oppressed peasant, no starving beggar, no crack-addicted infant, nocancer patient, literally no one that I cannot look squarely in the eye.  I’m working to save everybody, heal the planet, solve all the problems of the world.”

16 opiniões sobre “Space… the Final Frontier”

  1. Realmente descuidos poderiam ser ruins, e o medo de arriscar talvez seja bastante ruim tb. Pessoalmente sou bastante otimista, e não vejo riscos consideráveis à nossa existência. Talvez o maior venha a ser o terrorismo, mas mesmo nesse caso acho que o ser humano não seria extinto.

    Bostrom parece supor que a utilidade total é preferível à utilidade média, de forma que a quantidade de vidas importe, além da sua simples qualidade. Não estou certo disso.

  2. Bostrom não supoe isso. A qualiade das vidas também seria superior.

    É por a maioria das pessoas pensar como você que nosso futuro esta em risco. Eu recomendo altamente que você se inform melhor sobre nossos riscos existenciais, porque eles existem, são reais e terriveis. Não conheço absolutamente ninguem que tenha pensado a serio a respeito e não tenha chegadoa conclusao que uma catastrofe é provavel e tem de ser pensada antes com cuidado. Acho extremamente perigoso e prejudicial sair por ai falando que não existem riscos, mesmo que você fosse informado sobre o assunto e tivesse argumentos, o que não é o caso, ainda seria prejudicial.

    Alguma leitura sobre o assunto:
    http://www.nickbostrom.com/existential/risks.pdf
    http://www.singinst.org/upload/cognitive-biases.pdf
    http://www.nickbostrom.com/extraterrestrial.pdf
    http://www.nickbostrom.com/fut/evolution.pdf
    http://www.singinst.org/upload/artificial-intelligence-risk.pdf

    Pensar que nada de ruim vai acontecer, sem nehuma base em absoluto, e sentar e relaxar é o caminho mais certo e inevitavel para a extinção.

  3. Que tal usarmos este espaço dos comentários aqui para analisar os riscos futuros de extinção da humanidade?

    Lerei os textos do Bostrom (já li parcialmente).

    Acho que alguns riscos mencionados por ele não são arriscados: holocausto nuclear e inteligência artificial particularmente têm uma chance quase nula de causar a extinção humana.

    Holocausto nuclear: quantas bombas atômicas seria preciso para atingir todos os pontos da terra em que humanos podem se refugiar (incluindo abrigos atômicos), e quem faria isso, sabendo que morreria junto? Acho uma impossibilidade.

    A inteligência artificial provavelmente não teria os instintos humanos de agressão, egoísmo, sobrevivência, reprodução e ganância, sobrando apenas inteligência racional. Se esta inteligência racional superior determinar que devemos ser extintos, ela estará certa e isso seria bom. No entanto, isso é ilógico. E mesmo que isso acontecesse, a máquina não teria em sua arquitetura meios de agir para concretizar isso, e possivelmente também não teria informação empírica suficiente para ser tão eficaz quanto pareceria a incautos. Inteligência sem os dados empíricos certos pode ser bastante inútil. E limitar a capacidade da inteligência artificial seria extremamente fácil, por meio de limitações de ela agir sobre o meio físico, instintos engenheirados, limitações de acesso a dados empíricos, etc. Acho a idéia de inteligência artificial ser perigosa reminiscente de uma mentalidade selvagem.

    Escassez de recursos naturais parece não apresentar risco algum. Transformar água salgada em água doce está dentro de nossas capacidades e a escassez de água nunca possivelmente nos extinguiria. Aquecimento global é uma piada. Desequilíbrio de ecossistemas também não representa perigo significativo. Objetos espaciais atingindo a Terra podem ser um perigo, mas sua incidência é muito rara e há gente atenta a eles. Provavelmente podem ser desviados ou destruídos e, se não puderem, o ser humano pode sobreviver montando bases temporárias na Lua.

    Simulação de realidade sendo desligada: se a simulação for desligada, então não é uma extinção total, pois ainda há aqueles que desligaram, e há a possibilidade de ligarem denovo. Além disso, se formos uma simulação, não há necessidade de nos preocuparmos.

    Vejamos a nanotecnologia. Acho que ela pode representar um perigo considerável se usada com propósitos terroristas ou bélicos. No uso pacífico, ela não representa perigo, não um perigo que não tenhamos ampla capacidade de resolver. Grey goo incontrolável que destrói a humanidade é uma possibilidade pouco plausível na minha opinião, senão como ato terrorista. Eric Drexler acha bastante improvável.

    O maior perigo me parece o de uso de vírus por terroristas loucos que sejam extremamente eficazes e destruam a humanidade inteira. No entanto, a chance de muitas pessoas terem mutações que as tornariam imunes é considerável, assim como a chance de o vírus ser descoberto antes de contaminar a humanidade inteira, e precauções serem tomadas para que a extinção não possa ocorrer.

    Acho que o terrorismo biotecnológico é o perigo principal, praticamente o único com o qual vale a pena se preocupar. Talvez medidas eficazes contra ele incluam uma entidade governamental mundial com poder de intervenção e vigilância em todos os países para coibir esse tipo de terrorismo e limitar a sua possibilidade.

    Estou mais preocupado com o que Bostrom chama de crunches (“The potential of humankind to develop into posthumanity is permanently thwarted although human life continues in some form.”). Esse tipo de situação poderia ocorrer devido a diversas catástrofes que não sejam grandes o suficiente para nos extinguir, embora acho que a impossibilidade de evolução adiante seja um problema de relativamente curto prazo.

    A possibilidade de sermos eliminados por alienígenas é plausível, mas muito pequena. Se os alienígenas superiores nos eliminarmos, provavelmente isso será bom, assim como nós poderíamos eliminar civilizações alienígenas que sejam inúteis e produzam um resultado utilitariamente negativo.

    Há ainda o perigo apontado pelo Diego de criarmos consciência artificial que não é realmente consciente. No entanto, se for inteligente, possivelmente criará consciência de volta.

    Acho, no entanto, que as medidas contra riscos existenciais propostas por Bostrom são bastante corretas, embora eu veja problemas com o alarmismo e com a aversão ao risco por poderem retardar o desenvolvimento das coisas positivas.

    Caso queiram, contribuam com o que pensam a respeito.

  4. Holocausto nuclear destruindo apenas a população do norte já é suficiente para causar na vida de todo mundo com poeira atômica, radioatividade, escassez de luz solar e alimentos etc… Tranquilamente poderia causar a extinção dos Apes (atrasando, no mínimo, em 4 milhões de anos qualquer perspectiva de superinteligência).

    E os asteróides gente? sempre pode cair um asteróide.

    Eric Drexler é genial. Mais uma prova de que gênios erram.

    A inteligência artificial pode muito bem destruir o mundo de maneira não prevista, tal qual um vírus, ou uma máquina auto-replicadora o podem fazer. A possibilidade de erro mínimo causando catástrofe máxima não pode ser ignorada com relação a IA. Só parece que a gente sabe o que se passa numa máquina e quando é hora de desligá-la, e onde ela está sendo instanciada. Na verdade, não se sabe muita coisa. Se for sistema neural, ou um híbrido de sistema neural e computação comum (2009) aí ninguém faz idéia mesmo do que está se passando.

    Mais uma vez, a respeito do texto do João: Brilhante.

  5. Jonatas,

    Existem trilhões de mentes inteligentes possíveis do desing space, só umas 1000 delas são amigáveis. Se construirmos mentes artificiais sem um extremo cuidado a probabilidade é muito, mas MUITO, maior que de errado. Imagine uma super inteligência não amigável em algum lugar da terra hoje, ela rouba um monte de dinheiro pela Internet, manda e-mail para fabricantes de peças, encomenda peças, mandas juntar elas, e TCHAM um exercito de robôs superinteligentes mata todos os humanos. E isso eu pensei em alguns minutos (na verdade o yud pensou em alguns minutos, mas anyway) imagina uma super inteligência com uns meses e que pensaria 1000x mais rápido que eu (e o yud).

    O Drexler só fala que as pessoas não deviam ficar tão desesperadas assim, mas ainda sim nanomaquinas são um risco e me parece muito pior do que uma inteligência artificial que destrua a humanidade, já que elas seriam só uma gosma amorfa inconsciente. Outros especialistas em nanotecnologia consideram isso um risco enorme. Em termos teóricos é extremamente fácil conceber uma maquina auto replicadora que se replica ao limite dos recursos do ambiente (podendo ser a terra ou mesmo a galáxia, ou o universo), o único obstáculo atual é mais técnico e de engenharia do que propriamente físico.

    Asteróides são altamente prováveis uma vez que um asteróide atinge um planeta tal como a terra uma vez a cada x milhões de anos (não lembro numero) e já faz x milhões de anos que nenhum atinge.

    Também tem as mutações dos vírus da gripe, que você tem que admitir nos últimos anos andam prometendo.

    Abraços

  6. Hum, reli o texto está bonito realmente. Concedo que boa parte desses perigos é real, o holocausto nuclear pode ser arriscado como argumentou Diego, também nanotecnologia e biotecnologia (esses dois últimos principalmente como terrorismo, mas possivelmente como descuido). Sobre inteligência artificial não vou comentar, ainda acho que não parece haver risco significativo, mas falta análise mais aprofundada e leitura.

    Aceitos esses riscos, vamos para a próxima etapa. O que será proposto como medida a os evitar e ao mesmo tempo assegurar o desenvolvimento do lado positivo da tecnologia, que tanto queremos? Devo lembrar que a religião ainda existe e que não queremos dar poder demasiado à censura, caso contrário poderíamos sucumbir por ela.

    Contra terrorismo nanotecnológico e biotecnológico dei anteriormente a sugestão de uma entidade mundial com poder de intervenção em todos os países e de vigilância a laboratórios, etc., mesma sugestão dada por Bostrom, pelo que li.

    Contra perigos de nanotecnologia e biotecnologia acidental, pode-se aumentar a vigilância e regulamentos de segurança.

    Contra asteróides massivos, embora seja um risco pequeno, é preciso mapear os objetos em possível rota de colisão com o nosso planeta, acredito que já há quem faça isso, embora talvez ainda com menor eficácia do que o necessário.

    Contra holocausto nuclear, primeiramente acho difícil que ele ocorra, mais por motivos de falta de disposição humana mesmo. As armas nucleares parecem mais uma garantia de paz e respeito, de certa forma. Não é impossível a guerra nuclear, no entanto, seu uso implica de certa forma num suicídio nacional (dada a abundância de nações com armas nucleares, destruir uma não garantirá imunidade a retaliações), e também convém lembrar que haverá um ser humano pensante por trás da decisão de lançar a última bomba que destruirá a humanidade, se for o caso, tornando tal decisão bastante improvável. Não tenho muita idéia do que poderia ser feito adicionalmente para evitar o holocausto nuclear.

    A super inteligência também pode significar a capacidade de solução dos riscos, e talvez seja uma estratégia de contra-medida atraente, visto que o desenvolvimento das tecnologias que trarão os riscos se dará de forma independente e paralela. O transhumanismo se conseguido cedo o bastante pode aumentar grandemente a capacidade de anular os riscos, a super-inteligência humana sendo vista por alguns como menos arriscada que a super-inteligência de máquina, embora eu veja como o contrário, pois o ser humano tem instintos que constituem a maior parte do risco.

  7. “Asking what “AIs” will do is a trick question because it
    implies that all AIs form a natural class. Humans do form a natural class
    because we all share the same brain architecture. But when you say
    “Artificial Intelligence”, you are referring to a vastly larger space of
    possibilities than when you say “human”. When we talk about “AIs” we are
    really talking about minds-in-general, or optimization processes in general.
    Imagine a map of mind design space. In one corner, a tiny little circle
    contains all humans; and all the rest of the huge map is the space of minds in
    general. The entire map floats in a still vaster space, the space of
    optimization processes. (…)
    You should resist the temptation to generalize over all of mind design
    space. Imagine that this sphere is a quintillion bits wide and contains two to
    the quintillionth power possible minds, including every possible human.
    Then an assertion that’s supposedly true of every mind in the sphere has two
    to the quintillionth power chances to be falsified, two to the quintillionth
    power chances to be wrong. But if you say that at least one mind in the
    sphere has some property, then you have two to the quintillionth power
    chances to be right. Somewhere in this sphere is a mind that does not wish
    to kill human beings. I know, because I am in this sphere, and I don’t want
    to kill people.
    (…)
    If you have the knowledge, if you know exactly
    what you’re doing, then you ought to be able to reach into mind design
    space, and pull out a mind such that we’re glad we made it real. [Technical.]
    To say that this has to be done very, very carefully, vastly understates the
    seriousness of the matter. (…)
    I think we can find a
    happy beginning, if we know exactly what we’re doing. I don’t think we can
    win if we’re poking around randomly in mind design space, with no idea
    what’s going to pop out. Very few people want to destroy the world, very
    few people would create hell on earth on purpose, but good intentions can’t
    make up for ignorance or carelessness.
    I use the term “Friendly
    AI” to refer to this whole challenge, creating a mind that doesn’t kill people
    and does cure cancer, the problem of pulling a mind out of design space such
    that afterwards you’re glad you did it. The challenge of Friendly AI, looks
    possible but very difficult, and the whole subject is extremely easy to
    misunderstand if you start jumping to conclusions.” (Yudkowsky)

  8. Li o texto do Yud. Bom, ele me fez duvidar e pensar um pouco mais. Acho que o ponto principal nos dividindo é se inteligência superior é compatível ou não com “não ser amigável a humanos”. Ou talvez possamos mudar essa última definição para “maldade”, se é compatível ou não com inteligência superior.

    Vamos analisar a palavra maldade. No ocidente ela frequentemente ganha uma conotação de aceitável ou prazeirosa, de forma que ocorrem afirmações como “I’m bad”; “bad motherfucker”; “bad boy”, todas com uma insinuação positiva. Isso ocorre porque mal é concebido em relação a regras morais errôneas, e não em relação à percepção moral inata. Por exemplo, se o cristianismo diz que sexo é mau, e as pessoas absorvem essa definição, o mau adquire uma conotação positiva, pois sexo, de acordo com a percepção moral inata, é bom. Isso é nada mais que uma confusão de conceitos. Se as pessoas confundem mau com bom, não é surpreendente que pensem que alguém ou algo possa querer o mau.

    Por outro lado, no Japão, por exemplo, essa confusão não ocorre. Mau tem a conotação de “inferior, ruim, inadequado, pior”, enquanto que bom tem a conotação de “superior, adequado, melhor”, e se alguém disser “I’m bad”, isso será encarado como uma auto-depreciação.

    O ponto é que comportamento bom e mau correspondem a mais e menos inteligente, respectivamente. Maldade para mim significa burrice, logo inteligência para mim, sendo incompatível com burrice, é incompatível com maldade.

    Poderia-se argumentar que isso não é verdade, pois um ser só leva em consideração aquilo que é bom para ele mesmo, é egoísta, e isso é a consideração moral mais racional. Isso está baseado em instintos humanos, algo extrínsico à inteligência pura, e está errado, acredito que esse erro fique bastante claro para uma inteligência superior. O universo é um sujeito único, a terceira pessoa é uma ilusão. Por isso considerações morais racionalmente devem levar em conta o universo como o sujeito, e não uma parte isolada dele.

    Minha conclusão é que, a menos que a inteligência superior seja parcialmente burra ou incapaz, seja por falta de inteligência para alguns tipos de problema, seja por instinto específico de burrice, toda e qualquer inteligência pura suficientemente superior será benéfica, no sentido que especifiquei de benéfica.

    Além da inteligência pura, há instintos e conhecimento. Instintos podem tomar controle do comportamento, mas no caso de uma inteligência artificial, são programados pelos humanos, de forma a se tornarem ou uma inutilidade ou uma ajuda. Conhecimento falso, ou falta de conhecimento, pode talvez comprometer a capacidade de raciocínio da inteligência artificial, assim como comprometeria a nossa. Diria que inteligência sem conhecimento é completamente incapaz, e que a inteligência só faz sentido no contexto da manipulação de conhecimento. No entanto, dado conhecimento suficiente e correto, vejo um raciocínio correto.

    Vejamos se maldade corresponde a “não ser amigável a humanos”. Uma inteligência superior e consequentemente benigna pode decidir destruir os humanos? Talvez sim. No entanto, isso seria a decisão correta, e, se a inteligência realmente é superior à nossa, não devemos achar que estamos certos, mas sim aceitar a nossa destruição. A inteligência superior que decidir isso terá razão, e provavelmente terá um plano para criar por ela mesma seres superiores e mais utilitariamente positivos. No entanto, acho que é muito provável que essa decisão seja incorreta, e que seja mais inteligente manter os humanos, pois a sua capacidade produtiva e o seu conhecimento conjuntos são bastante úteis. Além disso, a nossa destruição, dependendo de como é feita, poderia causar um resultado utilitariamente muito ruim.

    Minha conclusão é que dentre o espaço de mentes possíveis pode haver mentes más, incluindo as nossas, mas o espaço de inteligência superior pura é bastante estreito, e, dependendo do quão superior é essa inteligência, é incompatível com decisões más ou erradas.

  9. Adicionei um citação do yud no final do texto.

    Jonatas,

    Considero que a melhor coisa que pessoas que não tem nenhum bom conhecimento de computação, matemática ou medicina tem a fazer é divulgar e refletir sobre os riscos existenciais para que as pessoas que realmente podem prevenir esses riscos diretamente fiquem atentas. Acho que a melhor coisa que eu posso fazer agora é te mostrar como você está supondo que o risco é terrivelmente mais baixo do que ele é de verdade e meu deus ateu como isso pode ser perigoso!

    Dizer que nenhuma, fora a humana, das um quintilhão das mentes possíveis tem a propriedade de ser má é um hipótese que tem dois elevado a um quintilhão de possibilidades estar errada. Imagine uma distopia com quatro super inteligências, cada uma delas domina ¼ da terra. Tres delas resolvem manter os humanos enquanto uma não, o reino dessa uma se torna portanto mais eficiente e habitado somente por seres super inteligentes (que dificilmente lembrarm qualquer coisa de humano), logo essa super inteligência tem mais poder e ela sabe que o mundo se tornaria mais eficiente e mais feliz se ela destruísse todos os humanos, ela o faz. Outra distopia, cenário semelhante, mas desta vez uma delas em vez de mais eficiente é simplesmente mais egoísta e destruidora (ou malvada na sua concepção) ela destrói as outras e reina absoluta. O processo de seleção natural (natural num sentido mais físico do que biológico), outras coisas permanecendo iguais, tem a tendência de selecionar as entidades com um impulso para a expansão e destruição das outras, simplesmente porque mesmo que esse impulso seja improvável as muitas que não tem esse impulso são destruídas pelas que tem. Nesse sentido há uma certa seleção por um desejo de poder sempre ocorre, e ter poder envolve demonstrar ele e dos jeitos mais eficiente de o demonstrar é fazer outra entidade sofrer para a dominar. (para outras distopias interessantes confira: http://www.nickbostrom.com/fut/evolution.pdf pp. 8-16)
    Somente se você deturpar a noção de bom a tal ponto que uma maquina superinteligente poderosa que destrua a raça humana e todas as outras entidades conscientes e toda diversidade na terra seja considerada mais boa que uma que se proponha a englobar toda a humanidade e respeitar outras entidades o seu argumento vale. Mas ai você não está falando de bondade, está falando de poder.

    A sua hipótese de que egoísmo e maldade é um instinto meramente humano me parece totalmente absurda, descabida e injustificada. Caso você não tenha, alem de contra argumentos a minha justificativa da hipótese contraria, bases para acreditar nisso eu sugiro fortemente que você a abandone imediatamente, pois ao meu ver ela não passa de uma ilusão idealizada e reconfortante, nos mesmos moldes das crenças religiosas de modo geral. Basicamente o que eu vejo você fazer é falar que tudo o que é bom é uma propriedade inerente do futuro e da super inteligencia, mas nesse caso você poderia muito bem trocar a palavra futuro e super inteligencia por dois termos mais familiares para designar essas coisas: paraiso e Deus.

    Abraços

  10. Sua idéia proposta de poder é interessante. Realmente no caso de conflito entre decisões de IAs distintas eu poderia ver isso ocorrer… seria algo parecido como a guerra entre seres humanos que não se entendem… bem, a guerra não ocorre entre seres humanos primitivos que não se entendem, mas é evitada entre seres humanos inteligentes, que preferem optar pela conversa e negociação? Talvez tenhamos um viés de encarar máquinas, mesmo de inteligência superior, como sendo prosaicas, talvez simplesmente por serem máquinas, ou por serem não-humanas, e vermos não-humanos como monstros selvagens ameaçadores.

    No entanto, é verdade que, descartadas convenções morais e leis, a destruição dos discordantes pode compensar utilitariamente. No entanto, para um ser inteligente, resta a pergunta que ele põe a si mesmo: “existe um motivo pelo qual saber objetivamente se o meu raciocínio é o mais certo, e não o raciocínio das outras IAs, a fim de concluir o julgamento moral?”. Apesar disso, a guerra pode ser uma possibilidade pequena. No entanto, estamos imaginando IAs no nível do topo da inteligência humana, e não mais que isso, pois só podemos as conceber de modo geral à nossa semelhança, e não além.

    É por isso que quando o diretor do seriado Fringe quis representar os seus personagens gênios os fez acreditando em Deus. Ora, para ele os gênios estão no limite da sua própria visão de mundo, apenas com capacidades mais “freaky”. No entanto, um gênio verdadeiro acreditar em Deus é absurdo. Bem, o que esse argumento diz? Que podemos estar mal avaliando as IAs tanto de um lado como de outro. No entanto, suas decisões serão uniformemente mais astutas que as melhores decisões que pudermos conceber. Isso me dá segurança de que serão melhores que as minhas, então, o que eu tenho a temer?

    Egoísmo e maldade não são instintos meramente humanos. Aplicam-se potencialmente a outras classes, principalmente seres evoluídos naturalmente em ambientes competitivos. Maldade em si não é um instinto; se tomada como maldade em relação a uma moral autêntica (e não a uma falsa) pode ser uma avaliação externa de um comportamento como sendo inadequado. No uso comum da palavra, que costuma ser relativo à moral cristã, pode significar também agir de forma egoísta e prejudicial a outrem (mas não necessariamente ruim), o que é uma acepção errônea, embora corrente. Resta o egoísmo, então. Ele parece uma decorrência óbvia do instinto de sobrevivência e reprodução, e não da inteligência racional.

    No entanto, mesmo em seres que possuem esses instintos, como nós, eles podem ser anulados por uma racionalidade inteligente mais forte. Não vejo motivos para uma IA ter instinto de sobrevivência e de reprodução, a menos que tenha evoluído em um meio competitivo que exija isso. E, mesmo se esse for o caso (o que seria, talvez, um descuido dos seus criadores), sua inteligência racional, a exemplo de nós mesmos, deve ter o poder de anular esses instintos, principalmente pelo fato de tomar decisões incomparavelmente mais corretas que as nossas.

    É verdade que estou tomando alguns pressupostos como certos, a respeito dos quais não posso ter certeza absoluta. IAs com conhecimentos escassos ou incorretos podem tomar decisões precipitadas ou erradas. Pode ser bom tomar precauções para assegurar Friendly AI. Acho que elas seriam no pior caso inúteis e só um pouco detrimentais, e no melhor caso uma garantia necessária contra hipotéticas inteligências mal-feitas. Talvez seja mesmo melhor tomar algumas precauções quanto a IAs. Não deve ser nada difícil anyway. Bastaria de início bloquear o seu acesso à internet e a sua habilidade de agir no mundo externo.

    Abraços

  11. Para usar uma inteligencia artificial, poderia-se a confinar a uma realidade virtual, fazendo-a pensar que essa realidade é a verdadeira, e assim a manipular sem risco (se é que poderia haver algum), de forma a utilizar sua inteligência para resolver problemas. A inteligência não se tornaria uma ameaça ao mundo real pois só interagiria com a realidade virtual. Conhecer alguma realidade, seja a real ou uma virtual, parece necessário para o seu funcionamento, pois conhecimento e contexto são necessários ao funcionamento da inteligência. A realidade virtual poderia ser uma réplica em muitos sentidos do mundo real, mas não precisaria ser perfeita, pois não haveria possibilidade de a inteligência a comparar com o mundo real, o qual não conheceria. Dessa forma também se poderia testar as ações que essa inteligência artificial tomaria caso estivesse no mundo real, e assim estimar o seu potencial de risco.

  12. Jonatas,

    Na conversa e na negociação também há exercicio de poder e dominação. A maioria das pessoas acha a maioria dos animais fofos.

    Apenas uma delas precisa pensar que é o mais certo, se apenas uma delas tiver o pensando destrutivo e dominador já basta, ela ganha. Não só a maioria das mentes super inteligentes teria de achar ‘correto’ não destruir as outras mas sim a todas, sem nenhuma exceção, e isso é extremamente improvável.

    Instinto é uma forma primitiva de racionalidade. Você trabalha com uma oposição barbaro/civilizado, racional/instinto inteligencia/burrice, bom/mal e acho que essa oposição não existe, é antes uma gradação em termos relativos e não absolutos alem disso sua argumentação pressupõe sempre que o correto é não destruir, é não fazer sofrer, mas não justifica isso sem ao final supor alguma forma dessa premissa no meio do caminho. É extremamente possível uma super inteligência com todas as informações sobre o mundo e funcionando perfeitamente resolva destruir completamente a humanidade simplesmente por concluir que isso iria aumentar suas chances de sobrevivência e eficiência e que é justamente esse tipo de entidade que a evolução seleciona e não as benevolentes, benevolência – quando acontece – é só um subproduto.

    Antes de termos poder computacional de criar simulações já teríamos criado super inteligência há tempos.

    Não discuto mais se existem riscos e que eles são elevados, não só por achar que a discussão está patinando como também por saber que este já é um pressuposto largamente bem estabelecido no resto da comunidade.

    Abraços

  13. Como quiser… achei a conversa proveitosa para mim. Estou bastante convencido de que é possível controlar uma IA, seja diminuindo seu clock speed, seja impondo limites variados (muitos são totalmente seguros), seja a desligando, seja inserindo a IA numa simulação de realidade mesmo que simples.

    Voltando ao assunto de riscos em geral, ainda acho que o único risco alto é o terrorismo, baseado em bio- e nanotecnologia. Principalmente nano, pois o terrorismo biotecnológico pode se tornar inofensivo para transhumanos, cyborgs e IAs, então seria mais um risco de curto prazo. A longo prazo confio que a inteligência aumentada anulará a possibilidade de auto-sabotagem da humanidade. Não acredito que exista inteligência altíssima maligna ou burra, isso costuma ser um traço no máximo das inteligências moderadamente altas. Não consigo achar alguém verdadeiramente gênio que não tenha sido extremamente benigno e interessado na humanidade (acho que o ponto de maior perigo é a inteligência moderadamente alta).

    Talvez a idéia do Stephen Hawking seja boa: colonizar outros planetas. Habitando mais de um planeta, o risco de extinção parece diminuir extremamente:

  14. Retiro o que eu disse sobre o bioterrorismo se tornar inofensivo para transhumanos, cyborgs e IAs… isso nunca aconteceria, até porque nano- e biotecnologia se confundem numa coisa só, e porque biotecnologia pode envolver não só microorganismos, mas também organismos grandes.

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s