Récemment, le fondateur de Tesla Motors et SpaceX, Elon Musk, a créé une intelligence artificielle pour invoquer un démon impossible à contrôler. Musk partage son scepticisme avec le philosophe britannique Nick Bostrom, dont dernier livre"Superintelligence : voies, dangers, stratégies", a conseillé l'homme d'affaires à ses abonnés sur Twitter. Alors que certains futurologues prédisent un avenir confortable pour l’humanité grâce au remplacement généralisé du travail humain par le travail mécanique, Nick Bostrom considère l’intelligence artificielle comme une menace pour l’existence de notre espèce tout entière. Apparat s'est familiarisé avec les idées de Nick Bostrom et a découvert comment, selon lui, l'humanité peut être sauvée.

Nick Bostrom

Philosophe et professeur à l'Université d'Oxford

Il y a plusieurs années, le magazine Foreign Policy l'a inclus dans sa liste des 100 penseurs les plus importants de la planète. Nick Bostrom croit à l’autonomisation des individus grâce à la technologie. En 1998, il fonde l’Association Transhumaniste Mondiale (aujourd’hui appelée Humanité+) pour lutter pour la reconnaissance du transhumanisme comme domaine de connaissance scientifique à part entière. Bostrom est devenu célèbre en dehors des cercles universitaires lorsqu'il a décrit le concept d'extinction humaine dans le livre Global Catastrophic Risks. Bostrom est directeur de l'Oxford Future of Humanity Institute. Il tente désormais d'attirer l'attention du public sur une autre menace qui pèse sur notre civilisation : la superintelligence.

L'intelligence artificielle deviendra bientôt plus intelligente que nous

Pour Nick Bostrom, peu importe le domaine de connaissance qui nous mènera à la création de la superintelligence. Qu'il s'agisse de programmeurs qui ont écrit un programme capable de penser, ou de neuroscientifiques, recréé cerveau humain fonctionnel. L’essentiel est que cela se produise plus rapidement que nous ne le pensons. La plupart des experts interrogés par Bostrom prévoient la création d’une intelligence artificielle intelligente d’ici 2040 ou 2050.

L’intelligence artificielle est déjà supérieure à l’intelligence humaine dans de nombreux domaines. Oui, depuis de nombreuses années différents types l'intelligence artificielle bat les champions de toutes sortes de tournois de jeux, qu'il s'agisse d'échecs ou de poker. De telles réalisations ne semblent peut-être pas particulièrement impressionnantes, mais c’est parce que nos exigences en matière d’extraordinaire s’adaptent rapidement au progrès.

Grâce à sa capacité d'auto-apprentissage, l'intelligence artificielle se transformera en superintelligence

Selon Bostrom, au début intelligence artificielle ressemblera au cerveau d'un enfant. Et comme un enfant, il pourra apprendre. Les gens cesseront d’essayer de mettre autant d’informations que possible dans le programme et lui apprendront à se comprendre. le monde. L’existence d’une superintelligence sera possible grâce à une amélioration constante de soi.

Il est important pour nous de créer une intelligence artificielle suffisamment intelligente pour apprendre de ses erreurs. Il pourra s'améliorer à l'infini. La première version pourra en créer une seconde, qui sera meilleure, et la seconde, étant plus intelligente que l'originale, en créera une troisième encore plus avancée, et ainsi de suite. Dans certaines conditions, ce processus d'auto-amélioration peut être répété jusqu'à ce qu'une explosion intellectuelle soit obtenue - le moment où le niveau intellectuel du système passe en peu de temps d'un niveau relativement modeste au niveau de superintelligence.

La superintelligence aura ses propres besoins et objectifs

La façon de penser de l’intelligence artificielle sera différente de la nôtre. Nick Bostrom n’essaie pas de prédire exactement comment fonctionnera la motivation de la superintelligence. Mais quels que soient ses objectifs, il aura besoin de ressources pour les atteindre.

L’intelligence artificielle est peut-être moins humaine qu’un extraterrestre. Il n’est pas surprenant que tout extraterrestre intelligent puisse être motivé à agir par des facteurs tels que la faim, la température, une blessure, une maladie, une menace pour sa vie ou le désir d’avoir une progéniture. En fait, l’intelligence artificielle ne s’intéressera à aucun de ces éléments. On peut imaginer l’existence d’une intelligence artificielle dont le seul but ultime serait de compter tous les grains de sable de l’île de Boracay ou de trouver la représentation décimale du nombre π.

La superintelligence tentera d'utiliser les gens contre leur gré

Pour accéder aux ressources, la superintelligence va tenter de trouver un intermédiaire. Selon Bostrom, même sans connexion réseau ni capacité d’être physiquement actif, la superintelligence sera toujours en mesure d’atteindre ses objectifs. Car même lorsque nous atteindrons la maturité technologique, c’est-à-dire que nous créerons toutes les technologies possibles, notre principale faiblesse restera nous-mêmes.

L'homme est le système le plus peu fiable. Aujourd'hui, les pirates informatiques ont souvent recours aux principes de l'ingénierie sociale pour accéder à l'ordinateur de quelqu'un d'autre. Et si le hacker manipulateur s'avère être une superintelligence, alors nous pouvons supposer qu'il trouvera facilement un complice ou commencera simplement à nous utiliser contre notre gré comme bras et jambes.

La superintelligence pourrait « vouloir » rester la seule intelligence

Certains philosophes et scientifiques ne voient dans l’intelligence artificielle qu’un outil pour améliorer la qualité de nos vies. Parmi eux se trouve le philosophe américain John Searle : il considère impossible l'émergence de la conscience de soi dans les machines, car cela nécessite la présence de processus physiques et chimiques similaires à ceux qui se produisent dans le cerveau humain. Cependant, Bostrom estime qu'à un moment donné, la superintelligence cessera d'être un outil, mais se révélera être un être à part entière avec ses propres besoins, et le souci de la préservation de la race humaine n'en fera peut-être pas partie. Nous ne serons qu'un obstacle sur son chemin.

L'homme se représente ressource utile(atomes judicieusement regroupés), et sa survie et sa prospérité dépendent d’autres ressources. Le développement d’une intelligence artificielle ayant besoin de ces ressources pourrait facilement conduire à l’extinction de l’humanité. Ainsi, le temps viendra d’une société technologiquement hautement développée, comprenant de nombreuses structures complexes, dont beaucoup seront plus intelligentes que tout ce qui existe aujourd’hui sur la planète. Ce sera une époque de miracles économiques et technologiques. Mais il ne restera plus personne pour en profiter. Disneyland régnera sur Terre, dans lequel il n'y aura plus d'enfants.

L’humanité doit apprendre à garder la technologie sous contrôle

Nick Bostrom ne nie pas la possibilité de créer ou de contrôler une intelligence artificielle conviviale. Après tout, admet le philosophe, nous avons vraiment besoin de technologies intelligentes qui nous aideront à faire face aux problèmes urgents. La seule question est de réduire les risques, notamment celui d’extinction.

Si une explosion intellectuelle nous menace d’extinction, alors nous devons comprendre si nous pouvons contrôler le processus de détonation. Aujourd’hui, il serait plus logique d’accélérer les efforts pour résoudre le problème du contrôle plutôt que de suspendre la recherche dans le domaine de l’intelligence artificielle. Mais pour l’instant, six personnes travaillent à résoudre le problème du contrôle, tandis que des dizaines, voire des centaines de milliers, travaillent à la création d’une intelligence artificielle.

Conscient signifie armé

L’humanité n’est pas encore prête à rencontrer la superintelligence et ne le sera pas avant de nombreuses années, note Bostrom. Mais même si le sursaut intellectuel ne se produira peut-être pas avant un certain temps, nous devons prêter attention dès maintenant aux problèmes possibles. De nombreux scientifiques, dans leur quête de création d’une superintelligence, oublient les dangers.

La chose la plus sensée pour un enfant avec une bombe à retardement dans les mains serait de la poser soigneusement sur le sol, de sortir rapidement de la pièce et d'appeler un adulte. Mais que se passe-t-il si notre pièce entière est pleine d’enfants et que chaque enfant a un accès facile à la gâchette. Les chances que nous posions tous un jouet dangereux sont extrêmement faibles. Un petit idiot va forcément appuyer sur le bouton juste pour voir ce qui se passe.

Ce livre complète bien

La théorie des jeux

Avinash Dixit et Barry Nalbuff

Brainiac

Ken Jennings

Plaisir x

Stephen Strogatz

Superintelligence

Chemins, dangers, stratégies

Nick Bostrom

Intelligence artificielle

Étapes. Des menaces. Stratégies

"Mann, Ivanov et Ferber"

Information

de l'éditeur

Rédacteurs scientifiques M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publié avec la permission de l'agence Alexander Korzhenevski

Publié pour la première fois en russe

Bostrom, Nick

Intelligence artificielle. Étapes. Des menaces. Stratégies / Nick Bostrom ; voie de l'anglais S. Filina. - M. : Mann, Ivanov et Ferber, 2016.

ISBN978-5-00057-810-0

Que se passera-t-il si les machines surpassent les humains en intelligence ? Vont-ils nous aider ou détruire la race humaine ? Pouvons-nous aujourd’hui ignorer le problème du développement de l’intelligence artificielle et nous sentir totalement en sécurité ?

Dans son livre, Nick Bostrom tente de comprendre le problème auquel l'humanité est confrontée en lien avec la perspective de l'émergence de la superintelligence et d'analyser sa réponse.

Aucune partie de ce livre ne peut être reproduite sous quelque forme que ce soit sans l'autorisation écrite des détenteurs des droits d'auteur.

Le soutien juridique de la maison d'édition est assuré par le cabinet d'avocats Vegas-Lex.

Ce livre a été initialement publié en anglais en 2014. Cette traduction est publiée en accord avec Oxford University Press. L'éditeur est seul responsable de cette traduction à partir de l'œuvre originale et Oxford University Press ne pourra être tenu responsable des erreurs, omissions, inexactitudes ou ambiguïtés dans cette traduction ou de toute perte causée par la confiance accordée à celle-ci.

Avant-propos du partenaire

... J'ai un ami », a déclaré Edik. - Il prétend que l'homme est un maillon intermédiaire dont la nature a besoin pour créer la couronne de la création : un verre de cognac avec une tranche de citron.

Arkady et Boris Strugatsky. Le lundi commence le samedi

L'auteur estime que la menace mortelle est associée à la possibilité de créer une intelligence artificielle qui surpasse l'esprit humain. Une catastrophe pourrait éclater à la fin du XXIe siècle et dans les décennies à venir. Toute l’histoire de l’humanité le montre : lorsqu’il y a une collision entre un représentant de notre espèce, Homo sapiens, et n’importe qui d’autre habitant notre planète, celui qui est le plus intelligent gagne. Jusqu’à présent, nous avons été les plus intelligents, mais nous n’avons aucune garantie que cela durera éternellement.

Nick Bostrom écrit que si les algorithmes informatiques intelligents apprennent à créer indépendamment des algorithmes encore plus intelligents, et ceux-ci, à leur tour, encore plus intelligents, il y aura une croissance explosive de l'intelligence artificielle, en comparaison avec laquelle les gens ressembleront à peu près à des fourmis à côté des gens d'aujourd'hui, dans un sens intellectuel, bien sûr. Une nouvelle espèce, bien qu'artificielle, mais superintelligente, apparaîtra dans le monde. Peu importe ce qui « vient à l'esprit », une tentative de rendre tout le monde heureux ou une décision de mettre fin à la pollution anthropique des océans du monde de la manière la plus efficace, c'est-à-dire qu'en détruisant l'humanité, les gens ne pourront toujours pas résistez à cela. Aucune chance d'affrontement dans l'esprit du film Terminator, pas de fusillade avec des cyborgs de fer. L'échec et mat nous attend - comme dans un duel entre l'ordinateur d'échecs « Deep Blue » et un élève de première année.

Au cours des cent ou deux dernières années, les progrès de la science ont éveillé chez certains l’espoir de résoudre tous les problèmes de l’humanité, tandis que chez d’autres, ils ont suscité et continuent de susciter une peur effrénée. En même temps, il faut dire que les deux points de vue semblent tout à fait justifiés. Grâce à la science, de terribles maladies ont été vaincues, l'humanité est aujourd'hui capable de nourrir un nombre sans précédent de personnes et, d'un point du globe, on peut arriver à l'opposé en moins d'une journée. Cependant, grâce à la même science, les hommes, utilisant les dernières technologies militaires, se détruisent les uns les autres avec une rapidité et une efficacité monstrueuses.

Nous observons une tendance similaire - lorsque le développement rapide de la technologie conduit non seulement à la formation de nouvelles opportunités, mais crée également des menaces sans précédent - dans le domaine de la sécurité de l'information. Notre industrie tout entière est née et existe uniquement parce que la création et la distribution massive de choses aussi merveilleuses que les ordinateurs et Internet ont créé des problèmes qui auraient été inimaginables à l’ère pré-informatique. Grâce à l’avènement des technologies de l’information, une révolution s’est produite dans les communications humaines. Il a également été utilisé par divers types de cybercriminels. Et ce n'est que maintenant que l'humanité commence progressivement à prendre conscience de nouveaux risques : de plus en plus d'objets du monde physique sont contrôlés à l'aide d'ordinateurs et de logiciels, souvent imparfaits, pleins de trous et vulnérables ; Tous plus grand nombre De tels objets sont connectés à Internet et les menaces provenant du monde cybernétique se transforment rapidement en problèmes de sécurité physique, voire potentiellement de vie ou de mort.

C'est ce qui rend le livre de Nick Bostrom si intéressant. La première étape pour prévenir les scénarios cauchemardesques (pour un seul réseau informatique ou pour l’humanité entière) est de comprendre de quoi ils pourraient être. Bostrom émet de nombreuses réserves sur le fait que la création d'une intelligence artificielle comparable ou supérieure à l'esprit humain - une intelligence artificielle capable de détruire l'humanité - n'est qu'un scénario probable qui pourrait ne pas se réaliser. Bien sûr, les options sont nombreuses, et le développement de la technologie informatique ne détruira peut-être pas l'humanité, mais nous donnera la réponse à « la question principale de la vie, de l'Univers et de tout » (peut-être que ce sera vraiment le nombre 42, comme dans le roman « Le Guide du voyageur galactique »). Il y a de l’espoir, mais le danger est très sérieux, nous prévient Bostrom. À mon avis, si la possibilité d’une telle menace existentielle pour l’humanité existe, alors elle doit être traitée en conséquence et, afin de la prévenir et de s’en protéger, des efforts communs doivent être déployés à l’échelle mondiale.

Je voudrais terminer mon introduction par une citation du livre de Mikhail Weller « Man in the System » :

Lorsque la science-fiction, c'est-à-dire la pensée humaine encadrée par des images et des intrigues, répète quelque chose pendant longtemps et en détail, eh bien, il n'y a pas de fumée sans feu. Les films d’action hollywoodiens banals sur les guerres entre les peuples et la civilisation des robots contiennent un grain de vérité amère sous l’enveloppe du visionnage commercial.

Lorsqu'un programme transférable d'instincts sera intégré aux robots et que la satisfaction de ces instincts sera intégrée comme un besoin inconditionnel et fondamental, et que cela atteindra le niveau de l'auto-reproduction - alors, les gars, arrêtez de lutter contre le tabac et l'alcool, car il sera temps de boire et de fumer avant Hana pour nous tous.

8 Général

Évaluation par getAbstract

Selon Nick Bostrom, futuriste d'Oxford, l'intelligence artificielle peut devenir un outil permettant d'assurer la sécurité, la prospérité économique et le développement intellectuel, mais l'humanité ne sera peut-être pas en mesure d'exploiter tout le potentiel de cet outil. La critique étape par étape de Bostrom sur les pièges inhérents à la perception humaine de l'IA laisse penser que les humains n'ont ni les ressources ni l'imagination nécessaires pour comprendre la transition d'un monde dominé par les humains à un monde menacé ou déjà asservi par une entité. possédant un supramental. Bostrom décrit magistralement comment une telle superintelligence pourrait surgir, comment elle évoluerait vers un « singleton » tout-puissant et la menace qu’elle représenterait. Par exemple, que se passerait-il, se demande-t-il, si cette IA se développait à un tel point qu’elle formait un gouvernement mondial unique qui ne serait pas guidé par les principes traditionnels ? principes éthiques? Informatif, riche de références à diverses sources, le livre encourage le lecteur à réfléchir à de nombreuses inconnues. Le raisonnement de l'auteur s'appuie sur une analyse de toute une gamme de scénarios futurs possibles. Cette étude approfondie s’adresse principalement aux lecteurs particulièrement intéressés par le sujet. obtenirRésumé le recommande aux hommes politiques, futuristes, étudiants, investisseurs, philosophes et à tous ceux qui réfléchissent à la haute technologie.

Du résumé du livre, vous apprendrez :

Comment évolue la technologie connue sous le nom d’« intelligence artificielle » ;
Que suggèrent les scientifiques pour utiliser et contrôler l’IA ?
Pourquoi l’humanité n’est pas prête à faire face à l’IA.

A propos de l'auteur

Nick Bostrom– Professeur à l’Université d’Oxford, directeur fondateur de l’Institut pour l’avenir de l’humanité.

Perspectives d'émergence de la superintelligence

À l'été 1956, un groupe de scientifiques s'est réuni au Dartmouth College pour étudier les perspectives de développement humain. Ils s’intéressaient principalement à la capacité des machines à reproduire les fonctions de l’intelligence humaine. Les recherches sur ce sujet se sont poursuivies avec plus ou moins de succès. Dans les années 1980, des programmes basés sur des règles, ou « systèmes experts », ont commencé à se développer, et il a commencé à sembler que les technologies pouvant être utilisées pour créer une intelligence artificielle étaient sur le point de fleurir. Puis les progrès se sont arrêtés et les financements se sont taris. Les efforts en matière d’IA ont reçu un nouvel élan dans les années 1990 avec l’avènement des « algorithmes génétiques » et des « réseaux de neurones ».

Une mesure de la puissance de l'IA est la capacité des ordinateurs spécialement conçus à jouer à des jeux tels que les échecs, le bridge, le Scrabble, le Go et les jeux-questionnaires. Dans environ 10 ans, un ordinateur doté d’algorithmes avancés sera capable de vaincre le champion du monde de Go. Outre les jeux, des technologies similaires sont utilisées dans les appareils auditifs, les appareils de reconnaissance faciale et vocale, la navigation, le diagnostic, la planification, la logistique, ainsi que pour créer des robots industriels dont la fonctionnalité...

Nick Bostrom est un philosophe suédois, professeur à l'Université d'Oxford, co-fondateur de la World Transhumanist Association et directeur de l'Institut pour l'avenir de l'humanité, créé en 2005 à Oxford. Il tente de comprendre le problème auquel l'humanité est confrontée en lien avec la perspective de l'émergence de la superintelligence. Que se passera-t-il si les machines surpassent les humains en intelligence ? Vont-ils nous aider ou détruire l’humanité ? Pouvons-nous aujourd’hui ignorer le problème du développement de l’intelligence artificielle et nous sentir totalement en sécurité ? Nick Bostrom décrit des questions scientifiques complexes sur l'avenir de l'humanité langue accessible.

Avec l'autorisation de la maison d'édition Mann, Ivanov et Ferber, Lenta.ru publie un extrait du livre de Nick Bostrom, Artificial Intelligence.

Supermind pourra disposer de gigantesques capacités pour changer le futur selon ses objectifs. Mais quels sont ces objectifs ? Quelles sont les aspirations ? Le degré de motivation d’une superintelligence dépendra-t-il du niveau de son intelligence ?

Avons deux thèses. La thèse de l'orthogonalité affirme (à quelques exceptions près) que n'importe quel niveau d'intelligence peut être combiné avec n'importe quel objectif, puisque l'intelligence et objectifs ultimes sont des variables orthogonales, c’est-à-dire indépendantes. La thèse de la convergence instrumentale affirme que les agents superintelligents, même si leurs fins ultimes varient considérablement, poursuivront néanmoins des fins intermédiaires similaires parce que tous les agents auront les mêmes raisons instrumentales pour le faire. Considérées ensemble, ces thèses permettront de mieux comprendre quelles sont les intentions d’un acteur surintelligent.

La relation entre intelligence et motivation

Le livre mettait déjà en garde contre l’erreur de l’anthropomorphisme : il ne faut pas projeter les qualités humaines sur les capacités d’un agent superintelligent. Nous répétons notre avertissement en remplaçant seulement le mot opportunité par le mot motivation.

Avant de développer davantage la première thèse, menons une petite enquête préliminaire sur le thème de l’illimité de l’ensemble du spectre des esprits possibles. Dans cet espace abstrait, presque cosmique, du possible, l’esprit humain forme un amas insignifiant.

Choisissons deux représentants du genre humain qui, de l'avis général, sont des personnalités diamétralement opposées. Que ce soit Hannah Arendt et Benny Hill. Nous estimerons très probablement la différence entre eux au maximum. Mais faisons cela uniquement parce que notre perception est entièrement régulée par notre propre expérience, qui, à son tour, s'appuie sur des stéréotypes humains existants (dans une certaine mesure, nous sommes également influencés par des personnages fictifs, créés à nouveau par la fantaisie humaine pour satisfaire les mêmes besoins humains). imagination).

Cependant, si l’on change d’échelle de réflexion et regarde le problème de la répartition de l’esprit à travers le prisme de l’espace illimité du possible, on sera obligé d’admettre que ces deux individus ne sont que des clones virtuels. Au moins du point de vue de la caractérisation système nerveux Hannah Arendt et Benny Hill sont pratiquement identiques.

Supposons que les cerveaux des deux soient placés côte à côte dans le calme d’un musée, après avoir vu cette exposition, nous dirions immédiatement que ces deux-là appartiennent à la même espèce. De plus, combien d’entre nous pourraient dire quel est le cerveau d’Hannah Arendt et lequel est celui de Benny Hill ? Si nous pouvions étudier la morphologie des deux cerveaux, alors nous serions enfin convaincus de leur similitude fondamentale : une même architectonique lamellaire du cortex ; les mêmes parties du cerveau ; la même structure d'une cellule nerveuse cérébrale - un neurone avec ses neurotransmetteurs de même nature chimique.

Bien que l’esprit humain soit pratiquement comparable à un point indiscernable flottant dans l’espace illimité de vies supposées intelligentes, il existe une tendance à projeter les propriétés humaines sur une grande variété d’entités extraterrestres et de systèmes d’intelligence artificielle. Ce motif a été superbement commenté par Eliezer Yudkowsky dans le même ouvrage « L'intelligence artificielle comme facteur positif et négatif du risque global » :

« À l'apogée de la science-fiction populaire, de nature plutôt bon marché, les couvertures des magazines étaient pleines d'images dans lesquelles un autre monstre extraterrestre - plus connu sous le nom de « monstre aux yeux d'insecte » - traînait une fois de plus quelque part une autre beauté dans un style nécessairement robe relevée - et la beauté était notre femme terrestre.

Il semble que tous les artistes pensaient que les extraterrestres non humanoïdes ayant une histoire évolutive complètement différente devaient certainement éprouver une attirance sexuelle pour les beaux représentants de la race humaine.<...>Très probablement, les artistes qui ont représenté tout cela ne se sont même pas demandé si le scarabée géant serait même sensible aux charmes de nos femmes. Après tout, selon leurs idées, toute femme à moitié nue est simplement par définition sexuellement attirante, c'est-à-dire que ressentir du désir pour elle faisait partie intégrante des représentants courageux de la race humaine.

Toute l'attention artistique était dirigée vers la robe soulevée ou déchirée, le moins qui les inquiétait était le fonctionnement de la conscience des insectes géants. Et ce fut la principale erreur des artistes. Si leurs vêtements n’étaient pas déchirés, pensaient-ils, les femmes n’auraient pas l’air aussi tentantes aux yeux des monstres aux yeux d’insectes. C’est juste dommage que les extraterrestres eux-mêmes n’aient jamais compris cela.

Peut-être que l’intelligence artificielle, avec ses motivations, ressemblera encore moins à une personne qu’à un extraterrestre vert et écailleux venu de l’espace. Les extraterrestres sont des créatures biologiques (rien de plus qu'une supposition) qui ont émergé à la suite d'un processus évolutif et, en tant que telles, on peut s'attendre à ce qu'elles aient des motivations quelque peu typiques des êtres évolués.

Il ne serait donc pas surprenant qu'il s'avère que les motivations du comportement d'un extraterrestre intelligent sont dictées par des intérêts assez simples : la nourriture, l'air, la température, le risque de blessures corporelles ou de blessures passées, les troubles de santé, la prédation, le sexe et procréation. Si les extraterrestres appartenaient à une sorte de société intelligente, ils pourraient développer des motivations associées à la coopération et à la compétition. Comme nous, ils feraient preuve de loyauté envers leur communauté, en voudraient aux parasites et, qui sait, ne seraient pas dénués de vanité, se souciant de leur réputation et de leur apparence.

Les machines pensantes, par nature, contrairement aux extraterrestres, n’ont aucune raison de se soucier de telles choses. Il est peu probable que vous considériez la situation comme paradoxale si une sorte d'IA apparaissait dont le seul but, par exemple, est de : compter les grains de sable sur les plages de l'île de Boracay ; reprendre le nombre π et enfin le présenter sous la forme d'une fraction décimale ordinaire ; déterminer le nombre maximum de trombones dans le cône lumineux du futur.

En fait, il est beaucoup plus facile de créer une IA qui aura des objectifs clairs, plutôt que de lui imposer notre système de valeurs, en dotant la machine de propriétés et de motivations humaines. Décidez vous-même de ce qui est le plus difficile : écrivez un programme qui mesure combien de décimales dans le nombre π ont déjà été comptées et stockées en mémoire, ou créez un algorithme qui prend en compte de manière fiable dans quelle mesure un objectif absolument important pour l'humanité a a-t-on atteint, par exemple, un monde de prospérité et de justice universelles ?

Malheureusement, il est plus facile pour un humain d’écrire du code pour un comportement simplifié, dénué de sens et orienté vers un objectif d’une machine et de lui apprendre à effectuer une tâche donnée. Très probablement, ce sort sera choisi pour l'IA embryonnaire par un programmeur qui se concentre uniquement sur le désir de « faire fonctionner l'IA », et le plus rapidement possible (un programmeur qui ne se soucie clairement pas de ce que signifie exactement l'IA). L’IA devra faire autre chose que démontrer un comportement intelligent époustouflant). Nous reviendrons bientôt sur ce sujet important.

Une recherche intelligente de plans et de stratégies instrumentalement optimaux est possible pour n’importe quel objectif. L’intelligence et la motivation sont en quelque sorte orthogonales. Imaginons-les sous la forme de deux axes de coordonnées définissant un graphe dans lequel chaque point représente un agent intelligent logiquement possible. Certes, cette image nécessitera plusieurs précisions.

Par exemple, il serait impossible qu’un système sans intelligence ait des motivations très complexes. Pour que nous puissions dire à juste titre que tel ou tel agent « a » tel ou tel ensemble de motivations, il faut que ces motivations constituent un système fonctionnellement intégré avec un processus de prise de décision qui impose certaines exigences en matière de mémoire, de puissance de traitement et, peut-être, de niveau d'intelligence.

Une intelligence capable de s’auto-transformer est susceptible de présenter des caractéristiques dynamiques limitantes. Et cela veut dire : si une machine pensante qui a appris à se modifier éprouve soudain un fort désir de devenir stupide, alors très vite elle cessera d’être un système intelligent. Cependant, nos commentaires n’annulent en rien la thèse principale sur l’orthogonalité de l’intelligence et de la motivation. Je le présente à votre considération.

La thèse de l'orthogonalité

L’intelligence et les objectifs ultimes sont orthogonaux : plus ou moins n’importe quel niveau d’intelligence peut, en principe, être combiné avec plus ou moins n’importe quel objectif ultime.

Cette position peut paraître controversée en raison de son apparente similitude avec certains postulats, bien que liés à philosophie classique, mais soulève encore de nombreuses questions. Essayez de percevoir la thèse de l'orthogonalité dans son sens le plus étroit - et elle semblera alors assez fiable.

Notez que la thèse de l’orthogonalité ne concerne pas la rationalité ou le bon sens, mais uniquement l’intelligence. Par intelligence, nous entendons ici les compétences de prévision, de planification et de comparaison des objectifs et des moyens en général. L’efficacité cognitive instrumentale devient un élément particulièrement important à mesure que nous commençons à comprendre les conséquences possibles de l’émergence de la superintelligence artificielle. Même si nous utilisons le mot rationnel dans un sens qui exclut la reconnaissance qu'un agent superintelligent qui compte le maximum de trombones est rationnel, cela n'exclut en aucun cas qu'il ait des capacités extraordinaires de raisonnement instrumental, capacités qui auraient un impact énorme sur notre monde.1. La prévisibilité grâce à la conception. Si nous pouvons supposer que les programmeurs sont capables de concevoir le système de définition d’objectifs d’un agent superintelligent de manière à ce qu’il s’efforce constamment d’atteindre l’objectif fixé par ses créateurs, alors nous pouvons faire au moins une prédiction : cet agent atteindra son objectif. De plus, plus l’agent est intelligent, plus il s’efforcera d’acquérir de l’ingéniosité intellectuelle. Par conséquent, avant même qu’un agent ne soit créé, nous pourrions prédire quelque chose sur son comportement si nous connaissions ses créateurs et les objectifs qu’ils entendent lui fixer.

2. Prévisibilité due à l'héritage. Si le prototype de l’intelligence numérique est directement l’esprit humain (ce qui est possible avec une émulation complète du cerveau humain), alors l’intelligence numérique peut avoir les motivations de son prototype humain. Un tel agent pourrait en conserver certains même après que ses capacités cognitives se soient développées au point de devenir superintelligentes. Mais dans de tels cas, il faut faire preuve de prudence. Les objectifs de l'agent peuvent facilement être déformés lors du chargement des données prototypes ou lors de leur traitement et amélioration ultérieurs - la probabilité d'un tel développement dépend de l'organisation de la procédure d'émulation elle-même.

3. Prévisibilité due à la présence de causes instrumentales convergentes. Même sans connaître en détail les buts ultimes de l'agent, nous sommes capables de tirer certaines conclusions sur ses buts les plus proximaux en analysant les causes instrumentales d'une grande variété de buts finaux possibles dans un large éventail de situations. Plus la capacité cognitive de l'agent est élevée, plus cette méthode de prévision devient utile, car plus l'agent est intelligent, plus il est probable qu'il reconnaîtra les véritables raisons instrumentales de ses actions et agira de manière à pour atteindre ses objectifs dans toute situation plausible. (Pour une bonne compréhension, il convient de noter qu'il peut y avoir des raisons instrumentales qui nous sont actuellement inaccessibles, que l'agent lui-même ne découvrira qu'après avoir atteint un niveau d'intelligence très élevé - cela rend le comportement d'un agent superintelligent moins prévisible. )

Nick Bostrom

Nick Bostrom

Superintelligence

Chemins, dangers, stratégies

Rédacteurs scientifiques M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publié avec la permission de l'agence Alexander Korzhenevski

Le soutien juridique de la maison d'édition est assuré par le cabinet d'avocats Vegas-Lex.

* * *

Ce livre complète bien

Avinash Dixit et Barry Nalbuff

Stephen Strogatz

Avant-propos du partenaire

... J'ai un ami », a déclaré Edik. « Il affirme que l'homme est un maillon intermédiaire dont la nature a besoin pour créer la couronne de la création : un verre de cognac avec une tranche de citron.

Arkady et Boris Strugatsky. Le lundi commence le samedi

Nick Bostrom écrit que si les algorithmes informatiques intelligents apprennent à créer indépendamment des algorithmes encore plus intelligents, et ceux-ci, à leur tour, encore plus intelligents, il y aura une croissance explosive de l'intelligence artificielle, en comparaison avec laquelle les gens ressembleront à peu près à des fourmis à côté des gens d'aujourd'hui, dans un sens intellectuel, bien sûr. Une nouvelle espèce, bien qu'artificielle, mais superintelligente, apparaîtra dans le monde. Peu importe ce qui lui vient à l'esprit, une tentative de rendre tout le monde heureux ou une décision de mettre fin à la pollution anthropique des océans du monde de la manière la plus efficace, c'est-à-dire qu'en détruisant l'humanité, les gens ne pourront toujours pas résister. ce. Aucune chance d'affrontement dans l'esprit du film Terminator, pas de fusillade avec des cyborgs de fer. L'échec et mat nous attend - comme dans un duel entre l'ordinateur d'échecs « Deep Blue » et un élève de première année.

Une tendance similaire - lorsque le développement rapide de la technologie conduit non seulement à la formation de nouvelles opportunités, mais crée également des menaces sans précédent - que nous observons dans le domaine de la sécurité de l'information. Notre industrie tout entière est née et existe uniquement parce que la création et la distribution massive de choses aussi merveilleuses que les ordinateurs et Internet ont créé des problèmes qui auraient été inimaginables à l’ère pré-informatique. Grâce à l’avènement des technologies de l’information, une révolution s’est produite dans les communications humaines. Il a également été utilisé par divers types de cybercriminels. Et ce n'est que maintenant que l'humanité commence progressivement à prendre conscience de nouveaux risques : de plus en plus d'objets du monde physique sont contrôlés à l'aide d'ordinateurs et de logiciels, souvent imparfaits, pleins de trous et vulnérables ; Alors que de plus en plus de ces objets sont connectés à Internet, les menaces du monde cybernétique deviennent rapidement des problèmes de sécurité physique et potentiellement des problèmes de vie ou de mort.

Je voudrais terminer mon introduction par une citation du livre de Mikhail Weller « Man in the System » :

Evgeniy Kaspersky, directeur général de Kaspersky Lab

L'histoire inachevée des moineaux

Un jour, au milieu de la nidification, les moineaux, fatigués de plusieurs jours de dur labeur, se sont assis pour se reposer au coucher du soleil et bavarder de ceci et de cela.

« Nous sommes si petits, si faibles. » Imaginez à quel point la vie serait plus facile si nous avions un hibou comme assistant ! – gazouillait rêveusement un moineau. - Elle pourrait nous construire des nids...

- Ouais! – un autre a accepté. – Et aussi prendre soin de nos vieux et de nos poussins...

"Et instruisez-nous et protégez-nous du chat du voisin", a ajouté un troisième.

Alors Pastus, l'aîné des moineaux, suggéra :

– Laissez les éclaireurs voler dans différentes directions à la recherche de la chouette tombée du nid. Cependant, un œuf de chouette, un corbeau et même un bébé belette feront l'affaire. Cette trouvaille s'avérera être la plus grande réussite de notre troupeau ! Comme celui que nous avons trouvé sur arrière-cour une source inépuisable de céréales.

Les moineaux, sérieusement excités, gazouillaient aussi fort qu'ils pouvaient.

Et seul le borgne Skronfinkle, un moineau caustique au tempérament difficile, semblait douter de l'opportunité de cette entreprise.

« Nous avons choisi une voie désastreuse », a-t-il déclaré avec conviction. – Ne devriez-vous pas d’abord étudier sérieusement les questions d’apprivoisement et de domestication des hiboux avant de permettre à une créature aussi dangereuse de pénétrer dans votre environnement ?

"Il me semble", lui objecta Pastus, "l'art d'apprivoiser les hiboux n'est pas une tâche facile." Trouver un œuf de chouette est sacrément difficile. Commençons donc par la recherche. Une fois que nous parviendrons à élever une chouette, nous réfléchirons alors aux problèmes d’éducation.

- Un plan vicieux ! » Gazouillait nerveusement Scrofinkle.

Mais plus personne ne l'écoutait. Sous la direction de Pastus, la volée de moineaux s'envola et partit.

Seuls les moineaux sont restés en place, ayant décidé de trouver comment apprivoiser les chouettes. Très vite, ils comprirent que Pastus avait raison : la tâche s'avérait incroyablement difficile, surtout en l'absence de la chouette elle-même sur laquelle s'entraîner. Cependant, les oiseaux ont continué à étudier le problème avec diligence, car ils craignaient que le troupeau ne revienne avec l'œuf de la chouette avant de pouvoir découvrir le secret permettant de contrôler le comportement de la chouette.

Introduction

Il y a une certaine substance à l'intérieur de notre crâne, grâce à...

Nick Bostrom

L'intelligence artificielle deviendra bientôt plus intelligente que nous

Grâce à sa capacité d'auto-apprentissage, l'intelligence artificielle se transformera en superintelligence

La superintelligence aura ses propres besoins et objectifs

La superintelligence tentera d'utiliser les gens contre leur gré

La superintelligence pourrait « vouloir » rester la seule intelligence

L’humanité doit apprendre à garder la technologie sous contrôle

Conscient signifie armé

Évaluation par getAbstract

Du résumé du livre, vous apprendrez :

A propos de l'auteur

Perspectives d'émergence de la superintelligence

La relation entre intelligence et motivation

La thèse de l'orthogonalité

Vous pourriez être intéressé