Apparat - Magazine sur la nouvelle société. Nick Bostrom Intelligence artificielle

Que se passera-t-il si les machines surpassent les humains en intelligence ? Vont-ils nous aider ou détruire la race humaine ? Pouvons-nous aujourd’hui ignorer le problème du développement de l’intelligence artificielle et nous sentir totalement en sécurité ? Dans son livre, Nick Bostrom tente de comprendre le problème auquel l'humanité est confrontée en lien avec la perspective de l'émergence de la superintelligence et d'analyser sa réponse. Publié pour la première fois en russe.

* * *

Le fragment d'introduction donné du livre Intelligence artificielle. Étapes. Des menaces. Stratégies (Nick Bostrom, 2014) fourni par notre partenaire du livre - la société litres.

Chapitre deux

Le chemin vers le supramental

Aujourd’hui, si l’on considère le niveau de développement intellectuel général, les machines sont absolument inférieures aux humains. Mais un jour – selon notre hypothèse – l’intelligence de la machine dépassera l’intelligence de l’homme. Quel sera notre chemin à partir de maintenant jusqu’à celui qui nous attend ? Ce chapitre décrit plusieurs options technologiques possibles. Nous aborderons d'abord des sujets tels que l'intelligence artificielle, l'émulation complète du cerveau, l'amélioration cognitive humaine, l'interface cerveau-machine, les réseaux et les organisations. Ensuite, nous évaluerons les aspects énumérés du point de vue de la probabilité, s'ils peuvent servir d'étapes dans l'ascension vers le supramental. Avec plusieurs options d’itinéraire, les chances d’atteindre votre destination augmentent clairement.

Définissons d’abord le concept de superintelligence. Ce toute intelligence qui dépasse largement les capacités cognitives humaines dans pratiquement tous les domaines(87) . Dans le prochain chapitre, nous discuterons plus en détail de ce qu'est la superintelligence, la décomposerons en ses composants et différencierons toutes ses incarnations possibles. Mais limitons-nous maintenant à une description aussi générale et superficielle. Notez que dans cette description, il n'y avait de place ni pour la mise en œuvre du supramental dans la vie, ni pour ses qualia, c'est-à-dire s'il sera doté d'expériences subjectives et d'expériences de conscience. Mais dans un certain sens, notamment éthique, la question est très importante. Cependant, maintenant, laissant de côté la métaphysique intellectuelle (88), nous prêterons attention à deux questions : les conditions préalables à l'émergence du supramental et les conséquences de ce phénomène.

Selon notre définition, le programme d'échecs Deep Fritz n'est pas super intelligent, puisqu'il n'est « fort » que dans un domaine très étroit : le jeu d'échecs. Néanmoins, il est très important que la superintelligence ait ses propres spécialisations. Par conséquent, chaque fois que nous parlerons de tel ou tel comportement super-intellectuel limité par le domaine, je préciserai séparément son domaine d'activité spécifique. Par exemple, une intelligence artificielle qui dépasse largement les capacités mentales humaines dans les domaines de la programmation et de la conception sera appelée superintelligence technique. Mais pour désigner des systèmes, en général dépassant le niveau général de l'intelligence humaine - sauf indication contraire - le terme reste superintelligence.

Comment parviendrons-nous au moment où son apparition sera possible ? Quelle voie choisirons-nous ? Examinons quelques options possibles.

Intelligence artificielle

Cher lecteur, il ne faut pas attendre de ce chapitre une élaboration conceptuelle de la question de savoir comment créer une intelligence artificielle universelle ou forte. Il n'y a tout simplement aucun projet pour le programmer. Mais même si j’étais l’heureux propriétaire d’un tel projet, je ne le rendrais certainement pas public dans mon livre. (Si les raisons ne sont pas encore évidentes, j’espère que dans les chapitres suivants je pourrai exprimer clairement ma propre position.)

Cependant, il est aujourd’hui possible de reconnaître certaines des caractéristiques essentielles inhérentes à un tel système intelligent. De toute évidence, la capacité d’apprentissage en tant que caractéristique inhérente au cœur d’un système devrait être intégrée au système au moment de la conception, plutôt que d’y être ajoutée après coup en tant qu’extension. Il en va de même pour la capacité à travailler efficacement avec des informations incertaines et probabilistes. Très probablement, parmi les principaux modules de l'IA moderne, il devrait y avoir des outils d'extraction informations utilesà partir de données provenant de capteurs externes et internes et en transformant les concepts résultants en représentations combinatoires flexibles pour une utilisation ultérieure dans des processus de pensée basés sur la logique et l'intuition.

Les premiers systèmes d'intelligence artificielle classique n'étaient pas principalement destinés à apprendre, à travailler dans des conditions d'incertitude et à former des concepts - probablement parce qu'à cette époque les méthodes d'analyse correspondantes n'étaient pas suffisamment développées. Cela ne veut pas dire que toutes les idées de base en matière d’IA sont fondamentalement innovantes. Par exemple, l'idée d'utiliser l'apprentissage comme moyen de développer un système simple et de l'amener au niveau humain a été exprimée par Alan Turing en 1950 dans l'article « Computing and Intelligence », où il a exposé son concept de « machine- enfant":

Pourquoi n'essayons-nous pas, au lieu d'essayer de créer un programme qui imite l'esprit d'un adulte, de créer un programme qui imite l'esprit d'un enfant ? Après tout, si l’esprit d’un enfant reçoit une éducation appropriée, il devient l’esprit d’un adulte (89).

Turing avait prévu que la création d'une « machine enfant » nécessiterait un processus itératif :

Il est peu probable que nous puissions obtenir une bonne « voiture pour bébé » du premier coup. Il est nécessaire de mener une expérience sur la formation d'une de ces machines et de découvrir comment elle peut être enseignée. Réalisez ensuite la même expérience avec une autre machine et déterminez laquelle des deux machines est la meilleure. Il existe un lien évident entre ce processus et l’évolution de la nature…

On peut néanmoins espérer que ce processus se poursuivra plus vite que l’évolution. La survie du plus fort est une manière trop lente de mesurer l’avantage. L'expérimentateur, utilisant le pouvoir de l'intelligence, peut accélérer le processus d'évaluation. Tout aussi important, cela ne se limite pas à utiliser uniquement des mutations aléatoires. Si l'expérimentateur peut retracer la cause d'une certaine déficience, il est probablement capable d'inventer le type de mutation qui conduira à l'amélioration nécessaire (90).

Nous savons que des processus évolutifs aveugles peuvent conduire à une intelligence générale de niveau humain – cela s’est produit au moins une fois. En prédisant les processus évolutifs – c’est-à-dire la programmation génétique, où les algorithmes sont conçus et contrôlés par un programmeur humain intelligent – nous devrions obtenir des résultats similaires avec une bien plus grande efficacité. C'est cette position sur laquelle s'appuient de nombreux scientifiques, notamment le philosophe David Chalmers et le chercheur Hans Moravec (91), qui affirment que l'ICHU est non seulement théoriquement possible, mais aussi pratiquement réalisable au 21e siècle. À leur avis, en matière de création d'intelligence, d'évaluation des capacités relatives de l'évolution et de l'ingénierie humaine, nous constaterons que cette dernière est nettement supérieure à l'évolution dans de nombreux domaines et, très probablement, la dépassera bientôt dans les autres. Ainsi, si les processus évolutifs ont autrefois produit une intelligence naturelle, il s’ensuit que la conception et le développement humains pourraient bientôt nous conduire à l’intelligence artificielle. Par exemple, Moravec écrivait en 1976 :

L’existence de plusieurs exemples de renseignement émergeant sous ce type de contraintes devrait nous donner la certitude que nous serons en mesure d’y parvenir très prochainement. La situation est similaire à l'histoire de la création de machines capables de voler, bien qu'elles soient plus lourdes que l'air : les oiseaux, les chauves-souris et les insectes ont clairement démontré cette capacité bien avant les machines volantes créées par l'homme (92).

Il convient toutefois d’être prudent avec les conclusions fondées sur un tel raisonnement. Bien entendu, il ne fait aucun doute que le vol d'êtres vivants non humains, plus lourds que l'air, est devenu possible grâce à l'évolution bien avant que les humains n'y soient parvenus - bien qu'ils y soient parvenus à l'aide de mécanismes. D'autres exemples qui soutiennent cela incluent : les systèmes sonar ; systèmes de navigation magnétométriques; moyens de guerre chimiques; capteurs photo et autres dispositifs présentant des caractéristiques d'efficacité mécanique et cinétique. Cependant, avec le même succès, nous énumérerons les domaines dans lesquels l'efficacité des efforts humains est encore très loin de l'efficacité des processus évolutifs : la morphogenèse ; mécanismes d'auto-guérison; protection immunitaire. Ainsi, l’argument de Moravec ne « nous donne toujours pas confiance » que l’AIUC sera créée « très prochainement ». Au mieux, la limite supérieure de la complexité de la création de l’intelligence est l’évolution de la vie intelligente sur Terre. Mais ce niveau est encore inatteignable compte tenu des capacités technologiques actuelles de l’humanité.

Un autre argument en faveur du développement de l'intelligence artificielle selon le modèle du processus évolutif est la capacité d'exécuter des algorithmes génétiques sur des processeurs assez puissants et d'obtenir finalement des résultats comparables à ceux obtenus au cours de l'évolution biologique. Ainsi, cette version de l’argument propose d’améliorer l’IA grâce à une certaine méthode.

Dans quelle mesure est-il vrai de dire que nous disposerons bientôt de ressources informatiques suffisantes pour reproduire les processus évolutifs correspondants qui ont donné naissance à l’intelligence humaine ? La réponse dépend des conditions suivantes : premièrement, si des progrès significatifs dans le domaine de la technologie informatique seront réalisés au cours des prochaines décennies ; Deuxièmement, quelle puissance de calcul faudra-t-il pour que les mécanismes de lancement des algorithmes génétiques soient similaires à la sélection naturelle qui a conduit à l'émergence de l'homme. Il faut dire que les conclusions auxquelles nous parvenons tout au long de la chaîne de notre raisonnement sont extrêmement incertaines ; mais, malgré ce fait décourageant, il semble tout de même opportun de tenter de donner au moins une évaluation approximative de cette version (voir encadré 3). En l’absence d’autres possibilités, même des calculs provisoires attireront l’attention sur certaines quantités inconnues intéressantes.

Le fait est que la puissance de calcul requise simplement pour reproduire les processus évolutifs nécessaires qui ont conduit à l’émergence de l’intelligence humaine est pratiquement inaccessible et le restera pendant longtemps, même si la loi de Moore continue de s’appliquer pendant encore un siècle (voir la figure 3 ci-dessous). ). Il existe cependant une solution très raisonnable : nous aurons un impact énorme sur l’efficacité lorsque, au lieu de la simple répétition des processus évolutifs naturels, nous développerons un mécanisme de recherche axé sur la création d’intelligence, utilisant une variété d’avantages évidents par rapport à la sélection naturelle. Bien entendu, il est aujourd’hui très difficile de quantifier les gains d’efficacité qui en résultent. Nous ne savons même pas quels ordres de grandeur nous parlons de- cinq ou vingt-cinq. Par conséquent, à moins que l’argument évolutionniste ne soit correctement développé, nous ne serons pas en mesure de répondre à nos attentes et ne saurons jamais à quel point le chemin vers une intelligence artificielle à l’échelle humaine est difficile et combien de temps nous devrons attendre son émergence.

Encadré 3. Évaluation des efforts visant à reproduire le processus évolutif

Toutes les réalisations de l'anthropogenèse liées à l'esprit humain n'ont pas de valeur pour les spécialistes modernes travaillant sur le problème du développement évolutif de l'intelligence artificielle. Seule une petite partie de ce qui est produit par la sélection naturelle sur Terre est utilisée. Par exemple, les problèmes que les humains ne peuvent ignorer sont le résultat d’efforts évolutifs mineurs. En particulier, puisque nous pouvons alimenter nos ordinateurs avec de l'électricité, nous n'avons pas besoin de réinventer les molécules de l'économie énergétique cellulaire pour créer des machines intelligentes - et l'évolution moléculaire de la machinerie métabolique pourrait bien avoir nécessité une part importante des dépenses totales de pouvoir de sélection naturelle à notre disposition, évolution tout au long de l'histoire de la Terre (93).

Il existe un concept selon lequel la clé de la création de l’IA réside dans la structure du système nerveux, apparue il y a moins d’un milliard d’années (94). Si nous acceptons cette proposition, le nombre « d’expériences » nécessaires à l’évolution sera considérablement réduit. Aujourd'hui, il y a environ (4-6) × 1030 procaryotes dans le monde, mais seulement 1019 insectes et moins de 1010 représentants de la race humaine (d'ailleurs, la population à la veille de la révolution néolithique était d'un ordre de grandeur plus petite) ( 95). D'accord, ces chiffres ne sont pas si effrayants.

Cependant, les algorithmes évolutionnaires nécessitent non seulement une variété d’options, mais également une évaluation de la pertinence de chaque option – généralement l’élément le plus coûteux en termes de ressources informatiques. Dans le cas de l’évolution de l’intelligence artificielle, l’évaluation de la forme physique nécessite probablement de modéliser le développement neuronal ainsi que l’apprentissage et la cognition. Alors il vaut mieux ne pas regarder nombre total organismes dotés d'un système nerveux complexe, mais pour estimer le nombre de neurones dans les organismes biologiques que nous devrons peut-être modéliser pour calculer la fonction objectif évolutive. Une estimation approximative peut être faite en examinant les insectes qui dominent la biomasse aérienne (les fourmis en représentent à elles seules 15 à 20 %) (96). Le volume du cerveau de l'insecte dépend de nombreux facteurs. Plus l'insecte est grand et social (c'est-à-dire qu'il mène une vie sociale), plus son cerveau est gros ; par exemple, une abeille a un peu moins de 106 neurones, une mouche des fruits en a 105 et une fourmi avec ses 250 000 neurones se trouve entre elles (97). Le cerveau de la plupart des petits insectes ne contient que quelques milliers de neurones. Je propose, avec une extrême prudence, de s'arrêter à la valeur moyenne (105) et d'assimiler tous les insectes (dont il y en a 1019 dans le monde) à la drosophile, alors le nombre total de leurs neurones sera de 1024. Ajoutons un autre ordre de grandeur à cause des crustacés, des oiseaux, des reptiles, des mammifères, etc. etc. - et nous obtenons 1025. (Comparez cela avec le fait qu'avant l'avènement de l'agriculture, il y avait moins de 107 personnes sur la planète, et chacune avait environ 1011 neurones - cela c'est-à-dire que la somme totale de tous les neurones était inférieure à 1018, bien que le cerveau humain contenait – et contient – beaucoup plus de synapses.)

Le coût de calcul de la modélisation d'un seul neurone dépend du niveau de détail requis dans le modèle. Un modèle de neurone en temps réel extrêmement simple nécessite environ 1 000 opérations en virgule flottante par seconde (FLOPS). Un modèle Hodgkin-Huxley électriquement et physiologiquement réaliste nécessite 1 200 000 FLOPS. Un modèle de neurone à plusieurs composants plus complexe ajouterait deux à trois ordres de grandeur, et un modèle de niveau supérieur fonctionnant sur des systèmes de neurones nécessiterait deux à trois ordres de grandeur en moins d'opérations par neurone que des modèles simples (98). Si nous devions simuler 1 025 neurones sur un milliard d’années d’évolution (soit plus que la durée de vie du système nerveux dans sa forme actuelle) et que nous laissions les ordinateurs travailler sur cette tâche pendant un an, alors leurs besoins en puissance de calcul seraient de l’ordre de 1 031. –1044 flops. À titre de comparaison, l'ordinateur le plus puissant du monde, le chinois Tianhe-2 (en septembre 2013), n'est capable de délivrer que 3,39 × 1016 FLOPS. Au cours des dernières décennies, les ordinateurs conventionnels ont augmenté leurs performances d'un ordre de grandeur tous les 6,7 ans. Même si la puissance de calcul continue de croître selon la loi de Moore pendant un siècle, cela ne suffira pas à combler le fossé existant. L’utilisation de systèmes informatiques plus spécialisés ou l’augmentation du temps de calcul peuvent réduire les besoins en énergie de quelques ordres de grandeur seulement.
Il est probable que l’élimination de ce type d’inefficacité permettra d’économiser plusieurs ordres de grandeur par rapport à la puissance requise de 1 031 à 1 044 FLOPS calculée précédemment. Malheureusement, il est difficile de dire exactement combien. Il est difficile de donner même une estimation approximative - on ne peut que deviner si ce sera cinq ordres de grandeur, dix ou vingt-cinq (101).

Riz. 3. Performances des ordinateurs super puissants. Au sens littéral, ce qu'on appelle la « loi de Moore » est l'observation selon laquelle le nombre de transistors placés sur une puce de circuit intégré double environ tous les deux ans. Cependant, la loi est souvent généralisée pour supposer que d’autres indicateurs de performance informatique connaissent également une croissance exponentielle. Notre graphique montre l'évolution de la vitesse de pointe des ordinateurs les plus puissants du monde au fil du temps (sur une échelle verticale logarithmique). Ces dernières années, la vitesse du calcul séquentiel a cessé de croître, mais en raison de la diffusion du calcul parallèle, le nombre total d'opérations continue d'augmenter au même rythme (102).

Il existe une autre complication liée aux facteurs évolutifs avancés comme argument final. Le problème est que nous ne sommes pas en mesure de calculer – même de manière très approximative – une limite supérieure à la difficulté d’obtenir de l’intelligence par des moyens évolutifs. Oui, la vie intelligente est apparue autrefois sur Terre, mais ce fait ne signifie pas que des processus évolutifs avec un degré de probabilité élevé conduisent à l'émergence de l'intelligence. Une telle conclusion serait fondamentalement erronée, car elle ne prend pas en compte ce que l’on appelle l’effet de sélection observationnelle, qui implique que tous les observateurs se trouvent sur la planète où est née la vie intelligente, quelle que soit la probabilité ou l’improbabilité d’un tel événement sur une planète quelconque. autre planète. Supposons que pour l'émergence d'une vie intelligente, en plus des erreurs systématiques de la sélection naturelle, une énorme quantité de heureuses coïncidences- si grande que la vie intelligente n'est apparue que sur une seule des 1030 planètes où existent de simples gènes réplicateurs. Dans ce cas, les chercheurs exécutant des algorithmes génétiques pour tenter de reproduire ce que l’évolution a créé pourraient constater qu’il faut environ 1 030 itérations avant de trouver une combinaison qui réunit tous les éléments correctement. Cela semble tout à fait cohérent avec notre observation selon laquelle la vie a commencé et a évolué ici sur Terre. Cette barrière épistémologique peut être en partie contournée par des démarches logiques prudentes et quelque peu lourdes - en analysant les cas d'évolution convergente des caractéristiques liées à l'intelligence et en prenant en compte l'effet de l'observation dans la sélection. Si les scientifiques ne prennent pas la peine de réaliser une telle analyse, alors à l'avenir aucun d'entre eux n'aura à estimer la valeur maximale et à connaître la limite supérieure estimée de la puissance de calcul nécessaire pour reproduire l'évolution de l'intelligence (voir La case 3) peut être inférieure au trentième ordre (ou à une autre valeur tout aussi grande (103) .

Passons à l'option suivante pour atteindre notre objectif : l'argument en faveur de la faisabilité de l'évolution de l'intelligence artificielle est l'activité du cerveau humain, appelée modèle de base de l'IA. Différentes versions Cette approche ne diffère que par le degré de reproduction - avec quelle précision il est proposé d'imiter les fonctions du cerveau biologique. À un extrême, qui est une sorte de « jeu d’imitation », nous avons le concept émulation complète du cerveau, c’est-à-dire une simulation grandeur nature du cerveau (nous y reviendrons un peu plus tard). À l’autre extrême se trouvent les technologies dans lesquelles la fonctionnalité cérébrale n’est qu’un point de départ, mais le développement d’une modélisation de bas niveau n’est pas prévu. En fin de compte, nous nous rapprocherons de la compréhension de l’idée générale de l’activité cérébrale, facilitée par les progrès des neurosciences et de la psychologie cognitive, ainsi que par l’amélioration continue des outils et du matériel. Les nouvelles connaissances serviront sans aucun doute de guide pour les travaux futurs sur l’IA. Nous connaissons déjà un exemple d'IA née de la modélisation du fonctionnement du cerveau : ce sont les réseaux de neurones. Une autre idée tirée des neurosciences et transférée à l’apprentissage automatique est l’organisation hiérarchique de la perception. L'étude de l'apprentissage par renforcement a été motivée (au moins en partie) par le fait que rôle important, que ce sujet joue dans les théories psychologiques décrivant le comportement et la pensée des animaux, ainsi que dans les techniques d'apprentissage par renforcement (par exemple, l'algorithme TD). Aujourd’hui, l’apprentissage par renforcement est largement utilisé dans les systèmes d’IA (104). Il y aura certainement d’autres exemples de ce type à l’avenir. Parce que les mécanismes sous-jacents du fonctionnement cérébral sont très limités – très peu nombreux en fait – tous ces mécanismes seront tôt ou tard découverts grâce aux progrès continus des neurosciences. Cependant, il est possible qu’une approche hybride atteigne la ligne d’arrivée encore plus tôt, combinant des modèles développés, d’une part, basés sur l’activité du cerveau humain, et, d’autre part, exclusivement basés sur les technologies de l’intelligence artificielle. Il n'est pas du tout nécessaire que le système résultant ressemble en tout au cerveau, même si certains principes de son activité seront utilisés dans sa création.

L’activité du cerveau humain en tant que modèle de base constitue un argument fort en faveur de la faisabilité de la création et du développement ultérieur de l’intelligence artificielle. Cependant, même l'argument le plus puissant ne nous permettra pas de mieux comprendre les dates futures, car il est difficile de prédire quand telle ou telle découverte en neurobiologie aura lieu. Tout ce que nous pouvons dire, c’est que plus nous regardons vers l’avenir, plus grandes sont les chances que les secrets du fonctionnement cérébral soient suffisamment révélés pour permettre la mise en œuvre de systèmes d’intelligence artificielle.

Les chercheurs travaillant dans le domaine de l’intelligence artificielle ont des points de vue différents sur le caractère prometteur de l’approche neuromorphique par rapport aux technologies basées sur des approches entièrement compositionnelles. Le vol des oiseaux a démontré la possibilité physique de mécanismes volants plus lourds que l’air, ce qui a finalement conduit à la construction de machines volantes. Cependant, même les premiers avions à voler n’ont pas battu des ailes. Quelle voie prendra le développement de l’intelligence artificielle ? La question reste ouverte : si selon le principe de la loi de l'aérodynamique, qui maintient dans l'air de lourds mécanismes de fer - c'est-à-dire en apprenant de la nature vivante, mais sans l'imiter directement ; Est-ce basé sur le principe de conception d'un moteur à combustion interne, c'est-à-dire copier directement les actions des forces naturelles.

Le concept de Turing consistant à développer un programme qui reçoit b Ô La plupart des connaissances acquises par l'apprentissage, et non par la spécification de données initiales, sont également applicables à la création de l'intelligence artificielle - tant aux approches neuromorphiques que compositionnelles.

Une variante du concept de « machine enfant » de Turing était l'idée d'un embryon d'IA(105). Cependant, si la « machine enfant », telle que l’envisageait Turing, était censée avoir une architecture relativement fixe et développer son potentiel par accumulation contenu, l’IA embryonnaire sera un système plus complexe, s’auto-améliorant architecture. Aux premiers stades de son existence, une IA embryonnaire se développe principalement grâce à la collecte d’informations, agissant par essais et erreurs avec l’aide d’un programmeur. « En grandissant », il doit apprendre tout seul comprends-le dans les principes de son travail afin de pouvoir concevoir de nouveaux algorithmes et structures informatiques qui augmentent son efficacité cognitive. La compréhension requise n'est possible que dans les cas où l'embryon de l'IA a atteint soit dans de nombreux domaines un niveau général de développement intellectuel assez élevé, soit dans certains domaines - par exemple la cybernétique et les mathématiques - a dépassé un certain seuil intellectuel.

Cela nous amène à un autre concept important appelé « l’auto-amélioration récursive ». Une IA embryonnaire réussie doit être capable de s’auto-développer constamment : la première version crée une version améliorée d’elle-même, beaucoup plus intelligente que l’originale ; une version améliorée, à son tour, fonctionne sur une version encore plus améliorée, et ainsi de suite (106) . Sous certaines conditions, le processus d’auto-amélioration récursive peut se poursuivre pendant assez longtemps et conduire finalement au développement explosif de l’intelligence artificielle. Il s'agit d'un événement au cours duquel, sur une courte période de temps, l'intelligence globale d'un système passe d'un niveau relativement modeste (peut-être même inférieur à celui de l'humain à bien des égards autres que la programmation et la recherche en IA) à un niveau superintelligent, radicalement supérieur à celui de l'intelligence artificielle. niveaux humains. Dans le quatrième chapitre, nous reviendrons sur cette perspective, très importante par sa signification, et analyserons plus en détail la dynamique des évolutions.

Veuillez noter que ce modèle de développement inclut la possibilité de surprises. Les tentatives visant à créer une intelligence artificielle universelle peuvent, d'une part, aboutir à un échec complet, mais d'autre part, conduire au dernier élément critique manquant - après quoi l'embryon d'IA deviendra capable d'une auto-amélioration récursive durable.

Avant de terminer cette section du chapitre, je voudrais souligner encore une chose : il n’est pas du tout nécessaire que l’intelligence artificielle soit assimilée à l’esprit humain. J'admets pleinement que l'IA deviendra complètement « extraterrestre » - cela arrivera très probablement. On peut s’attendre à ce que l’architecture cognitive de l’IA soit radicalement différente de celle des humains ; par exemple, dans les premiers stades, l’architecture cognitive aura des forces et des faiblesses très différentes (même si, comme nous le verrons plus tard, l’IA sera capable de surmonter les lacunes initiales). De plus, les systèmes d’IA orientés vers un objectif n’ont peut-être rien de commun avec les systèmes orientés vers un objectif de l’humanité. Il n'y a aucune raison de dire que l'IA moyenne commencera à être guidée par des sentiments humains, tels que l'amour, la haine, la fierté - une adaptation aussi complexe nécessitera une énorme quantité de travail coûteux, et l'émergence d'une telle possibilité dans l'IA devrait être traité avec beaucoup de soin. C’est à la fois un grand défi et une grande opportunité. Nous reviendrons sur la motivation de l'IA dans les chapitres suivants, mais cette idée est si centrale dans le livre qu'elle mérite d'être gardée à l'esprit tout au long.

Émulation complète du cerveau humain

Dans un processus de simulation cérébrale à grande échelle, que nous appelons « émulation cérébrale complète » ou « téléchargement de l’esprit », l’intelligence artificielle est créée en scannant et en reproduisant avec précision la structure informatique d’un cerveau biologique. Il faut donc s’inspirer entièrement de la nature – un cas extrême de plagiat pur et simple. Pour que l’émulation complète du cerveau réussisse, un certain nombre d’étapes spécifiques doivent être suivies.

Première étape. Une analyse assez détaillée du cerveau humain est réalisée. Cela peut impliquer de réparer le cerveau d'une personne décédée par vitrification, ou vitrification (qui rend les tissus aussi durs que du verre). De fines sections sont ensuite découpées dans le tissu à l'aide d'une machine et passées dans une autre machine pour être numérisées, éventuellement à l'aide de microscopes électroniques. A ce stade, le matériau est coloré avec des colorants spéciaux pour révéler ses propriétés structurelles et chimiques. Dans le même temps, de nombreux appareils de numérisation fonctionnent en parallèle, traitant simultanément diverses sections de tissus.

Seconde phase. Les données brutes des scanners sont introduites dans un ordinateur pour un traitement automatique des images afin de reconstruire le réseau neuronal tridimensionnel responsable de la cognition dans le cerveau biologique. Pour réduire le nombre d'images haute résolution qui doivent être stockées dans la mémoire tampon, cette étape peut être réalisée simultanément à la première. La carte résultante est combinée à une bibliothèque de modèles neuroinformatiques basés sur des neurones de différents types ou sur différents éléments neuronaux (par exemple, les synapses peuvent différer). Certains résultats de numérisation et de traitement d'images utilisant la technologie moderne sont présentés sur la Fig. 4.

Fin du fragment introductif.

Nick Bostrom

Intelligence artificielle. Étapes. Des menaces. Stratégies

Nick Bostrom

Superintelligence

Chemins, dangers, stratégies

Rédacteurs scientifiques M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publié avec la permission de l'agence Alexander Korzhenevski

Le soutien juridique de la maison d'édition est assuré par le cabinet d'avocats Vegas-Lex.

Ce livre a été initialement publié en anglais en 2014. Cette traduction est publiée en accord avec Oxford University Press. L'éditeur est seul responsable de cette traduction à partir de l'œuvre originale et Oxford University Press ne pourra être tenu responsable des erreurs, omissions, inexactitudes ou ambiguïtés dans cette traduction ou de toute perte causée par la confiance accordée à celle-ci.

* * *

Ce livre complète bien

La théorie des jeux

Avinash Dixit et Barry Nalbuff

Ken Jennings

Plaisir x

Stephen Strogatz

Avant-propos du partenaire

... J'ai un ami », a déclaré Edik. « Il affirme que l'homme est un maillon intermédiaire dont la nature a besoin pour créer la couronne de la création : un verre de cognac avec une tranche de citron.

Arkady et Boris Strugatsky. Le lundi commence le samedi

L'auteur estime que la menace mortelle est associée à la possibilité de créer une intelligence artificielle qui surpasse l'esprit humain. Une catastrophe pourrait éclater à la fin du XXIe siècle et dans les décennies à venir. Toute l’histoire de l’humanité le montre : lorsqu’il y a une collision entre un représentant de notre espèce, Homo sapiens, et n’importe qui d’autre habitant notre planète, celui qui est le plus intelligent gagne. Jusqu’à présent, nous avons été les plus intelligents, mais nous n’avons aucune garantie que cela durera éternellement.

Nick Bostrom écrit que si les algorithmes informatiques intelligents apprennent à créer indépendamment des algorithmes encore plus intelligents, et ceux-ci, à leur tour, encore plus intelligents, il y aura une croissance explosive de l'intelligence artificielle, en comparaison avec laquelle les gens ressembleront à peu près à des fourmis à côté des gens d'aujourd'hui, dans un sens intellectuel, bien sûr. Une nouvelle espèce, bien qu'artificielle, mais superintelligente, apparaîtra dans le monde. Peu importe ce qui lui vient à l'esprit, une tentative de rendre tout le monde heureux ou une décision de mettre fin à la pollution anthropique des océans du monde de la manière la plus efficace, c'est-à-dire qu'en détruisant l'humanité, les gens ne pourront toujours pas résister. ce. Aucune chance d'affrontement dans l'esprit du film Terminator, pas de fusillade avec des cyborgs de fer. L'échec et mat nous attend - comme dans un duel entre l'ordinateur d'échecs « Deep Blue » et un élève de première année.

Au cours des cent ou deux dernières années, les progrès de la science ont éveillé chez certains l’espoir de résoudre tous les problèmes de l’humanité, tandis que chez d’autres, ils ont suscité et continuent de susciter une peur effrénée. En même temps, il faut dire que les deux points de vue semblent tout à fait justifiés. Grâce à la science, de terribles maladies ont été vaincues, l'humanité est aujourd'hui capable de nourrir un nombre sans précédent de personnes et, d'un point du globe, on peut arriver à l'opposé en moins d'une journée. Cependant, grâce à la même science, les hommes, utilisant les dernières technologies militaires, se détruisent les uns les autres avec une rapidité et une efficacité monstrueuses.

Une tendance similaire - lorsque le développement rapide de la technologie conduit non seulement à la formation de nouvelles opportunités, mais crée également des menaces sans précédent - que nous observons dans le domaine de la sécurité de l'information. Notre industrie tout entière est née et existe uniquement parce que la création et la distribution massive de choses aussi merveilleuses que les ordinateurs et Internet ont créé des problèmes qui auraient été inimaginables à l’ère pré-informatique. Grâce à l’avènement des technologies de l’information, une révolution s’est produite dans les communications humaines. Il a également été utilisé par divers types de cybercriminels. Et ce n'est que maintenant que l'humanité commence progressivement à prendre conscience de nouveaux risques : de plus en plus d'objets du monde physique sont contrôlés à l'aide d'ordinateurs et de logiciels, souvent imparfaits, pleins de trous et vulnérables ; Alors que de plus en plus de ces objets sont connectés à Internet, les menaces du monde cybernétique deviennent rapidement des problèmes de sécurité physique et potentiellement des problèmes de vie ou de mort.

C'est ce qui rend le livre de Nick Bostrom si intéressant. La première étape pour prévenir les scénarios cauchemardesques (pour un seul réseau informatique ou pour l’humanité entière) est de comprendre de quoi ils pourraient être. Bostrom émet de nombreuses réserves sur le fait que la création d'une intelligence artificielle comparable ou supérieure à l'esprit humain - une intelligence artificielle capable de détruire l'humanité - n'est qu'un scénario probable qui pourrait ne pas se réaliser. Bien sûr, les options sont nombreuses, et le développement de la technologie informatique ne détruira peut-être pas l'humanité, mais nous donnera la réponse à « la question principale de la vie, de l'Univers et de tout » (peut-être que ce sera vraiment le nombre 42, comme dans le roman « Le Guide du voyageur galactique »). Il y a de l’espoir, mais le danger est très sérieux, nous prévient Bostrom. À mon avis, si la possibilité d’une telle menace existentielle pour l’humanité existe, alors elle doit être traitée en conséquence et, afin de la prévenir et de s’en protéger, des efforts communs doivent être déployés à l’échelle mondiale.

Je voudrais terminer mon introduction par une citation du livre de Mikhail Weller « Man in the System » :

Lorsque la science-fiction, c'est-à-dire la pensée humaine encadrée par des images et des intrigues, répète quelque chose pendant longtemps et en détail, eh bien, il n'y a pas de fumée sans feu. Les films d’action hollywoodiens banals sur les guerres entre les peuples et la civilisation des robots contiennent un grain de vérité amère sous l’enveloppe du visionnage commercial.

Lorsqu'un programme transférable d'instincts sera intégré aux robots et que la satisfaction de ces instincts sera intégrée comme un besoin inconditionnel et fondamental, et que cela atteindra le niveau de l'auto-reproduction - alors, les gars, arrêtez de lutter contre le tabac et l'alcool, car il sera temps de boire et de fumer avant Hana pour nous tous.

Evgueni Kaspersky,Directeur général de Kaspersky Lab

L'histoire inachevée des moineaux

Un jour, au milieu de la nidification, les moineaux, fatigués de plusieurs jours de dur labeur, se sont assis pour se reposer au coucher du soleil et bavarder de ceci et de cela.

« Nous sommes si petits, si faibles. » Imaginez à quel point la vie serait plus facile si nous avions un hibou comme assistant ! – gazouillait rêveusement un moineau. - Elle pourrait nous construire des nids...

- Ouais! – un autre a accepté. – Et aussi prendre soin de nos vieux et de nos poussins...

"Et instruisez-nous et protégez-nous du chat du voisin", a ajouté un troisième.

Alors Pastus, l'aîné des moineaux, suggéra :

– Laissez les éclaireurs voler dans différentes directions à la recherche de la chouette tombée du nid. Cependant, un œuf de chouette, un corbeau et même un bébé belette feront l'affaire. Cette trouvaille s'avérera être la plus grande réussite de notre troupeau ! Comme celui que nous avons trouvé sur arrière-cour une source inépuisable de céréales.

Les moineaux, sérieusement excités, gazouillaient aussi fort qu'ils pouvaient.

Et seul le borgne Skronfinkle, un moineau caustique au tempérament difficile, semblait douter de l'opportunité de cette entreprise.

« Nous avons choisi une voie désastreuse », a-t-il déclaré avec conviction. – Ne devriez-vous pas d’abord étudier sérieusement les questions d’apprivoisement et de domestication des hiboux avant de permettre à une créature aussi dangereuse de pénétrer dans votre environnement ?

"Il me semble", lui objecta Pastus, "l'art d'apprivoiser les hiboux n'est pas une tâche facile." Trouver un œuf de chouette est sacrément difficile. Commençons donc par la recherche. Une fois que nous parviendrons à élever une chouette, nous réfléchirons alors aux problèmes d’éducation.

- Un plan vicieux ! » Gazouillait nerveusement Scrofinkle.

Mais plus personne ne l'écoutait. Sous la direction de Pastus, la volée de moineaux s'envola et partit.

Nick Bostrom

Nick Bostrom

Superintelligence

Chemins, dangers, stratégies

Rédacteurs scientifiques M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publié avec la permission de l'agence Alexander Korzhenevski

Le soutien juridique de la maison d'édition est assuré par le cabinet d'avocats Vegas-Lex.

* * *

Ce livre complète bien

Avinash Dixit et Barry Nalbuff

Stephen Strogatz

Avant-propos du partenaire

Arkady et Boris Strugatsky. Le lundi commence le samedi

Je voudrais terminer mon introduction par une citation du livre de Mikhail Weller « Man in the System » :

Evgeniy Kaspersky, directeur général de Kaspersky Lab

L'histoire inachevée des moineaux

Un jour, au milieu de la nidification, les moineaux, fatigués de plusieurs jours de dur labeur, se sont assis pour se reposer au coucher du soleil et bavarder de ceci et de cela.

- Ouais! – un autre a accepté. – Et aussi prendre soin de nos vieux et de nos poussins...

"Et instruisez-nous et protégez-nous du chat du voisin", a ajouté un troisième.

Alors Pastus, l'aîné des moineaux, suggéra :

– Laissez les éclaireurs voler dans différentes directions à la recherche de la chouette tombée du nid. Cependant, un œuf de chouette, un corbeau et même un bébé belette feront l'affaire. Cette trouvaille s'avérera être la plus grande réussite de notre troupeau ! Comme la fois où nous avons découvert une source inépuisable de céréales dans notre jardin.

Les moineaux, sérieusement excités, gazouillaient aussi fort qu'ils pouvaient.

Et seul le borgne Skronfinkle, un moineau caustique au tempérament difficile, semblait douter de l'opportunité de cette entreprise.

- Un plan vicieux ! » Gazouillait nerveusement Scrofinkle.

Mais plus personne ne l'écoutait. Sous la direction de Pastus, la volée de moineaux s'envola et partit.

Seuls les moineaux sont restés en place, ayant décidé de trouver comment apprivoiser les chouettes. Très vite, ils comprirent que Pastus avait raison : la tâche s'avérait incroyablement difficile, surtout en l'absence de la chouette elle-même sur laquelle s'entraîner. Cependant, les oiseaux ont continué à étudier le problème avec diligence, car ils craignaient que le troupeau ne revienne avec l'œuf de la chouette avant de pouvoir découvrir le secret permettant de contrôler le comportement de la chouette.

Introduction

Il y a une certaine substance à l'intérieur de notre crâne, grâce à...

Police : Moins Ahh Plus Ahh

Nick Bostrom

Superintelligence

Chemins, dangers, stratégies

Rédacteurs scientifiques M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publié avec la permission de l'agence Alexander Korzhenevski

Le soutien juridique de la maison d'édition est assuré par le cabinet d'avocats Vegas-Lex.

* * *

Ce livre complète bien

Avinash Dixit et Barry Nalbuff

Stephen Strogatz

Avant-propos du partenaire

... J'ai un ami », a déclaré Edik. « Il affirme que l'homme est un maillon intermédiaire dont la nature a besoin pour créer la couronne de la création : un verre de cognac avec une tranche de citron.

Arkady et Boris Strugatsky. Le lundi commence le samedi

Je voudrais terminer mon introduction par une citation du livre de Mikhail Weller « Man in the System » :

Lorsque la science-fiction, c'est-à-dire la pensée humaine encadrée par des images et des intrigues, répète quelque chose pendant longtemps et en détail, eh bien, il n'y a pas de fumée sans feu. Les films d’action hollywoodiens banals sur les guerres entre les peuples et la civilisation des robots contiennent un grain de vérité amère sous l’enveloppe du visionnage commercial.

Lorsqu'un programme transférable d'instincts sera intégré aux robots et que la satisfaction de ces instincts sera intégrée comme un besoin inconditionnel et fondamental, et que cela atteindra le niveau de l'auto-reproduction - alors, les gars, arrêtez de lutter contre le tabac et l'alcool, car il sera temps de boire et de fumer avant Hana pour nous tous.

Evgueni Kaspersky,
Directeur général de Kaspersky Lab

L'histoire inachevée des moineaux

Un jour, au milieu de la nidification, les moineaux, fatigués de plusieurs jours de dur labeur, se sont assis pour se reposer au coucher du soleil et bavarder de ceci et de cela.

- Ouais! – un autre a accepté. – Et aussi prendre soin de nos vieux et de nos poussins...

"Et instruisez-nous et protégez-nous du chat du voisin", a ajouté un troisième.

Alors Pastus, l'aîné des moineaux, suggéra :

– Laissez les éclaireurs voler dans différentes directions à la recherche de la chouette tombée du nid. Cependant, un œuf de chouette, un corbeau et même un bébé belette feront l'affaire. Cette trouvaille s'avérera être la plus grande réussite de notre troupeau ! Comme la fois où nous avons découvert une source inépuisable de céréales dans notre jardin.

Les moineaux, sérieusement excités, gazouillaient aussi fort qu'ils pouvaient.

Et seul le borgne Skronfinkle, un moineau caustique au tempérament difficile, semblait douter de l'opportunité de cette entreprise.

- Un plan vicieux ! » Gazouillait nerveusement Scrofinkle.

Mais plus personne ne l'écoutait. Sous la direction de Pastus, la volée de moineaux s'envola et partit.

Introduction

Il y a une certaine substance à l’intérieur de notre crâne, grâce à laquelle nous pouvons, par exemple, lire. Cette substance - le cerveau humain - est dotée de capacités absentes chez les autres mammifères. En fait, c’est précisément à ces traits caractéristiques que les hommes doivent leur position dominante sur la planète. Certains animaux se distinguent par des muscles puissants et des crocs acérés, mais aucun Être vivant, à l’exception de l’homme, n’est pas doué d’un esprit aussi parfait. Grâce à notre niveau intellectuel plus élevé, nous avons pu créer des outils tels que le langage, la technologie et une organisation sociale complexe. Au fil du temps, notre avantage n’a fait que se renforcer et s’élargir, à mesure que chaque nouvelle génération, s’appuyant sur les réalisations de ses prédécesseurs, avançait.

Si l’on développe une intelligence artificielle qui dépasse le niveau général de développement de l’esprit humain, alors une intelligence surpuissante apparaîtra dans le monde. Et le sort de notre espèce dépendra alors directement des actions de ces systèmes techniques intelligents - tout comme le sort des gorilles aujourd'hui est largement déterminé non pas par les primates eux-mêmes, mais par les intentions humaines.

L’humanité dispose cependant d’un avantage indéniable puisqu’elle crée des systèmes techniques intelligents. En principe, qui vous empêche d’inventer une telle superintelligence qui prendra sous sa protection les valeurs humaines universelles ? Bien entendu, nous avons de très bonnes raisons de nous protéger. Concrètement, nous devrons faire face à la question la plus difficile du contrôle : comment contrôler les plans et les actions de la superintelligence. De plus, les gens ne pourront utiliser qu’une seule chance. Dès qu’une intelligence artificielle (IA) hostile apparaît, elle commence immédiatement à interférer avec nos efforts pour nous en débarrasser ou au moins ajuster ses paramètres. Et c’est alors que le sort de l’humanité sera scellé.

Dans mon livre, j’essaie de comprendre le problème auquel les gens sont confrontés face à la perspective de la superintelligence et d’analyser leur réponse. Le programme le plus sérieux et le plus effrayant que l’humanité ait jamais reçu nous attend peut-être. Et peu importe si nous gagnons ou perdons, il est possible que ce défi soit le dernier. Je ne présente ici aucun argument en faveur d’une version ou d’une autre : sommes-nous à la veille d’une grande avancée dans la création de l’intelligence artificielle ; Est-il possible de prédire avec une certaine précision quand un certain événement révolutionnaire aura lieu ? Très probablement – au cours de ce siècle. Il est peu probable que quiconque fixe un délai plus précis.

Dans les deux premiers chapitres, j'examinerai différents domaines scientifiques et aborderai légèrement un sujet tel que le rythme du développement économique. Cependant, le livre est principalement consacré à ce qui se passera après l’émergence de la superintelligence. Nous aborderons les questions suivantes : la dynamique du développement explosif de l’intelligence artificielle ; ses formes et son potentiel ; choix stratégiques dont il sera doté et grâce auxquels il bénéficiera d'un avantage décisif. Après cela, nous analyserons le problème du contrôle et tenterons de résoudre le problème le plus important : est-il possible de simuler de telles conditions initiales qui nous permettront de maintenir notre propre supériorité et finalement de survivre. Dans les derniers chapitres, nous nous éloignerons des détails et examinerons le problème de manière plus large afin de saisir la situation globale résultant de notre étude. Je porterai à votre attention quelques recommandations sur ce qui devrait être fait aujourd'hui afin d'éviter une catastrophe qui menacerait l'existence de l'humanité à l'avenir.

Écrire ce livre n’a pas été facile. J'espère que le chemin que j'ai parcouru profitera à d'autres chercheurs. Ils franchiront de nouvelles étapes sans obstacles inutiles et, pleins de force, pourront s'impliquer rapidement dans un travail qui fera pleinement prendre conscience aux gens de la complexité du problème auquel ils sont confrontés. (Si, après tout, la route de l’étude apparaît aux futurs analystes comme quelque peu sinueuse et criblée de nids-de-poule par endroits, j’espère qu’ils comprendront à quel point le paysage était impraticable. avant.)

Malgré les difficultés liées au travail sur le livre, j'ai essayé de présenter le matériel langue accessible; Cependant, je vois maintenant que je n’ai pas vraiment réussi à y faire face. Naturellement, pendant que j'écrivais, je me suis adressé mentalement à un lecteur potentiel et, pour une raison quelconque, je me suis toujours imaginé dans ce rôle, à peine un peu plus jeune que celui d'aujourd'hui - il s'avère que je faisais un livre qui pourrait susciter un intérêt principalement pour moi-même. , mais sans être accablé par les expériences vécues pendant des années. C’est peut-être ce qui déterminera le petit lectorat à l’avenir. Cependant, je pense que le contenu du livre sera accessible à un grand nombre de personnes. Il suffit de faire un effort mental, d'arrêter de rejeter d'emblée les nouvelles idées et de résister à la tentation de remplacer tout ce qui est incompréhensible par des stéréotypes commodes que nous pouvons tous facilement repêcher dans nos réserves culturelles. Les lecteurs qui n'ont pas de connaissances particulières ne doivent pas céder aux calculs mathématiques occasionnels et aux termes peu familiers, car le contexte permet toujours de comprendre l'idée principale. (Les lecteurs désireux, en revanche, d’en savoir plus sur les détails trouveront beaucoup d’intérêt dans les notes.)

Il est probable que beaucoup de choses dans le livre soient présentées de manière incorrecte. J’ai peut-être négligé certaines considérations importantes, ce qui aura pour conséquence que certaines, voire la totalité, de mes conclusions seront fausses. Afin de ne pas manquer la moindre nuance et d'indiquer le degré d'incertitude auquel nous avons affaire, j'ai dû recourir à des marqueurs spécifiques - mon texte est donc surchargé de taches verbales aussi laides que « peut-être », « pourrait », « peut-être ». », « semble être », « probablement », « avec un degré de probabilité élevé », « presque certainement ». Cependant, à chaque fois, j'utilise les mots d'introduction avec une extrême prudence et de manière très réfléchie. Cependant, pour indiquer les limites générales des hypothèses épistémologiques, un tel dispositif stylistique n’est clairement pas suffisant ; l'auteur doit développer une approche systématique du raisonnement dans des conditions d'incertitude et indiquer directement la possibilité d'erreur. Il ne s’agit en aucun cas d’une fausse modestie. J'admets sincèrement que mon livre peut contenir de graves idées fausses et des conclusions incorrectes, mais en même temps je suis convaincu que les points de vue alternatifs présentés dans la littérature sont encore pires. De plus, cela s'applique également à « l'hypothèse nulle » généralement acceptée, selon laquelle nous pouvons aujourd'hui, avec une justification absolue, ignorer le problème de l'émergence de la superintelligence et nous sentir totalement en sécurité.

Chapitre premier
Réalisations passées et opportunités d'aujourd'hui

Commençons par nous tourner vers un passé lointain. En termes généraux, l'histoire est une séquence divers modèles croissance, et le processus s’accélère progressivement. Ce schéma nous donne le droit de supposer que la prochaine période de croissance – encore plus rapide – est possible. Cependant, cela ne vaut guère la peine d’en donner trop grande importance une considération similaire, puisque le sujet de notre livre n'est pas « l'accélération technologique », ni la « croissance exponentielle », ni même ces phénomènes qui sont habituellement présentés sous le concept de « singularité ». Nous aborderons ensuite l’histoire de la question : comment la recherche sur l’intelligence artificielle s’est développée. Passons ensuite à la situation actuelle : que se passe-t-il aujourd’hui dans ce domaine. Enfin, examinons certaines des dernières estimations d’experts et parlons de notre incapacité à prédire le calendrier des développements ultérieurs.

Modèles de croissance et histoire humaine

Il y a quelques millions d’années à peine, les ancêtres humains vivaient encore dans les cimes des arbres africains, sautant de branche en branche. Apparence Homo sapiens, ou Homo sapiens, séparé de nos ancêtres communs avec les grands singes, d'un point de vue géologique et même évolutif, cela s'est très bien passé. Les peuples anciens prenaient une position verticale et les pouces de leurs mains commençaient à se démarquer sensiblement des autres. Cependant, le plus important est qu’il y a eu des changements relativement mineurs dans le volume du cerveau et dans l’organisation du système nerveux, ce qui a finalement conduit à un pas de géant dans le développement mental humain. En conséquence, les gens ont développé la capacité de penser de manière abstraite. Ils ont commencé non seulement à exprimer de manière cohérente des pensées complexes, mais également à créer une culture de l'information, c'est-à-dire à accumuler des informations et des connaissances et à les transmettre de génération en génération. Il faut dire que l’homme a appris à faire cela bien mieux que n’importe quel autre être vivant sur la planète.

L'humanité ancienne, utilisant les capacités qu'elle a acquises, a développé des méthodes de production de plus en plus rationnelles, grâce auxquelles elle a pu migrer bien au-delà des jungles et des savanes. Immédiatement après l’avènement de l’agriculture, la taille et la densité de la population ont commencé à croître rapidement. Plus de personnes signifie plus d'idées, et une densité élevée a contribué non seulement à la propagation rapide de nouvelles tendances, mais aussi à l'émergence de différents spécialistes, ce qui a entraîné une amélioration constante des compétences professionnelles parmi les gens. Ces facteurs ont augmenté taux de développement économique, a permis d'augmenter la productivité et de renforcer les capacités techniques. Par la suite, les mêmes progrès significatifs qui ont conduit à la révolution industrielle ont provoqué un deuxième bond historique dans l’accélération du taux de croissance.

Cette dynamique du taux de croissance a eu des conséquences importantes. Par exemple, à l’aube de l’humanité, lorsque la Terre était habitée par les ancêtres les gens modernes, ou hominidés, le développement économique était trop lent, et il a fallu environ un million d'années pour augmenter la capacité de production de la population de la planète afin de se permettre d'augmenter d'un million de personnes, et celles qui existaient au bord de la survie. Et après la révolution néolithique, vers 5000 avant JC. En Colombie-Britannique, lorsque l’humanité est passée d’une société de chasseurs-cueilleurs à un modèle économique agricole, le taux de croissance a tellement augmenté qu’il a fallu deux cents ans pour obtenir la même croissance démographique. Aujourd’hui, après la révolution industrielle, l’économie mondiale connaît une croissance à peu près équivalente toutes les heures et demie.

Le taux de croissance actuel, même s’il est mis en veilleuse pendant une période relativement longue, produira des résultats impressionnants. Supposons que l’économie mondiale continue de croître au rythme moyen caractéristique des cinquante dernières années, la population de la planète deviendra encore plus riche à l’avenir qu’aujourd’hui : d’ici 2050 – 4,8 fois et d’ici 2100 – 34 fois.

Cependant, les perspectives d’une croissance exponentielle durable sont pâles en comparaison de ce qui pourrait se produire lorsque le monde connaîtrait son prochain changement sismique, avec un rythme et un impact comparables à ceux des révolutions néolithique et industrielle. L'économiste Robin Hanson estime que le temps de doublement économique pour les sociétés de chasseurs-cueilleurs du Pléistocène était de 224 000 ans, sur la base de données économiques et démographiques historiques, à 224 000 ans, pour les sociétés agricoles à 909 ans et pour les sociétés industrielles à 6,3 ans. (Conformément au paradigme de Hanson, le modèle économique moderne, qui a une structure mixte agraire-industrielle, ne se développe pas encore à un rythme double tous les 6,3 ans.) Si un tel bond s'était déjà produit dans le développement mondial, comparable dans sa signification révolutionnaire aux deux précédents, l'économie atteindrait un nouveau niveau et doublerait son taux de croissance environ toutes les deux semaines.

Du point de vue actuel, de tels taux de développement semblent fantastiques. Mais les témoins des époques passées n’auraient guère pu imaginer que le taux de croissance de l’économie mondiale doublerait plusieurs fois au cours de la vie d’une génération. Ce qui était totalement impensable pour eux est perçu par nous comme la norme.

L'idée d'approcher le moment de singularité technologique est devenue extrêmement populaire suite aux travaux pionniers de Vernon Vinge, Ray Kurzweil et d'autres chercheurs. Cependant, le concept de « singularité », utilisé de la manière la plus répandue, différentes significations, a déjà acquis une signification stable dans l'esprit de l'utopisme technologique et a même acquis une aura à la fois terrifiante et assez majestueuse. Puisque la plupart des définitions du mot singularité ne sont pas pertinents par rapport au sujet de notre livre, nous obtiendrons plus de clarté si nous nous en débarrassons au profit de termes plus précis.

L'idée qui nous intéresse liée au concept de singularité est le potentiel développement explosif du renseignement, notamment dans la perspective de créer une superintelligence artificielle. Peut-être montré sur la Fig. 1 convaincra certains d’entre vous que nous sommes à la veille d’un nouveau bond intense dans le rythme du développement – un bond comparable aux révolutions néolithique et industrielle. Très probablement, il est difficile pour ceux qui font confiance aux diagrammes d'imaginer un scénario dans lequel le temps de doublement de l'économie mondiale serait réduit à quelques semaines sans la participation d'un esprit surpuissant, bien plus rapide que notre esprit biologique habituel dans le monde. rapidité et efficacité de son travail. Cependant, il n’est pas nécessaire de s’entraîner à tracer des courbes de croissance et à extrapoler les taux historiques de développement économique pour commencer à adopter une approche responsable face à l’émergence révolutionnaire de l’intelligence artificielle. Ce problème est si grave qu’il ne nécessite pas ce genre d’argumentation. Comme nous le verrons, il existe des raisons bien plus impérieuses d’être prudent.

Riz. 1. Dynamique du PIB mondial sur une longue période historique. Sur une échelle linéaire, l'histoire de l'économie mondiale est représentée comme une ligne, se confondant d'abord presque avec l'axe horizontal, puis se précipitant brusquement verticalement vers le haut. UN. Même en étendant les limites temporelles jusqu'à dix mille ans dans le passé, nous voyons que la ligne fait une secousse vers le haut à partir d'un certain point à près de quatre-vingt-dix degrés. B. La ligne ne s'écarte sensiblement de l'axe horizontal qu'au niveau des cent dernières années environ. (La différence entre les courbes sur les diagrammes s'explique par un ensemble de données différent, de sorte que les indicateurs sont quelque peu différents les uns des autres.)

Je peux difficilement dire exactement ce qui est dit correctement.

Actuellement, le coût de la vie est d'environ 400 $. Par conséquent, pour 1 million de personnes, ce montant sera égal à 400 000 000 $. Le PIB mondial est d'environ 60 000 000 000 000 de dollars et croît à un rythme de quatre pour cent par an (en tenant compte du taux de croissance annuel moyen depuis 1950, voir les données :). Les chiffres que je donne dans le texte sont basés sur ces données, bien qu'ils ne représentent qu'un ordre de grandeur estimé. Si l'on analyse le nombre actuel de personnes sur Terre, il s'avère qu'il augmente en moyenne d'un million de personnes en une semaine et demie ; Mais un tel taux de croissance démographique limite la vitesse du développement économique, puisque le revenu par habitant augmente également. Avec la transition vers l'élevage et l'agriculture, la population mondiale a augmenté de 5 000 ans avant JC. e. par 1 million de personnes en 200 ans - une énorme accélération par rapport à l'ère des hominidés, où cela prenait 1 million d'années - donc après le néolithique, ou révolution agricole, les progrès ont été beaucoup plus rapides. Néanmoins, vous devez en convenir, il est impressionnant qu'il y a sept mille ans, il fallait 200 ans pour le développement économique, alors qu'aujourd'hui une augmentation du même montant suffit pour une heure et demie pour les économies mondiales et une semaine et demie. pour la population de la planète. Voir également .

Dans son livre, Nick Bostrom tente de comprendre le problème auquel l'humanité est confrontée en lien avec la perspective de l'émergence de la superintelligence et d'analyser sa réponse.

Caractéristiques du livre

Date d'écriture : 2014
Nom: . Étapes. Des menaces. Stratégies

Volume : 760 pages, 69 illustrations
ISBN : 978-5-00057-810-0
Traducteur : Sergueï Filine
Détenteur des droits d'auteur : Mann, Ivanov et Ferber

Préface du livre « Intelligence Artificielle »

Nick Bostrom écrit que si les algorithmes informatiques intelligents apprennent à créer indépendamment des algorithmes encore plus intelligents, et ceux-ci, à leur tour, encore plus intelligents, il y aura une croissance explosive de l'intelligence artificielle, en comparaison avec laquelle les gens ressembleront à peu près à des fourmis à côté des gens d'aujourd'hui, dans un sens intellectuel, bien sûr. Une nouvelle espèce, bien qu'artificielle, mais superintelligente, apparaîtra dans le monde. Peu importe ce qui « vient à l'esprit », une tentative de rendre tout le monde heureux ou une décision de mettre fin à la pollution anthropique des océans du monde de la manière la plus efficace, c'est-à-dire qu'en détruisant l'humanité, les gens ne pourront toujours pas résistez à cela. Aucune chance d'affrontement dans l'esprit du film Terminator, pas de fusillade avec des cyborgs de fer. L'échec et mat nous attend - comme dans un duel entre l'ordinateur d'échecs « Deep Blue » et un élève de première année.

Nous observons une tendance similaire - lorsque le développement rapide de la technologie conduit non seulement à la formation de nouvelles opportunités, mais crée également des menaces sans précédent - dans le domaine de la sécurité de l'information. Notre industrie tout entière est née et existe uniquement parce que la création et la distribution massive de choses aussi merveilleuses que les ordinateurs et Internet ont créé des problèmes qui auraient été inimaginables à l’ère pré-informatique. Grâce à l’avènement des technologies de l’information, une révolution s’est produite dans les communications humaines. Il a également été utilisé par divers types de cybercriminels. Et ce n'est que maintenant que l'humanité commence progressivement à prendre conscience de nouveaux risques : de plus en plus d'objets du monde physique sont contrôlés à l'aide d'ordinateurs et de logiciels, souvent imparfaits, pleins de trous et vulnérables ; Avec de plus en plus de ces objets connectés à Internet, les menaces du monde cybernétique deviennent rapidement des problèmes de sécurité physique et potentiellement des problèmes de vie ou de mort.

Introduction

Il y a une certaine substance à l’intérieur de notre crâne, grâce à laquelle nous pouvons, par exemple, lire. Cette substance - le cerveau humain - est dotée de capacités absentes chez les autres mammifères. En fait, c’est précisément à ces traits caractéristiques que les hommes doivent leur position dominante sur la planète. Certains animaux se distinguent par des muscles puissants et des crocs acérés, mais aucune créature vivante, à l'exception des humains, n'est dotée d'un esprit aussi parfait. Grâce à notre niveau intellectuel plus élevé, nous avons pu créer des outils tels que le langage, la technologie et une organisation sociale complexe. Au fil du temps, notre avantage n’a fait que se renforcer et s’élargir, à mesure que chaque nouvelle génération, s’appuyant sur les réalisations de ses prédécesseurs, avançait.

Intelligence artificielle. Étapes. Des menaces. Stratégies - Nick Bostrom (télécharger)

(fragment d'introduction du livre)

* * *

* * *

Ce livre complète bien

Avant-propos du partenaire

L'histoire inachevée des moineaux

Introduction

Chapitre premier Réalisations passées et opportunités d'aujourd'hui

Modèles de croissance et histoire humaine

Caractéristiques du livre

Préface du livre « Intelligence Artificielle »

Introduction

Intelligence artificielle. Étapes. Des menaces. Stratégies - Nick Bostrom (télécharger)

Vous pourriez être intéressé

Chapitre premier
Réalisations passées et opportunités d'aujourd'hui