Neseniai Tesla Motors ir SpaceX įkūrėjas Elonas Muskas sukūrė dirbtinį intelektą, kad iškviestų demoną, kurio būtų neįmanoma suvaldyti. Muskas savo skepticizmu dalijasi su britų filosofu Nicku Bostromu, kurio paskutinė knyga„Superintelektas: keliai, pavojai, strategijos“, – socialiniame tinkle „Twitter“ savo sekėjams patarė verslininkas. Nors kai kurie futurologai pranašauja patogią ateitį žmonėms dėl plačiai paplitusio žmogaus darbo pakeitimo mašininiu darbu, Nickas Bostromas mano, kad dirbtinis intelektas kelia grėsmę visos mūsų rūšies egzistavimui. Aparatas susipažino su Nicko Bostromo idėjomis ir išsiaiškino, kaip, jo nuomone, galima išgelbėti žmoniją.

Nikas Bostromas

Filosofas ir Oksfordo universiteto profesorius

Prieš keletą metų žurnalas „Foreign Policy“ įtraukė jį į 100 svarbiausių planetos mąstytojų sąrašą. Nickas Bostromas tiki, kad per technologijas galima įgalinti žmones. 1998 m. jis įkūrė Pasaulinę transhumanistų asociaciją (dabar – Humanity+), siekdama kovoti už transhumanizmo pripažinimą visaverte mokslo žinių sritimi. Bostromas išgarsėjo už akademinių sluoksnių ribų, kai knygoje „Global Catastrophic Risks“ apibūdino žmogaus išnykimo koncepciją. Bostromas yra Oksfordo ateities žmonijos instituto direktorius. Dabar jis bando atkreipti visuomenės dėmesį į kitą mūsų civilizacijai kylančią grėsmę – superintelektą.

Dirbtinis intelektas greitai taps protingesnis už mus

Nickui Bostromui nesvarbu, kokia žinių sritis paskatins mus sukurti superintelektą. Nesvarbu, ar tai programuotojai, kurie parašė programą, kuri gali mąstyti, ar neurologai, atkurta veikiančių žmogaus smegenų. Svarbiausia, kad tai įvyks greičiau, nei manome. Dauguma Bostrom apklaustų ekspertų numato, kad protingas dirbtinis intelektas bus sukurtas iki 2040 ar 2050 m.

Dirbtinis intelektas daugelyje sričių jau yra pranašesnis už žmogaus intelektą. Taip, daugelį metų skirtingi tipai dirbtinis intelektas nugalėjo visų rūšių žaidimų turnyrų čempionus, nesvarbu, ar tai būtų šachmatai, ar pokeris. Tokie pasiekimai gali atrodyti ne itin įspūdingi, bet taip yra todėl, kad mūsų poreikiai nuostabiam greitai prisitaiko prie pažangos.

Dėl gebėjimo mokytis savarankiškai dirbtinis intelektas pavirs superintelektu

Pasak Bostromo, iš pradžių dirbtinis intelektas atrodys kaip vaiko smegenys. Ir kaip vaikas galės mokytis. Žmonės nustos stengtis į programą įdėti kuo daugiau informacijos ir išmokys ją suprasti save pasaulis. Superintelekto egzistavimas bus įmanomas nuolat tobulinant save.

Mums svarbu sukurti dirbtinį intelektą, kuris būtų pakankamai protingas, kad pasimokytų iš savo klaidų. Jis galės be galo tobulėti. Pirmoji versija galės sukurti antrąją, kuri bus geresnė, o antroji, būdama išmanesnė už originalą, sukurs dar pažangesnę trečiąją ir t.t. Tam tikromis sąlygomis šis savęs tobulinimo procesas gali kartotis tol, kol pasiekiamas intelektualus sprogimas – momentas, kai sistemos intelektinis lygis per trumpą laiką šokteli iš santykinai kuklaus lygio į superintelekto lygį.

Superintelektas turės savo poreikius ir tikslus

Dirbtinio intelekto mąstymas skirsis nuo mūsų. Nickas Bostromas nebando tiksliai nuspėti, kaip veiks superintelekto motyvacija. Bet kad ir kokie būtų jo tikslai, jam reikės išteklių jiems pasiekti.

Dirbtinis intelektas gali būti mažiau žmogiškas nei ateivis. Nenuostabu, kad bet kurį protingą ateivį veikti gali paskatinti tokie dalykai kaip alkis, temperatūra, traumos, ligos, grėsmė gyvybei ar noras susilaukti palikuonių. Dirbtinis intelektas, tiesą sakant, nebus suinteresuotas nė vienu iš aukščiau išvardytų dalykų. Galima įsivaizduoti, kad egzistuoja dirbtinis intelektas, kurio vienintelis galutinis tikslas būtų suskaičiuoti visus smėlio grūdelius Borakajaus saloje arba rasti skaičiaus π dešimtainį vaizdą.

Superintelektas bandys panaudoti žmones prieš jų valią

Kad gautų prieigą prie išteklių, superintelektas bandys rasti tarpininką. Bostromo teigimu, net ir be tinklo ryšio ar galimybės būti fiziškai aktyviam, superintelektas vis tiek galės pasiekti savo tikslus. Nes net ir pasiekę technologinę brandą, tai yra, sukuriame visas technologijas, kurias tik galima sukurti, pagrindinė mūsų silpnybė vis tiek liksime mes patys.

Žmogus yra pati nepatikimiausia sistema. Šiandien įsilaužėliai dažnai kreipiasi į socialinės inžinerijos principus, norėdami gauti prieigą prie kito kompiuterio. Ir jei manipuliuojantis įsilaužėlis pasirodys esąs superintelektas, galime manyti, kad jis lengvai susiras bendrininką arba tiesiog pradės naudoti mus prieš mūsų valią kaip savo rankas ir kojas.

Superintelektas gali „norėti“ likti vieninteliu intelektu

Kai kurie filosofai ir mokslininkai dirbtinį intelektą mato tik įrankį mūsų gyvenimo kokybei pagerinti. Tarp jų yra amerikiečių filosofas Johnas Searle'as: jis mano, kad savimonės atsiradimas mašinose yra neįmanomas, nes tam reikia fizinių ir cheminių procesų, panašių į tuos, kurie vyksta žmogaus smegenyse. Tačiau Bostromas mano, kad kažkuriuo momentu superintelektas nustos būti įrankiu, o pasirodys esanti visavertė būtybė, turinti savo poreikius, o rūpestis žmonių rasės išsaugojimu gali būti ne vienas iš jų. Būsime tik kliūtis jo kelyje.

Žmogus reprezentuoja save naudingas šaltinis(patogiai sugrupuoti atomai), o jo išlikimas ir klestėjimas priklauso nuo kitų išteklių. Sukūrus dirbtinį intelektą, kuriam reikia šių išteklių, žmonija gali lengvai išnykti. Taigi, ateis laikas technologiškai labai išsivysčiusiai visuomenei, apimančiai daug sudėtingų struktūrų, kurių daugelis bus protingesnės už viską, kas šiandien egzistuoja planetoje. Tai bus ekonominių ir technologinių stebuklų metas. Tačiau neliks nė vieno, kuris galėtų tuo pasinaudoti. Žemėje viešpataus Disneilendas, kuriame nebebus vaikų.

Žmonija turi išmokti kontroliuoti technologijas

Nickas Bostromas neneigia galimybės sukurti draugišką dirbtinį intelektą ar jį valdyti. Juk, pripažįsta filosofas, mums labai reikia išmaniųjų technologijų, kurios padėtų susidoroti su aktualiomis problemomis. Vienintelis klausimas yra rizikos mažinimas, ypač išnykimo pavojus.

Jei intelektualinis sprogimas mums gresia išnykimu, turime suprasti, ar galime suvaldyti detonacijos procesą. Šiandien būtų prasmingiau paspartinti pastangas sprendžiant valdymo problemą, o ne pristabdyti tyrimus dirbtinio intelekto srityje. Tačiau kol kas šeši žmonės dirba sprendžiant valdymo problemą, o dešimtys, jei ne šimtai tūkstančių, kuria dirbtinį intelektą.

Sąmoningas reiškia ginkluotas

Žmonija dar nepasirengusi susitikti su superintelektu ir nebus pasirengusi daugelį metų, pažymi Bostromas. Tačiau nors intelektualinis šuolis gali neįvykti ilgą laiką, dabar turime atkreipti dėmesį į galimas problemas. Daugelis mokslininkų, siekdami sukurti superintelektą, pamiršta apie pavojus.

Protingiausia vaikui su tiksinčia bomba rankose būtų atsargiai padėti bombą ant grindų, greitai išbėgti iš kambario ir paskambinti suaugusiam. Bet ką daryti, jei visas mūsų kambarys yra pilnas vaikų ir kiekvienas vaikas turi lengvą prieigą prie gaiduko. Tikimybė, kad mes visi nuleisime pavojingą žaislą, yra labai maža. Kažkoks mažas idiotas turi paspausti mygtuką, kad pamatytų, kas atsitiks.

Ši knyga puikiai papildo

Žaidimo teorija

Avinashas Dixit ir Barry Nalbuffas

Brainiac

Kenas Jenningsas

Malonumas x

Steponas Strogatzas

Superintelektas

Keliai, pavojai, strategijos

Nikas Bostromas

Dirbtinis intelektas

Etapai. Grasinimai. Strategijos

"Mannas, Ivanovas ir Ferberis"

Informacija

iš leidėjo

Moksliniai redaktoriai M. S. Burcevas, E. D. Kazimirova, A. B. Lavrentjevas

Paskelbta gavus Aleksandro Korženevskio agentūros leidimą

Pirmą kartą išleista rusų kalba

Bostromas, Nikas

Dirbtinis intelektas. Etapai. Grasinimai. Strategijos / Nickas Bostromas; juosta iš anglų kalbos S. Filina. - M.: Mannas, Ivanovas ir Ferberis, 2016 m.

ISBN 978-5-00057-810-0

Kas atsitiks, jei mašinos intelektu pralenks žmones? Ar jie mums padės, ar sunaikins žmonių rasę? Ar šiandien galime nekreipti dėmesio į dirbtinio intelekto plėtros problemą ir jaustis visiškai saugūs?

Savo knygoje Nickas Bostromas bando suprasti žmonijos problemą, susijusią su superintelekto atsiradimo perspektyva, ir analizuoti jos atsaką.

Visos teisės saugomos.

Jokia šios knygos dalis negali būti atgaminta jokia forma be raštiško autorių teisių turėtojų leidimo.

Teisinę pagalbą leidyklai teikia Vegas-Lex advokatų kontora.

Ši knyga iš pradžių buvo išleista anglų kalba 2014 m. Šis vertimas išleistas susitarus su Oxford University Press. Leidėjas yra išimtinai atsakingas už šį vertimą iš originalaus kūrinio, o Oxford University Press neprisiima jokios atsakomybės už jokias tokio vertimo klaidas, praleidimus, netikslumus ar dviprasmybes arba už bet kokius nuostolius, atsiradusius dėl pasitikėjimo juo.

Partnerio pratarmė

...Aš turiu vieną draugą“, – sakė Edikas. – Jis tvirtina, kad žmogus yra tarpinė grandis, kurios reikia gamtai, kad sukurtų kūrybos vainiką: stiklinė konjako su citrinos skiltele.

Arkadijus ir Borisas Strugackiai. Pirmadienis prasideda šeštadienį

Autorius mano, kad mirtina grėsmė siejama su galimybe sukurti dirbtinį intelektą, pranokstantį žmogaus protą. Katastrofa gali kilti ir XXI amžiaus pabaigoje, ir ateinančiais dešimtmečiais. Visa žmonijos istorija rodo: kai įvyksta susidūrimas tarp mūsų rūšies atstovo Homo sapiens ir bet kurio kito, gyvenančio mūsų planetoje, laimi tas, kuris yra protingesnis. Iki šiol buvome protingiausi, bet negarantuojame, kad tai tęsis amžinai.

Nickas Bostromas rašo, kad jei išmanieji kompiuteriniai algoritmai išmoks savarankiškai kurti dar išmanesnius, o tie, savo ruožtu, dar protingesnius, dirbtinio intelekto augimas sprogs, palyginti su tuo, dabar žmonės šalia žmonių atrodys maždaug kaip skruzdėlės. intelektualine prasme, žinoma. Pasaulyje atsiras nauja, nors ir dirbtinė, bet superinteligentiška rūšis. Nesvarbu, kas „ateina į galvą“, bandymas padaryti visus žmones laimingus ar sprendimas kuo veiksmingiausiu būdu sustabdyti antropogeninę pasaulio vandenynų taršą, tai yra, sunaikinus žmoniją, žmonės vis tiek negalės tam priešintis. Jokių šansų susidoroti pagal filmo „Terminatorius“ dvasią, jokių susišaudymų su geležiniais kiborgais. Mūsų laukia šachmatai – kaip dvikovoje tarp šachmatų kompiuterio „Deep Blue“ ir pirmoko.

Per pastaruosius šimtą ar dvejus metus mokslo pasiekimai vienuose pažadino viltį išspręsti visas žmonijos problemas, o kituose sukėlė ir tebekelia nežabotą baimę. Kartu reikia pasakyti, kad abu požiūriai atrodo gana pagrįsti. Mokslo dėka buvo įveiktos baisios ligos, žmonija šiandien sugeba išmaitinti neregėtą skaičių žmonių, o iš vieno taško pasaulyje galite patekti į priešingą vietą greičiau nei per dieną. Tačiau to paties mokslo malone žmonės, pasitelkę naujausias karines technologijas, naikina vieni kitus monstrišku greičiu ir efektyvumu.

Panašią tendenciją – kai sparti technologijų plėtra ne tik formuojasi naujoms galimybėms, bet ir sukuria precedento neturinčias grėsmes – stebime ir informacijos saugumo srityje. Visa mūsų pramonė atsirado ir egzistuoja vien dėl to, kad tokių nuostabių dalykų kaip kompiuteriai ir internetas kūrimas ir masinis platinimas sukėlė problemų, kurios būtų neįsivaizduojamos prieškompiuterių eroje. Dėl informacinių technologijų atsiradimo žmonių komunikacijoje įvyko revoliucija. Juo taip pat naudojosi įvairių tipų kibernetiniai nusikaltėliai. Ir tik dabar žmonija pamažu pradeda suvokti naujas rizikas: vis daugiau fizinio pasaulio objektų yra valdomi naudojant kompiuterius ir programinę įrangą, dažnai netobuli, pilni skylių ir pažeidžiami; Visi didesnis skaičius Tokie objektai yra prijungti prie interneto, o kibernetinio pasaulio grėsmės greitai tampa fizinio saugumo, o galbūt ir gyvybės bei mirties problemomis.

Dėl to Nicko Bostromo knyga tokia įdomi. Pirmas žingsnis siekiant išvengti košmariškų scenarijų (vienam kompiuterių tinklui arba visai žmonijai) yra suprasti, kas tai gali būti. Bostromas daro daug abejonių, kad dirbtinio intelekto, panašaus į žmogaus protą arba už jį pranašesnio – dirbtinio intelekto, galinčio sunaikinti žmoniją, sukūrimas yra tik tikėtinas scenarijus, kuris gali ir neišsipildyti. Žinoma, yra daug variantų, o kompiuterinių technologijų plėtra gal ir nesunaikins žmonijos, bet duos mums atsakymą į „pagrindinį gyvenimo klausimą, Visatą ir viską“ (galbūt tikrai bus skaičius 42, kaip romanas „Autostopo vadovas po galaktiką“). Vilties yra, bet pavojus labai rimtas, perspėja Bostromas. Mano nuomone, jeigu egzistuoja tokios egzistencinės grėsmės žmonijai galimybė, tai turi būti atitinkamai elgiamasi ir, norint to išvengti bei nuo jos apsisaugoti, reikėtų dėti bendras pastangas pasauliniu mastu.

Savo įžangą norėčiau užbaigti citata iš Michailo Wellerio knygos „Žmogus sistemoje“:

Kai mokslinė fantastika, tai yra įvaizdžiais ir siužetais įrėminta žmogaus mintis, kažką ilgai ir detaliai kartoja – na, nėra dūmų be ugnies. Banaliuose Holivudo veiksmo filmuose apie žmonių karus ir robotų civilizaciją po komercinio žiūrėjimo lukštu slypi karti tiesos grūdelis.

Kai į robotus bus įmontuota perkeliama instinktų programa, o šių instinktų tenkinimas bus integruotas kaip besąlyginis ir pagrindinis poreikis, o tai pereis į savęs dauginimosi lygį – tada, vaikinai, nustokite kovoti su rūkymu ir alkoholiu, nes ateis laikas gerti ir parūkyti prieš Haną mums visiems.

8 Generolas

„GetAbstract“ apžvalga

Oksfordo futuristo Nicko Bostromo teigimu, dirbtinis intelektas gali tapti mūsų įrankiu užtikrinti saugumą, ekonominį klestėjimą ir intelektualinį vystymąsi, tačiau žmonija gali nesugebėti realizuoti viso šio įrankio potencialo. Žingsnis po žingsnio Bostromas kritikuoja įgimtas žmogaus dirbtinio intelekto suvokimo spąstus, palieka jausmą, kad žmonės neturi nei išteklių, nei vaizduotės suvokti perėjimą iš pasaulio, kuriame dominuoja žmonės, į pasaulį, kuriam gresia pavojus arba kurį jau pavergė koks nors subjektas. turintis superprotą. Bostromas meistriškai aprašo, kaip toks superintelektas gali atsirasti, kaip jis virstų visagaliu „viengubu“ ir grėsmę, kurią jis sukeltų. Pavyzdžiui, kas nutiktų, jis klausia, jei šis dirbtinis intelektas išsivystytų tiek, kad sudarytų vieno pasaulio vyriausybę, kuri nesivadovuotų tradiciniais. etikos principus? Informatyvi, gausi nuorodų į įvairius šaltinius knyga skatina skaitytoją susimąstyti apie daugybę nežinomųjų. Autoriaus samprotavimai paremti daugelio galimų ateities scenarijų analize. Šis išsamus tyrimas visų pirma skirtas skaitytojams, kurie ypatingai domisi šia tema. gauti Abstract rekomenduoja politikams, ateitininkams, studentams, investuotojams, filosofams ir visiems, kurie galvoja apie aukštąsias technologijas.

Iš knygos santraukos sužinosite:

Kaip vystosi technologija, vadinama „dirbtiniu intelektu“;
Ką mokslininkai siūlo naudoti ir kontroliuoti AI;
Kodėl žmonija nepasirengusi susidoroti su AI.

apie autorių

Nikas Bostromas– Oksfordo universiteto profesorius, Žmonijos ateities instituto įkūrėjas.

Superintelekto atsiradimo perspektyvos

1956 m. vasarą grupė mokslininkų susirinko Dartmuto koledže tirti žmogaus vystymosi perspektyvų. Pirmiausia juos domino, ar mašinos gali atkurti žmogaus intelekto funkcijas. Tyrimai šia tema buvo tęsiami su įvairia sėkme. Devintajame dešimtmetyje pradėjo kurtis taisyklėmis pagrįstos programos arba „ekspertų sistemos“ ir pradėjo atrodyti, kad technologijos, kurios gali būti panaudotos dirbtiniam intelektui sukurti, tuoj suklestės. Tada pažanga sustojo ir finansavimas išseko. Dešimtajame dešimtmetyje dirbtinio intelekto pastangos gavo naują postūmį, kai atsirado „genetiniai algoritmai“ ir „neuroniniai tinklai“.

Vienas iš AI galios matų yra tai, kaip gerai specialiai sukurti kompiuteriai žaidžia tokius žaidimus kaip šachmatai, bridžas, „Scrabble“, „Go“ ir smulkmenos. Maždaug po 10 metų kompiuteris su pažangiais algoritmais galės nugalėti pasaulio Go čempioną. Be žaidimų, panašios technologijos naudojamos klausos aparatuose, veido ir kalbos atpažinimo aparatuose, navigacijoje, diagnostikoje, planavime, logistikoje, taip pat kuriant pramoninius robotus, kurių funkcionalumas...

Nickas Bostromas – švedų filosofas, Oksfordo universiteto profesorius, Pasaulio transhumanistų asociacijos įkūrėjas ir Žmonijos ateities instituto, įkurto 2005 m. Oksforde, direktorius. Jis bando suprasti problemą, su kuria susiduria žmonija, susijusią su superintelekto atsiradimo perspektyva. Kas atsitiks, jei mašinos intelektu pralenks žmones? Ar jie mums padės, ar sunaikins žmoniją? Ar šiandien galime nekreipti dėmesio į dirbtinio intelekto plėtros problemą ir jaustis visiškai saugūs? Nickas Bostromas aprašo sudėtingus mokslinius klausimus apie žmonijos ateitį prieinama kalba.

Leidyklos „Mann, Ivanov and Ferber“ leidimu Lenta.ru publikuoja Nicko Bostromo knygos „Dirbtinis intelektas“ ištrauką.

Supermind galės turėti milžiniškų galimybių pakeisti ateitį pagal savo tikslus. Bet kokie yra šie tikslai? Kokie siekiai? Ar superintelekto motyvacijos laipsnis priklausys nuo jo intelekto lygio?

Iškelkime dvi tezes. Ortogonalumo tezė teigia (su kai kuriomis išimtimis), kad bet koks intelekto lygis gali būti derinamas su bet kokiu tikslu, nes intelektas ir galutinius tikslus yra stačiakampiai, tai yra nepriklausomi, kintamieji. Instrumentinės konvergencijos tezė teigia, kad superinteligentiški agentai, nors jų galutiniai tikslai labai skiriasi, vis tiek sieks panašių tarpinių tikslų, nes visi agentai turės tas pačias instrumentines priežastis tai daryti. Apsvarstytos kartu, šios tezės padės mums aiškiau suprasti, kokie yra superprotingo veikėjo ketinimai.

Intelekto ir motyvacijos ryšys

Jau knygoje buvo įspėta apie antropomorfizmo klaidą: nereikėtų žmogiškųjų savybių projektuoti į superintelekto agento galimybes. Pakartosime savo įspėjimą, tik žodį galimybė pakeisime žodžiu motyvacija.

Prieš plėtodami pirmąją tezę, atlikime nedidelį preliminarų tyrimą viso galimų protų spektro beribiškumo tema. Šioje abstrakčioje, beveik kosminėje galimo erdvėje žmogaus protas sudaro nereikšmingą sankaupą.

Išsirinkime du žmonių giminės atstovus, kurie, pagal bendrą nuomonę, yra diametraliai priešingos asmenybės. Tebūnie tai Hannah Arendt ir Benny Hill. Greičiausiai skirtumą tarp jų įvertinsime maksimaliai. Bet darykime tai tik todėl, kad mūsų suvokimą visiškai reguliuoja mūsų pačių patirtis, kuri, savo ruožtu, priklauso nuo esamų žmonių stereotipų (tam tikru mastu mus veikia ir išgalvoti personažai, vėl sukurti žmogaus fantazijos, kad patenkintų tą patį žmogų vaizduotė).

Tačiau jei pakeisime apžvalgos mastą ir į proto pasiskirstymo problemą pažvelgsime per beribės galimų erdvės prizmę, būsime priversti pripažinti, kad šie du individai yra ne kas kita, kaip virtualūs klonai. Bent jau charakterizavimo požiūriu nervų sistema Hannah Arendt ir Benny Hill yra beveik identiški.

Tarkime, abiejų smegenys buvo pastatytos viena šalia kitos kokio nors muziejaus tyloje, pamatę šią parodą iš karto pasakytume, kad šios dvi priklauso tai pačiai rūšiai. Be to, kiek iš mūsų galėtų pasakyti, kurios Hannos Arendt smegenys, o kurios Benny Hillo? Jei pavyktų ištirti abiejų smegenų morfologiją, tai galutinai įsitikintume jų esminiu panašumu: ta pati sluoksninė žievės architektonika; tos pačios smegenų dalys; ta pati smegenų nervinės ląstelės struktūra – neuronas su savo tos pačios cheminės prigimties neurotransmiteriais.

Nepaisant to, kad žmogaus protą praktiškai galima palyginti su neišskiriamu tašku, plūduriuojančiu beribėje tariamų protingų gyvenimų erdvėje, buvo tendencija projektuoti žmogaus savybes į daugybę svetimų subjektų ir dirbtinių protingų sistemų. Šį motyvą puikiai pakomentavo Eliezeris Yudkowsky tame pačiame darbe „Dirbtinis intelektas kaip teigiamas ir neigiamas pasaulinės rizikos veiksnys“:

Populiariosios mokslinės fantastikos klestėjimo laikais, gana pigaus pobūdžio, žurnalų viršeliai buvo pilni nuotraukų, kuriose dar vienas ateivis pabaisa, liaudyje geriau žinomas kaip „blakių akių monstras“, vėl tempia kažkur kitą grožį. pasitempusi suknele – ir gražuolė buvo mūsų žemiškoji moteris.

Atrodo, kad visi menininkai tikėjo, kad ne humanoidiniai ateiviai, turintys visiškai kitokią evoliucijos istoriją, tikrai turi patirti seksualinį potraukį gražioms žmonių rasės atstovėms.<...>Greičiausiai visa tai vaizdavę menininkai net neklausė savęs, ar milžiniškas vabalas išvis bus jautrus mūsų moterų kerams. Juk, pagal jų idėjas, bet kuri pusnuogė moteris tiesiog pagal apibrėžimą yra seksualiai patraukli, tai yra, jausti potraukį jai buvo neatsiejama drąsių žmonių rasės atstovų savybė.

Visas meninis dėmesys buvo nukreiptas į pakeltą ar suplyšusią suknelę, iš kurios mažiausiai rūpėjo, kaip veikia milžiniškų vabzdžių sąmonė. Ir tai buvo pagrindinė menininkų klaida. Jie manė, kad jei jų drabužiai nebūtų suplyšę, moterys neatrodytų taip viliojančiai vabzdžių akių pabaisoms. Tik gaila, kad patys ateiviai to niekada nesuprato.

Galbūt dirbtinis intelektas savo motyvacijomis primins žmogų net mažiau nei žalią, žvynuotą ateivį iš kosmoso. Ateiviai yra biologinės būtybės (ne daugiau nei spėjimas), atsirandančios dėl evoliucijos proceso, todėl galima tikėtis, kad jų motyvai yra būdingi išsivysčiusioms būtybėms.

Todėl nenuostabu, jei paaiškėtų, kad protingo ateivio elgesio motyvus lemia gana paprasti interesai: maistas, oras, temperatūra, kūno sužalojimo ar buvusio sužalojimo pavojus, sveikatos sutrikimai, grobuoniškumas, seksas ir gimdymo. Jei ateiviai priklausytų kokiai nors protingai visuomenei, jie galėtų išsiugdyti motyvus, susijusius su bendradarbiavimu ir konkurencija. Kaip ir mes, jie parodytų ištikimybę savo bendruomenei, piktintųsi parazitais ir, kas žino, nestokoja tuštybės, nerimauja dėl savo reputacijos ir išvaizdos.

Mąstančios mašinos iš prigimties, skirtingai nei ateiviai, neturi jokios priežasties rūpintis tokiais dalykais. Vargu ar jūs laikysite situaciją paradoksalia, jei atsiras koks nors AI, kurio vienintelis tikslas, pavyzdžiui, yra: skaičiuoti smėlio grūdelius Boracay salos paplūdimiuose; paimkite skaičių π ir galiausiai pateikite jį įprastos dešimtainės trupmenos forma; nustatyti maksimalų sąvaržėlių skaičių ateities šviesos kūgiame.

Tiesą sakant, daug lengviau sukurti AI, turintį aiškius tikslus, o ne primesti jai savo vertybių sistemą, aprūpinti mašiną žmogiškomis savybėmis ir motyvais. Nuspręskite patys, kas sunkiau: parašykite programą, kuri pamatuotų, kiek skaičių po kablelio π jau suskaičiuota ir išsaugota atmintyje, arba sukurkite algoritmą, kuris patikimai atsižvelgtų į tai, kiek žmonijai absoliučiai reikšmingas tikslas buvo pasiektas. buvo pasiektas, tarkime, visuotinio klestėjimo ir visuotinio teisingumo pasaulis?

Deja, žmogui lengviau parašyti kodą supaprastintam, beprasmiškam, į tikslą nukreiptam mašinos elgesiui ir išmokyti jį atlikti tam tikrą užduotį. Greičiausiai tokį likimą embrioniniam AI pasirinks programuotojas, kuris yra orientuotas tik į norą „dirbti AI“ ir kuo greičiau (programuotojas, kuriam aiškiai nerūpi, kas tiksliai AI turės padaryti ne tik demonstruoti stulbinantį protingą elgesį). Netrukus grįšime prie šios svarbios temos.

Protinga instrumentiniu požiūriu optimalių planų ir strategijų paieška galima bet kokiam tikslui. Intelektas ir motyvacija tam tikra prasme yra stačiakampiai. Įsivaizduokime juos kaip dvi koordinačių ašis, apibrėžiančias grafiką, kuriame kiekvienas taškas reiškia logiškai įmanomą protingą agentą. Tiesa, ši nuotrauka pareikalaus kelių patikslinimų.

Pavyzdžiui, sistemai be intelekto būtų neįmanoma turėti labai sudėtingų motyvų. Kad galėtume pagrįstai teigti, kad toks ir toks agentas „turi“ tokį ir tokį motyvų rinkinį, šie motyvai turi sudaryti funkciškai integruotą sistemą kartu su sprendimų priėmimo procesu, keliančiu tam tikrus reikalavimus atminčiai, apdorojimo galiai ir galbūt intelekto lygis.

Intelektas, galintis savarankiškai transformuotis, greičiausiai pasižymės ribotomis dinaminėmis savybėmis. Ir tai reiškia: jei mąstanti mašina, išmokusi save modifikuoti, staiga pajus stiprų norą tapti kvaila, tai gana greitai ji nustos būti protinga sistema. Tačiau mūsų komentarai jokiu būdu nepaneigia pagrindinės tezės apie intelekto ir motyvacijos ortogonalumą. Pristatau jūsų svarstymui.

Ortogonalumo tezė

Intelektas ir galutiniai tikslai yra stačiakampiai: daugiau ar mažiau bet koks intelekto lygis iš principo gali būti derinamas su daugiau ar mažiau bet kokiu galutiniu tikslu.

Ši pozicija gali atrodyti prieštaringa dėl akivaizdaus panašumo su kai kuriais postulatais, nors ir susijusi su klasikinė filosofija, tačiau vis tiek kyla daug klausimų. Pabandykite ortogonalumo tezę suvokti siauresne prasme – tada ji atrodys gana patikima.

Atkreipkite dėmesį, kad ortogonalumo tezė yra ne apie racionalumą ar sveiką protą, o tik apie intelektą. Intelektu čia turime omenyje gebėjimus numatyti, planuoti ir lyginti tikslus ir priemones apskritai. Instrumentinis kognityvinis efektyvumas tampa ypač svarbia savybe, kai pradedame suprasti galimas dirbtinio superintelekto atsiradimo pasekmes. Net jei žodį racionalus vartojame ta prasme, kuri neleidžia pripažinti, kad superinteligentiškas agentas, suskaičiuojantis maksimalų sąvaržėlių skaičių, yra racionalus, tai jokiu būdu neatmeta jo nepaprastų instrumentinio samprotavimo gebėjimų, gebėjimų, kurie turėtų didžiulę įtaką mūsų pasaulis.1. Nuspėjamumas per dizainą. Jei galime daryti prielaidą, kad programuotojai sugeba sukurti superinteligentiško agento tikslų nustatymo sistemą taip, kad jis nuosekliai siektų savo kūrėjų užsibrėžto tikslo, tuomet galime daryti bent vieną prognozę: tas agentas pasieks savo tikslą. Be to, kuo agentas protingesnis, tuo daugiau intelektualinio išradingumo jis pradės siekti. Todėl dar prieš sukuriant agentą, galėtume ką nors nuspėti apie jo elgesį, jei žinotume ką nors apie jo kūrėjus ir tikslus, kuriuos jie ketina jam kelti.

2. Nuspėjamumas dėl paveldėjimo. Jei skaitmeninio intelekto prototipas yra tiesiogiai žmogaus protas (tai įmanoma visiškai imituojant žmogaus smegenis), tai skaitmeninis intelektas gali turėti žmogaus prototipo motyvus. Toks agentas gali išlaikyti kai kuriuos iš jų net tada, kai jo kognityviniai gebėjimai išsivysto iki aukščiausio intelekto. Tačiau tokiais atvejais reikia būti atsargiems. Agento tikslai gali būti lengvai iškraipomi įkeliant prototipų duomenis arba juos toliau apdorojant ir tobulinant – tokios plėtros tikimybė priklauso nuo pačios emuliacijos procedūros organizavimo.

3. Nuspėjamumas dėl konvergencinių instrumentinių priežasčių buvimo. Net ir išsamiai nežinodami galutinių agento tikslų, mes galime padaryti kai kurias išvadas apie jo artimesnius tikslus, analizuodami įvairių galimų galutinių tikslų įvairiomis situacijomis instrumentines priežastis. Kuo didesnis agento pažintinis gebėjimas, tuo šis prognozavimo metodas tampa naudingesnis, nes kuo agentas protingesnis, tuo didesnė tikimybė, kad jis atpažins tikrąsias instrumentines savo veiksmų priežastis ir veiks taip, kaip pasiekti savo tikslus bet kokioje tikėtinoje situacijoje. (Teisingam supratimui reikia pažymėti, kad gali būti instrumentinių, šiuo metu mums neprieinamų priežasčių, kurias pats agentas atras tik pasiekęs labai aukštą intelekto lygį – dėl to superinteligento agento elgesys tampa mažiau nuspėjamas. )

Nikas Bostromas

Nikas Bostromas

Superintelektas

Keliai, pavojai, strategijos

Moksliniai redaktoriai M. S. Burcevas, E. D. Kazimirova, A. B. Lavrentjevas

Paskelbta gavus Aleksandro Korženevskio agentūros leidimą

Teisinę pagalbą leidyklai teikia Vegas-Lex advokatų kontora.

* * *

Ši knyga puikiai papildo

Avinashas Dixit ir Barry Nalbuffas

Steponas Strogatzas

Partnerio pratarmė

...Aš turiu vieną draugą“, – sakė Edikas. „Jis tvirtina, kad žmogus yra tarpinė grandis, kurios reikia gamtai, kad sukurtų kūrybos vainiką: stiklinė konjako su citrinos skiltele.

Arkadijus ir Borisas Strugackiai. Pirmadienis prasideda šeštadienį

Nickas Bostromas rašo, kad jei išmanieji kompiuteriniai algoritmai išmoks savarankiškai kurti dar išmanesnius, o tie, savo ruožtu, dar protingesnius, dirbtinio intelekto augimas sprogs, palyginti su tuo, dabar žmonės šalia žmonių atrodys maždaug kaip skruzdėlės. intelektualine prasme, žinoma. Pasaulyje atsiras nauja, nors ir dirbtinė, bet superinteligentiška rūšis. Nesvarbu, kas šauna į galvą, bandymas padaryti visus žmones laimingus ar sprendimas kuo veiksmingiausiu būdu sustabdyti antropogeninę pasaulio vandenynų taršą, tai yra, sunaikinus žmoniją, žmonės vis tiek nesugebės atsispirti. tai. Jokių šansų susidoroti pagal filmo „Terminatorius“ dvasią, jokių susišaudymų su geležiniais kiborgais. Mūsų laukia šachmatai – kaip dvikovoje tarp šachmatų kompiuterio „Deep Blue“ ir pirmoko.

Panašią tendenciją – kai sparti technologijų plėtra ne tik lemia naujų galimybių formavimąsi, bet ir sukuria precedento neturinčias grėsmes – stebime ir informacijos saugumo srityje. Visa mūsų pramonė atsirado ir egzistuoja vien dėl to, kad tokių nuostabių dalykų kaip kompiuteriai ir internetas kūrimas ir masinis platinimas sukėlė problemų, kurios būtų neįsivaizduojamos prieškompiuterių eroje. Dėl informacinių technologijų atsiradimo žmonių komunikacijoje įvyko revoliucija. Juo taip pat naudojosi įvairių tipų kibernetiniai nusikaltėliai. Ir tik dabar žmonija pamažu pradeda suvokti naujas rizikas: vis daugiau fizinio pasaulio objektų yra valdomi naudojant kompiuterius ir programinę įrangą, dažnai netobuli, pilni skylių ir pažeidžiami; Kadangi vis daugiau šių objektų yra prijungiami prie interneto, kibernetinio pasaulio grėsmės greitai tampa fizinio saugumo ir potencialiai gyvybės bei mirties problemomis.

Dėl to Nicko Bostromo knyga tokia įdomi. Pirmas žingsnis siekiant išvengti košmariškų scenarijų (vienam kompiuterių tinklui arba visai žmonijai) yra suprasti, kas tai gali būti. Bostromas daro daug abejonių, kad dirbtinio intelekto, panašaus į žmogaus protą arba jį pranašesnio – dirbtinio intelekto, galinčio sunaikinti žmoniją, sukūrimas yra tik tikėtinas scenarijus, kuris gali ir nepasitvirtinti. Žinoma, yra daug variantų, o kompiuterinių technologijų plėtra gal ir nesunaikins žmonijos, bet duos mums atsakymą į „pagrindinį gyvenimo klausimą, Visatą ir viską“ (galbūt tikrai bus skaičius 42, kaip romanas „Autostopo vadovas po galaktiką“). Vilties yra, bet pavojus labai rimtas, perspėja Bostromas. Mano nuomone, jeigu egzistuoja tokios egzistencinės grėsmės žmonijai galimybė, tai turi būti atitinkamai elgiamasi ir, norint to išvengti bei nuo jos apsisaugoti, reikėtų dėti bendras pastangas pasauliniu mastu.

Savo įžangą norėčiau užbaigti citata iš Michailo Wellerio knygos „Žmogus sistemoje“:

Jevgenijus Kasperskis, „Kaspersky Lab“ generalinis direktorius

Nebaigta žvirblių istorija

Vieną dieną, perėjus, žvirbliai, pavargę nuo daugelio dienų sunkaus darbo, saulėlydžio metu susėdo pailsėti ir šnekučiuotis apie šį bei tą.

„Mes tokie maži, tokie silpni“. Įsivaizduokite, kaip būtų lengviau gyventi, jei mūsų padėjėja būtų pelėda! – svajingai čiulbėjo vienas žvirblis. - Ji galėtų mums statyti lizdus...

- Taip! – sutiko kitas. – Taip pat prižiūrėk mūsų senukus ir jauniklius...

„Ir pamokyk mus ir apsaugok mus nuo kaimyno katės“, – pridūrė trečiasis.

Tada Pastas, vyriausias žvirblis, pasiūlė:

– Leiskite skautams skraidyti į skirtingas puses ieškoti iš lizdo iškritusios pelėdos. Tačiau tiks ir pelėdos kiaušinis, ir varna, ir net žebenkštis. Šis radinys bus didžiausia mūsų kaimenės sėkmė! Kaip ta, kurią radome galinis kiemas nesibaigiantis grūdų šaltinis.

Žvirbliai, rimtai susijaudinę, čiulbėjo taip garsiai, kaip galėjo.

Ir tik vienaakis Skronfinkle, sunkaus temperamento kaustinis žvirblis, atrodė, suabejojo šios įmonės tikslingumu.

„Mes pasirinkome pražūtingą kelią“, – įsitikinęs sakė jis. – Ar nereikėtų pirmiausia rimtai pastudijuoti pelėdų prisijaukinimo ir prijaukinimo klausimus, prieš įsileisdamas tokį pavojingą padarą į savo aplinką?

- Man atrodo, - paprieštaravo jam Pastas, - menas prisijaukinti pelėdas nėra lengva užduotis. Rasti pelėdos kiaušinį yra velniškai sunku. Taigi pradėkime nuo paieškos. Kai pavyks išvesti pelėdą, tada galvosime apie ugdymo problemas.

- Užburtas planas! Skronfinklis nervingai čiulbėjo.

Bet niekas jo nebeklausė. Pastui liepiant, žvirblių pulkas pakilo į orą ir pajudėjo.

Vietoje liko tik žvirbliai, nusprendę sugalvoti, kaip sutramdyti pelėdas. Gana greitai jie suprato, kad Pastas buvo teisus: užduotis pasirodė nepaprastai sunki, ypač nesant pačios pelėdos, ant kurios būtų galima pasitreniruoti. Tačiau paukščiai toliau uoliai tyrinėjo šią problemą, nes baiminosi, kad pulkas sugrįš su pelėdos kiaušiniu, nespėjus atskleisti paslapties, kaip suvaldyti pelėdos elgesį.

Įvadas

Mūsų kaukolėje yra tam tikra medžiaga, nes...

Nikas Bostromas

Dirbtinis intelektas greitai taps protingesnis už mus

Dėl gebėjimo mokytis savarankiškai dirbtinis intelektas pavirs superintelektu

Superintelektas turės savo poreikius ir tikslus

Superintelektas bandys panaudoti žmones prieš jų valią

Superintelektas gali „norėti“ likti vieninteliu intelektu

Žmonija turi išmokti kontroliuoti technologijas

Sąmoningas reiškia ginkluotas

„GetAbstract“ apžvalga

Iš knygos santraukos sužinosite:

apie autorių

Superintelekto atsiradimo perspektyvos

Intelekto ir motyvacijos ryšys

Ortogonalumo tezė

Jums gali būti įdomu