Apparat - นิตยสารเกี่ยวกับสังคมยุคใหม่ นิค บอสตรอม ปัญญาประดิษฐ์

จะเกิดอะไรขึ้นถ้าเครื่องจักรมีสติปัญญาเหนือมนุษย์? พวกเขาจะช่วยเราหรือทำลายเผ่าพันธุ์มนุษย์หรือไม่? วันนี้เราสามารถมองข้ามปัญหาของการพัฒนาปัญญาประดิษฐ์และรู้สึกปลอดภัยอย่างสมบูรณ์หรือไม่? ในหนังสือของเขา Nick Bostrom พยายามทำความเข้าใจปัญหาที่มนุษยชาติกำลังเผชิญอยู่เกี่ยวกับแนวโน้มที่จะปรากฎเป็น superintelligence และวิเคราะห์การตอบสนองของมัน ตีพิมพ์เป็นภาษารัสเซียเป็นครั้งแรก

* * *

ข้อความที่ตัดตอนมาจากหนังสือ ปัญญาประดิษฐ์. ขั้นตอน ภัยคุกคาม กลยุทธ์ (Nick Bostrom, 2014)จัดหาโดยพันธมิตรหนังสือของเรา - บริษัท LitRes

บทที่สอง

เส้นทางสู่ยอดอัจฉริยะ

ทุกวันนี้ ถ้าเราใช้ระดับการพัฒนาทางปัญญาทั่วไป เครื่องจักรย่อมด้อยกว่าคนโดยสิ้นเชิง แต่วันหนึ่ง - เราคิดว่า - จิตใจของเครื่องจักรจะเกินจิตใจของมนุษย์ เส้นทางของเราต่อจากนี้ไปสู่เส้นทางที่รอเราอยู่จะเป็นอย่างไร? บทนี้อธิบายตัวเลือกทางเทคโนโลยีที่เป็นไปได้หลายประการ อันดับแรก เราจะครอบคลุมหัวข้อต่างๆ เช่น ปัญญาประดิษฐ์ การจำลองสมองเต็มรูปแบบ การเพิ่มพูนความรู้ความเข้าใจของมนุษย์ ส่วนต่อประสานระหว่างสมองกับคอมพิวเตอร์ เครือข่าย และองค์กร จากนั้นเราจะประเมินลักษณะต่างๆ ที่ระบุไว้จากมุมมองของความน่าจะเป็น ว่าสิ่งเหล่านี้สามารถใช้เป็นขั้นตอนของการก้าวขึ้นไปสู่ความฉลาดหลักแหลมได้หรือไม่ ด้วยเส้นทางที่หลากหลาย โอกาสที่จะไปถึงจุดหมายปลายทางก็เพิ่มขึ้นอย่างชัดเจน

ขั้นแรกให้เรากำหนดแนวคิดของ superintelligence นี้ ความฉลาดใด ๆ ที่เกินความสามารถทางปัญญาของบุคคลในแทบทุกด้านอย่างมีนัยสำคัญ(87) . ในบทต่อไป เราจะพูดถึงรายละเอียดเพิ่มเติมว่า superintelligence คืออะไร แยกส่วนออกเป็นส่วนประกอบ และแยกแยะความแตกต่างที่เป็นไปได้ทั้งหมด แต่ตอนนี้ ให้เราจำกัดตัวเองให้อยู่ในลักษณะทั่วไปและผิวเผินเช่นนั้น โปรดทราบว่าในคำอธิบายนี้ไม่มีที่สำหรับการนำ supermind มาสู่ชีวิตหรือสำหรับคุณสมบัตินั่นคือไม่ว่าจะได้รับประสบการณ์ส่วนตัวและประสบการณ์ของจิตสำนึกหรือไม่ แต่ในแง่หนึ่ง โดยเฉพาะด้านจริยธรรม คำถามนี้สำคัญมาก อย่างไรก็ตาม ตอนนี้ ละทิ้งอภิปรัชญาทางปัญญา (88) เราจะให้ความสนใจกับคำถามสองข้อ: ข้อกำหนดเบื้องต้นสำหรับการเกิดขึ้นของ supermind และผลของปรากฏการณ์นี้

ตามคำจำกัดความของเรา โปรแกรมหมากรุก Deep Fritz นั้นไม่ฉลาด เพราะมัน "แข็งแกร่ง" เฉพาะในพื้นที่ที่แคบมาก - เล่นหมากรุก - พื้นที่ อย่างไรก็ตาม มันสำคัญมากที่ superintelligence จะมีความเชี่ยวชาญเฉพาะด้าน ดังนั้น ทุกครั้งที่พูดถึงพฤติกรรมทางปัญญาขั้นสูงอย่างใดอย่างหนึ่งที่จำกัดโดยหัวข้อนั้น ฉันจะกำหนดขอบเขตของกิจกรรมเฉพาะแยกต่างหาก ตัวอย่างเช่น ปัญญาประดิษฐ์ซึ่งเกินความสามารถทางจิตของมนุษย์อย่างมากในด้านการเขียนโปรแกรมและการออกแบบ จะถูกเรียกว่าความฉลาดทางวิศวกรรมขั้นสูง แต่หากจะกล่าวถึงระบบ โดยทั่วไปเกินระดับสติปัญญาของมนุษย์ทั่วไป - เว้นแต่จะระบุไว้เป็นอย่างอื่น - คำว่ายังคงอยู่ คิดมาก.

เราจะไปถึงเวลาที่จะสามารถปรากฏได้อย่างไร? เราจะเลือกทางไหน? ลองดูตัวเลือกที่เป็นไปได้

ปัญญาประดิษฐ์

ผู้อ่านที่รัก อย่าคาดหวังให้บทนี้สร้างแนวความคิดเกี่ยวกับคำถามว่าจะสร้างปัญญาประดิษฐ์ที่เป็นสากลหรือแข็งแกร่งได้อย่างไร โครงการสำหรับการเขียนโปรแกรมไม่มีอยู่จริง แต่ถึงแม้ฉันจะเป็นเจ้าของแผนดังกล่าวที่มีความสุข ฉันก็จะไม่เผยแพร่แผนดังกล่าวในหนังสือของฉันอย่างแน่นอน (หากเหตุผลนี้ยังไม่ชัดเจน ฉันหวังว่าในบทต่อๆ ไป ฉันจะสามารถชี้แจงจุดยืนของตนเองอย่างชัดเจน)

อย่างไรก็ตาม ในปัจจุบันนี้ เป็นไปได้ที่จะรับรู้ถึงคุณลักษณะบังคับบางอย่างที่มีอยู่ในระบบอัจฉริยะดังกล่าว เห็นได้ชัดว่าควรรวมความสามารถในการเรียนรู้ในฐานะคุณสมบัติสำคัญของแกนกลางของระบบ และไม่เพิ่มเป็นการพิจารณาที่ค้างชำระในภายหลังในรูปแบบของส่วนขยาย เช่นเดียวกับความสามารถในการจัดการกับข้อมูลที่ไม่แน่นอนและความน่าจะเป็นอย่างมีประสิทธิภาพ เป็นไปได้มากว่าในโมดูลหลักของ AI สมัยใหม่ควรเป็นวิธีการแยก ข้อมูลที่เป็นประโยชน์จากข้อมูลจากเซ็นเซอร์ภายนอกและภายใน และการแปลงแนวคิดที่เป็นผลลัพธ์เป็นการนำเสนอแบบผสมผสานที่ยืดหยุ่นเพื่อใช้ต่อไปในกระบวนการคิดตามตรรกะและสัญชาตญาณ

ระบบแรกของปัญญาประดิษฐ์แบบคลาสสิกไม่ได้มุ่งเป้าไปที่การเรียนรู้เป็นหลัก โดยทำงานภายใต้สภาวะที่ไม่แน่นอนและการก่อตัวของแนวคิด อาจเป็นเพราะว่าในขณะนั้นวิธีการวิเคราะห์ที่เกี่ยวข้องยังไม่ได้รับการพัฒนาอย่างเพียงพอ นี่ไม่ได้หมายความว่าแนวคิดพื้นฐานทั้งหมดของ AI นั้นเป็นนวัตกรรมโดยพื้นฐาน ตัวอย่างเช่น แนวคิดในการใช้การเรียนรู้เป็นวิธีการพัฒนาระบบที่เรียบง่ายและนำไปสู่ระดับมนุษย์ โดย Alan Turing ได้แสดงไว้ในปี 1950 ในบทความ "Computer Science and Intelligence" ซึ่งเขาได้สรุปแนวคิดเรื่อง "เด็ก" เครื่องจักร":

ทำไมเราไม่ลองสร้างโปรแกรมที่เลียนแบบความคิดของผู้ใหญ่ แทนที่จะพยายามสร้างโปรแกรมที่เลียนแบบจิตใจของเด็กดูล่ะ ท้ายที่สุดถ้าจิตใจของเด็กได้รับการศึกษาที่เหมาะสมก็จะกลายเป็นจิตใจของผู้ใหญ่ (89) .

ทัวริงเล็งเห็นว่าการสร้าง "เครื่องลูก" จะต้องมีกระบวนการวนซ้ำ:

ไม่น่าเป็นไปได้ที่เราจะได้ "รถเด็ก" ที่ดีในครั้งแรก จำเป็นต้องทำการทดลองเพื่อสอนเครื่องจักรประเภทนี้และค้นหาว่าเครื่องมือนี้มีประโยชน์ต่อการเรียนรู้อย่างไร จากนั้นทำการทดลองเดียวกันกับอีกเครื่องหนึ่งและพิจารณาว่าเครื่องใดในสองเครื่องดีกว่า มีความเชื่อมโยงที่ชัดเจนระหว่างกระบวนการนี้กับวิวัฒนาการในธรรมชาติของสิ่งมีชีวิต...

อย่างไรก็ตาม เราหวังว่ากระบวนการนี้จะดำเนินไปเร็วกว่าวิวัฒนาการ การอยู่รอดของผู้ที่เหมาะสมที่สุดเป็นวิธีที่ช้าเกินไปในการประเมินผลประโยชน์ ผู้ทดลองโดยใช้พลังแห่งสติปัญญาทำให้กระบวนการประเมินผลเร็วขึ้น ที่สำคัญไม่แพ้กัน ไม่จำกัดเพียงการใช้การกลายพันธุ์แบบสุ่มเท่านั้น หากผู้ทดลองสามารถติดตามสาเหตุของความบกพร่องบางอย่างได้ เขาก็น่าจะสามารถคิดค้นชนิดของการกลายพันธุ์ที่จะนำไปสู่การปรับปรุงที่จำเป็น (90)

เรารู้ว่ากระบวนการวิวัฒนาการที่มืดบอดสามารถนำไปสู่การเกิดขึ้นของปัญญาทั่วไปในระดับมนุษย์ - อย่างน้อยครั้งหนึ่งสิ่งนี้ได้เกิดขึ้นแล้ว เนื่องจากการทำนายของกระบวนการวิวัฒนาการ กล่าวคือ การโปรแกรมทางพันธุกรรม เมื่ออัลกอริทึมได้รับการพัฒนาและควบคุมโดยโปรแกรมเมอร์อัจฉริยะที่เป็นมนุษย์ เราควรได้ผลลัพธ์ที่คล้ายคลึงกันและมีประสิทธิภาพมากขึ้น อยู่บนสมมติฐานนี้ที่นักวิทยาศาสตร์หลายคนพึ่งพา รวมทั้งนักปรัชญา David Chalmers และนักวิจัย Hans Moravec (91) ผู้ซึ่งโต้แย้งว่า IICHI ไม่เพียงเป็นไปได้ในทางทฤษฎีเท่านั้น แต่ยังเป็นไปได้ในทางปฏิบัติในศตวรรษที่ 21 ด้วย ในความเห็นของพวกเขา ในเรื่องของการสร้างความฉลาด โดยการประเมินความเป็นไปได้สัมพัทธ์ของวิวัฒนาการและวิศวกรรมของมนุษย์ เราจะพบว่าส่วนหลังอยู่ในหลาย ๆ ด้านที่เหนือกว่าวิวัฒนาการอย่างมีนัยสำคัญ และมีแนวโน้มสูงว่าอีกไม่นานจะแซงหน้าในส่วนที่เหลือ ดังนั้น หากความฉลาดทางธรรมชาติเกิดขึ้นจากกระบวนการวิวัฒนาการ การออกแบบของมนุษย์ในด้านการออกแบบและการพัฒนาก็นำเราไปสู่ปัญญาประดิษฐ์ในไม่ช้า ตัวอย่างเช่น Moravec เขียนย้อนกลับไปในปี 1976:

การมีอยู่ของตัวอย่างสติปัญญาสองสามตัวอย่างที่เกิดขึ้นภายใต้ข้อจำกัดประเภทนี้น่าจะทำให้เรามั่นใจว่าเราจะสามารถบรรลุผลเช่นเดียวกันในไม่ช้านี้ สถานการณ์คล้ายกับประวัติศาสตร์ของการสร้างเครื่องจักรที่บินได้แม้ว่าจะหนักกว่าอากาศ: นก, ค้างคาวและแมลงแสดงให้เห็นอย่างชัดเจนถึงความเป็นไปได้นี้มานานก่อนที่มนุษย์จะผลิตเครื่องจักรบินได้ (92)

อย่างไรก็ตาม เราควรระมัดระวังในการสรุปผลโดยอิงจากสายการให้เหตุผลดังกล่าว แน่นอน ไม่ต้องสงสัยเลยว่าการบินของสิ่งมีชีวิตที่ไม่ใช่มนุษย์ซึ่งหนักกว่าอากาศเป็นไปได้อันเป็นผลมาจากวิวัฒนาการเร็วกว่าที่ผู้คนประสบความสำเร็จในเรื่องนี้มาก อย่างไรก็ตาม พวกเขาประสบความสำเร็จด้วยความช่วยเหลือของกลไก เพื่อสนับสนุนสิ่งนี้ สามารถเรียกคืนตัวอย่างอื่น ๆ ได้: ระบบโซนาร์; ระบบนำทางด้วยสนามแม่เหล็ก วิธีการทำสงครามเคมี โฟโตเซ็นเซอร์และอุปกรณ์อื่นๆ ที่มีคุณสมบัติทางกลและจลนศาสตร์ อย่างไรก็ตาม ด้วยความสำเร็จแบบเดียวกัน เราจะแสดงรายการด้านที่ประสิทธิผลของความพยายามของมนุษย์ยังห่างไกลจากประสิทธิผลของกระบวนการวิวัฒนาการมาก: morphogenesis; กลไกการรักษาตัวเอง การป้องกันภูมิคุ้มกัน ดังนั้น ข้อโต้แย้งของ Moravec ไม่ได้ "ทำให้เรามั่นใจ" ว่า IIHR จะถูกสร้างขึ้น "เร็ว ๆ นี้" อย่างดีที่สุด วิวัฒนาการของชีวิตอัจฉริยะบนโลกสามารถทำหน้าที่เป็นขีดจำกัดสูงสุดของความยากลำบากในการสร้างสติปัญญา แต่ระดับนี้ก็ยังเกินความสามารถทางเทคโนโลยีของมนุษยชาติในปัจจุบัน

อีกข้อโต้แย้งที่สนับสนุนการพัฒนาปัญญาประดิษฐ์ตามแบบจำลองกระบวนการวิวัฒนาการคือความสามารถในการเรียกใช้อัลกอริธึมทางพันธุกรรมบนโปรเซสเซอร์ที่ทรงพลังพอสมควร และด้วยเหตุนี้ ผลลัพธ์จึงได้ผลลัพธ์ที่สมส่วนกับผลลัพธ์ที่ได้จากวิวัฒนาการทางชีววิทยา ดังนั้น อาร์กิวเมนต์รุ่นนี้จึงเสนอให้ปรับปรุง AI ด้วยวิธีใดวิธีหนึ่ง

การยืนยันว่าอีกไม่นานเราจะมีทรัพยากรการคำนวณที่เพียงพอในการทำซ้ำกระบวนการวิวัฒนาการที่สอดคล้องกันซึ่งเป็นผลมาจากการที่สติปัญญาของมนุษย์ถูกสร้างขึ้นมา? คำตอบขึ้นอยู่กับเงื่อนไขต่อไปนี้: ประการแรก เทคโนโลยีคอมพิวเตอร์จะมีความก้าวหน้าอย่างมีนัยสำคัญในทศวรรษหน้าหรือไม่ ประการที่สอง พลังการประมวลผลใดที่จำเป็นเพื่อให้กลไกสำหรับการเปิดตัวอัลกอริธึมทางพันธุกรรมคล้ายกับการคัดเลือกโดยธรรมชาติซึ่งนำไปสู่การปรากฏตัวของมนุษย์ ต้องบอกว่าข้อสรุปที่เราได้มาตามห่วงโซ่ของการใช้เหตุผลของเรานั้นไม่แน่นอนอย่างยิ่ง แต่ถึงแม้ข้อเท็จจริงที่ท้อแท้นี้ ก็ยังดูเหมาะสมที่จะลองประมาณเวอร์ชันนี้คร่าวๆ เป็นอย่างน้อย (ดูกรอบที่ 3) ในกรณีที่ไม่มีความเป็นไปได้อื่น ๆ แม้แต่การคำนวณโดยประมาณก็จะดึงความสนใจไปที่ปริมาณที่ไม่รู้จักบางอย่าง

สิ่งสำคัญที่สุดคือพลังการคำนวณที่จำเป็นในการสร้างกระบวนการวิวัฒนาการที่จำเป็นซึ่งนำไปสู่การเกิดขึ้นของความฉลาดของมนุษย์นั้นแทบจะเป็นไปไม่ได้เลยและจะคงอยู่เป็นเวลานานแม้ว่ากฎของมัวร์จะมีผลบังคับใช้อีกศตวรรษ (ดูรูปที่ 3 ด้านล่าง) ). อย่างไรก็ตาม มีทางออกที่ยอมรับได้อย่างสมบูรณ์: เราจะมีผลกระทบอย่างมากต่อประสิทธิภาพ เมื่อเราพัฒนาเครื่องมือค้นหาที่เน้นการสร้างความฉลาด แทนที่จะใช้กระบวนการวิวัฒนาการตามธรรมชาติซ้ำๆ กันอย่างตรงไปตรงมา การคัดเลือกโดยธรรมชาติ แน่นอนว่าตอนนี้เป็นเรื่องยากมากที่จะหาจำนวนผลลัพธ์ที่ได้รับในประสิทธิภาพ เราไม่รู้ด้วยซ้ำว่าลำดับความสำคัญเท่าไหร่ ในคำถามห้าหรือยี่สิบห้า ดังนั้น หากอาร์กิวเมนต์ของแบบจำลองวิวัฒนาการไม่ได้รับการพัฒนาอย่างเหมาะสม เราจะล้มเหลวในการปฏิบัติตามความคาดหวังของเรา และจะไม่มีทางรู้ว่าเส้นทางสู่ปัญญาประดิษฐ์ระดับมนุษย์นั้นยากเพียงใด และเราต้องรอนานแค่ไหนกว่าจะปรากฎออกมา

กล่องที่ 3 การประเมินความพยายามการจำลองแบบวิวัฒนาการ

ไม่ใช่ว่าความสำเร็จทั้งหมดของมานุษยวิทยาที่เกี่ยวข้องกับจิตใจของมนุษย์นั้นมีค่าสำหรับผู้เชี่ยวชาญสมัยใหม่ที่ทำงานเกี่ยวกับปัญหาของการพัฒนาวิวัฒนาการของปัญญาประดิษฐ์ มีเพียงส่วนเล็ก ๆ ของสิ่งที่เกิดขึ้นอันเป็นผลมาจากการคัดเลือกโดยธรรมชาติบนโลกเท่านั้นที่นำไปปฏิบัติ ตัวอย่างเช่น ปัญหาที่ผู้คนไม่สามารถละเลยได้เป็นผลมาจากความพยายามเชิงวิวัฒนาการเพียงเล็กน้อยเท่านั้น โดยเฉพาะอย่างยิ่ง เนื่องจากเราสามารถจ่ายไฟให้กับคอมพิวเตอร์ของเราด้วยกระแสไฟฟ้า เราจึงไม่จำเป็นต้องสร้างโมเลกุลของระบบประหยัดพลังงานแบบเซลลูลาร์เพื่อสร้างเครื่องจักรที่ชาญฉลาด และวิวัฒนาการระดับโมเลกุลของกลไกเมตาบอลิซึมอาจต้องการส่วนสำคัญของการบริโภคทั้งหมด ของพลังการคัดเลือกโดยธรรมชาติในการกำจัด วิวัฒนาการตลอดประวัติศาสตร์ของโลก(93)

มีแนวคิดที่ว่ากุญแจสำคัญในการสร้าง AI คือโครงสร้างของระบบประสาทซึ่งปรากฏเมื่อไม่ถึงหนึ่งพันล้านปีก่อน (94) หากเรายอมรับตำแหน่งนี้ จำนวน "การทดลอง" ที่จำเป็นสำหรับวิวัฒนาการจะลดลงอย่างมาก วันนี้มีโปรคาริโอตประมาณ (4-6) × 1,030 ในโลก แต่มีแมลงเพียง 1,019 ตัวและตัวแทนของเผ่าพันธุ์มนุษย์น้อยกว่า 1,010 ตัว (อย่างไรก็ตามประชากรในช่วงก่อนการปฏิวัติยุคหินใหม่มีขนาดเล็กลง) (95). เห็นด้วยตัวเลขเหล่านี้ไม่น่ากลัวนัก

อย่างไรก็ตาม อัลกอริธึมวิวัฒนาการไม่เพียงต้องการทางเลือกที่หลากหลาย แต่ยังต้องประเมินความเหมาะสมของแต่ละตัวเลือกด้วย ซึ่งมักจะเป็นองค์ประกอบที่แพงที่สุดในแง่ของทรัพยากรการคำนวณ ในกรณีของวิวัฒนาการของปัญญาประดิษฐ์ ในการประเมินสมรรถภาพร่างกาย ดูเหมือนว่าจำเป็นต้องมีการสร้างแบบจำลองของการพัฒนาทางประสาท เช่นเดียวกับความสามารถในการเรียนรู้และการรับรู้ ดังนั้นจึงเป็นการดีกว่าที่จะไม่ดูจำนวนสิ่งมีชีวิตทั้งหมดที่มีระบบประสาทที่ซับซ้อน แต่ให้ประเมินจำนวนเซลล์ประสาทในสิ่งมีชีวิตทางชีววิทยาที่เราอาจจำเป็นต้องสร้างแบบจำลองเพื่อคำนวณฟังก์ชันวัตถุประสงค์ของวิวัฒนาการ การประมาณการคร่าวๆ สามารถทำได้โดยดูจากแมลง ซึ่งครองชีวมวลบนบก (มดเพียงคนเดียวคิดเป็น 15–20%)(96) ปริมาณสมองของแมลงขึ้นอยู่กับหลายปัจจัย ยิ่งแมลงในสังคมมากขึ้น (นั่นคือนำไปสู่ชีวิตทางสังคม) สมองของมันก็จะยิ่งใหญ่ขึ้น ตัวอย่างเช่น ผึ้งมีเซลล์ประสาทน้อยกว่า 106 เซลล์ แมลงวันผลไม้มีเซลล์ประสาท 105 เซลล์ มดที่มีเซลล์ประสาท 250,000 เซลล์อยู่ระหว่างพวกมัน (97) สมองของแมลงขนาดเล็กที่สุดมีเซลล์ประสาทเพียงไม่กี่พันเซลล์ ฉันขอเสนอด้วยความระมัดระวังอย่างยิ่งให้พิจารณาค่าเฉลี่ย (105) และเทียบแมลงทั้งหมด (ซึ่งมีทั้งหมด 1,019 ตัวในโลก) ให้เป็นแมลงหวี่ ดังนั้นจำนวนเซลล์ประสาทของพวกมันจะเท่ากับ 1024 ลองเพิ่มลำดับความสำคัญอื่น เนื่องจากกุ้ง, นก, สัตว์เลื้อยคลาน, สัตว์เลี้ยงลูกด้วยนม ฯลฯ - และเราได้รับ 1,025 (เปรียบเทียบกับข้อเท็จจริงที่ว่าก่อนการกำเนิดของการเกษตรมีน้อยกว่า 107 คนบนโลกและแต่ละคนมีประมาณ 1,011 เซลล์ประสาท - นั่นคือ ผลรวมของเซลล์ประสาททั้งหมดมีค่าน้อยกว่า 1,018 แม้ว่าสมองของมนุษย์จะมี – และมี – ไซแนปส์อีกมากมาย)

ค่าใช้จ่ายในการคำนวณในการสร้างแบบจำลองเซลล์ประสาทหนึ่งเซลล์ขึ้นอยู่กับระดับรายละเอียดของแบบจำลองที่ต้องการ โมเดลเซลล์ประสาทแบบเรียลไทม์ที่ง่ายมากต้องการการดำเนินการจุดทศนิยมประมาณ 1,000 ครั้งต่อวินาที (FLOPS) โมเดล Hodgkin-Huxley ที่สมจริงทางไฟฟ้าและทางสรีรวิทยาต้องการ 1,200,000 FLOPS โมเดลที่มีหลายองค์ประกอบที่ซับซ้อนมากขึ้นของเซลล์ประสาทจะเพิ่มคำสั่งของขนาดสองถึงสามคำสั่ง และแบบจำลองระดับสูงกว่าที่ทำงานบนระบบของเซลล์ประสาทนั้นจำเป็นต้องมีการดำเนินการต่อเซลล์ประสาทที่มีขนาดน้อยกว่าแบบจำลองธรรมดา (98) สองถึงสามคำสั่ง หากเราต้องการสร้างแบบจำลองเซลล์ประสาท 1,025 เซลล์ในช่วงวิวัฒนาการนับพันล้านปี (ซึ่งมากกว่าอายุขัยของระบบประสาทในรูปแบบปัจจุบัน) และเราปล่อยให้คอมพิวเตอร์ทำงานนี้เป็นเวลาหนึ่งปี ความต้องการกำลังประมวลผลของพวกมันจะอยู่ในช่วง 1031 -1044 FLOPS สำหรับการเปรียบเทียบ คอมพิวเตอร์ที่ทรงพลังที่สุดในโลก Chinese Tianhe-2 (ณ กันยายน 2013) มีความสามารถเพียง 3.39 × 1016 FLOPS ในช่วงไม่กี่สิบปีที่ผ่านมา คอมพิวเตอร์ทั่วไปได้เพิ่มประสิทธิภาพการทำงานในระดับหนึ่งในทุกๆ 6.7 ปี แม้ว่าพลังการคำนวณจะเริ่มเติบโตตามกฎของมัวร์ตลอดศตวรรษ แต่ก็ไม่เพียงพอที่จะเชื่อมช่องว่างที่มีอยู่ การใช้ระบบคอมพิวเตอร์เฉพาะทางมากขึ้นหรือการเพิ่มเวลาในการคำนวณสามารถลดความต้องการพลังงานได้เพียงไม่กี่ลำดับความสำคัญ

มีแนวโน้มว่าการกำจัดความไร้ประสิทธิภาพประเภทนี้จะช่วยประหยัดลำดับความสำคัญของพลังงานที่ต้องการได้หลายระดับใน 1031-1044 FLOPS ซึ่งคำนวณไว้ก่อนหน้านี้ น่าเสียดายที่มันยากที่จะบอกว่าเท่าไหร่ เป็นการยากที่จะให้ค่าประมาณคร่าวๆ - ใครๆ ก็เดาได้เพียงว่ามันจะเป็นห้าลำดับความสำคัญ สิบหรือยี่สิบห้า (101) .

ข้าว. 3. ประสิทธิภาพของคอมพิวเตอร์ที่ใช้งานหนักตามความหมายตามตัวอักษร สิ่งที่เรียกว่า "กฎของมัวร์" คือการสังเกตว่าจำนวนทรานซิสเตอร์ที่วางอยู่บนชิปวงจรรวมจะเพิ่มเป็นสองเท่าทุกๆ สองปีโดยประมาณ อย่างไรก็ตาม กฎหมายมักจะถูกทำให้เป็นภาพรวม โดยพิจารณาว่าตัวชี้วัดอื่นๆ ของประสิทธิภาพของคอมพิวเตอร์ก็เพิ่มขึ้นอย่างทวีคูณเช่นกัน กราฟของเราแสดงความเร็วสูงสุดของคอมพิวเตอร์ที่ทรงพลังที่สุดในโลกเมื่อเวลาผ่านไป (ในระดับแนวตั้งลอการิทึม) ในช่วงไม่กี่ปีที่ผ่านมา ความเร็วของการคำนวณตามลำดับหยุดเพิ่มขึ้น แต่เนื่องจากการแพร่กระจายของการคำนวณแบบขนาน จำนวนการดำเนินการทั้งหมดยังคงเพิ่มขึ้นในอัตราที่เท่ากัน (102)


มีภาวะแทรกซ้อนอื่นที่เกี่ยวข้องกับปัจจัยวิวัฒนาการที่หยิบยกมาเป็นข้อโต้แย้งสุดท้าย ปัญหาคือเราไม่สามารถคำนวณได้ - แม้จะคร่าวๆ - ขอบเขตบนของความยากลำบากในการได้รับสติปัญญาในลักษณะวิวัฒนาการ ใช่ ชีวิตที่ชาญฉลาดเคยปรากฏบนโลก แต่ยังไม่เป็นไปตามความจริงที่ว่ากระบวนการวิวัฒนาการนำไปสู่การเกิดขึ้นของสติปัญญาที่มีความน่าจะเป็นในระดับสูง ข้อสรุปดังกล่าวจะผิดพลาดโดยพื้นฐาน เนื่องจากไม่คำนึงถึงสิ่งที่เรียกว่าเอฟเฟกต์การคัดเลือกเชิงสังเกต ซึ่งหมายความว่าผู้สังเกตการณ์ทั้งหมดอยู่บนโลกที่มีชีวิตที่ชาญฉลาดเกิดขึ้น ไม่ว่าเหตุการณ์ดังกล่าวจะเกิดขึ้นบนสิ่งอื่นใดที่มีแนวโน้มหรือไม่น่าจะเป็นไปได้ ดาวเคราะห์. สมมติว่าสำหรับการเกิดขึ้นของชีวิตที่ชาญฉลาดนอกเหนือจากข้อผิดพลาดอย่างเป็นระบบของการคัดเลือกโดยธรรมชาติจำนวนมหาศาล แมตช์นำโชค- ใหญ่มากจนสิ่งมีชีวิตที่ชาญฉลาดปรากฏบนดาวเคราะห์เพียงดวงเดียวจาก 1,030 ดวงที่มียีนจำลองแบบง่ายอยู่ ในกรณีเช่นนี้ นักวิจัยที่ใช้อัลกอริธึมทางพันธุกรรมเพื่อพยายามจำลองสิ่งที่วิวัฒนาการสร้างขึ้นอาจจบลงด้วยการวนซ้ำประมาณ 1,030 ครั้ง ก่อนที่พวกเขาจะพบการผสมผสานที่องค์ประกอบทั้งหมดรวมกันอย่างถูกต้อง ดูเหมือนว่าจะค่อนข้างสอดคล้องกับข้อสังเกตของเราที่ว่าชีวิตเกิดขึ้นและพัฒนาที่นี่บนโลก อุปสรรคทางญาณวิทยานี้สามารถหลีกเลี่ยงได้บางส่วนด้วยการเคลื่อนไหวเชิงตรรกะที่ระมัดระวังและค่อนข้างยุ่งยาก โดยการวิเคราะห์กรณีการวิวัฒนาการมาบรรจบกันของคุณลักษณะที่เกี่ยวข้องกับสติปัญญา และคำนึงถึงผลของการสังเกตในการคัดเลือก หากนักวิทยาศาสตร์ไม่ใช้ปัญหาในการวิเคราะห์ดังกล่าว ในอนาคตจะไม่มีใครต้องประมาณค่าสูงสุดและหาว่าขอบเขตบนโดยประมาณของพลังการคำนวณที่จำเป็นในการทำซ้ำวิวัฒนาการของหน่วยสืบราชการลับ (ดู กล่อง 3) อาจอยู่ต่ำกว่าลำดับที่สามสิบ (หรือค่าอื่นที่เท่าเทียมกัน)(103)

ไปที่ตัวเลือกถัดไปเพื่อให้บรรลุเป้าหมาย: การโต้เถียงเพื่อสนับสนุนความเป็นไปได้ของวิวัฒนาการของปัญญาประดิษฐ์คือกิจกรรมของสมองมนุษย์ ซึ่งเรียกว่าเป็นแบบจำลองพื้นฐานของ AI รุ่นต่างๆของวิธีการนี้แตกต่างกันในระดับของการสืบพันธุ์เท่านั้น - มีการเสนอให้เลียนแบบการทำงานของสมองทางชีววิทยาได้อย่างแม่นยำเพียงใด ที่ขั้วหนึ่งซึ่งเป็น "เกมเลียนแบบ" เรามีแนวคิด การจำลองสมองเต็มรูปแบบนั่นคือการจำลองสมองเต็มรูปแบบ (เราจะกลับมาที่นี่ในภายหลัง) อีกด้านหนึ่ง มีเทคโนโลยีตามที่การทำงานของสมองเป็นเพียงจุดเริ่มต้น แต่ไม่มีการวางแผนการพัฒนาแบบจำลองระดับต่ำ ในท้ายที่สุด เราจะเข้าใกล้การทำความเข้าใจแนวคิดทั่วไปของสมองมากขึ้น ซึ่งอำนวยความสะดวกโดยความก้าวหน้าทางประสาทวิทยาและจิตวิทยาความรู้ความเข้าใจ ตลอดจนการปรับปรุงเครื่องมือและฮาร์ดแวร์อย่างต่อเนื่อง ความรู้ใหม่จะกลายเป็นแนวทางในการทำงานต่อไปกับ AI อย่างไม่ต้องสงสัย เรารู้แล้วว่าตัวอย่างของ AI ที่เกิดขึ้นจากการสร้างแบบจำลองการทำงานของสมอง - นี่คือโครงข่ายประสาทเทียม แนวคิดอื่นที่นำมาจากประสาทวิทยาศาสตร์และถ่ายโอนไปยังการเรียนรู้ด้วยเครื่องคือการจัดลำดับชั้นของการรับรู้ การศึกษาการเรียนรู้แบบเสริมแรงขับเคลื่อน (อย่างน้อยก็บางส่วน) โดย บทบาทสำคัญซึ่งหัวข้อนี้เล่นในทฤษฎีทางจิตวิทยาที่อธิบายพฤติกรรมและความคิดของสัตว์ ตลอดจนเทคนิคการเรียนรู้แบบเสริมกำลัง (เช่น อัลกอริธึม TD) วันนี้การเรียนรู้เสริมกำลังใช้กันอย่างแพร่หลายในระบบ AI(104) จะมีตัวอย่างเช่นนี้อีกในอนาคตอย่างแน่นอน เนื่องจากชุดของกลไกพื้นฐานของการทำงานของสมองนั้นมีจำกัด อันที่จริง มีกลไกเพียงไม่กี่อย่างเท่านั้น กลไกเหล่านี้ทั้งหมดจะถูกค้นพบไม่ช้าก็เร็วด้วยความก้าวหน้าทางประสาทวิทยาอย่างต่อเนื่อง อย่างไรก็ตาม เป็นไปได้ว่าแนวทางไฮบริดบางอย่างจะไปถึงเส้นชัยเร็วกว่านั้นอีก โดยผสมผสานแบบจำลองที่พัฒนาขึ้นในอีกด้านหนึ่ง ตามกิจกรรมของสมองมนุษย์ ในอีกทางหนึ่ง โดยอิงจากเทคโนโลยีปัญญาประดิษฐ์โดยเฉพาะ ไม่จำเป็นเลยที่ระบบผลลัพธ์ควรมีลักษณะคล้ายกับสมองในทุกสิ่ง แม้ว่าจะมีการใช้หลักการบางประการของกิจกรรมในการสร้างสรรค์ก็ตาม

กิจกรรมของสมองมนุษย์ในรูปแบบพื้นฐานเป็นข้อโต้แย้งที่ชัดเจนเกี่ยวกับความเป็นไปได้ในการสร้างและพัฒนาปัญญาประดิษฐ์ต่อไป อย่างไรก็ตาม ไม่มีข้อโต้แย้งที่ทรงพลังที่สุดที่จะทำให้เราเข้าใจวันที่ในอนาคตมากขึ้น เนื่องจากเป็นการยากที่จะคาดเดาว่าการค้นพบนี้จะเกิดขึ้นเมื่อใดหรือในประสาทวิทยาศาสตร์ เราสามารถพูดได้เพียงสิ่งเดียวเท่านั้น: ยิ่งเรามองลึกลงไปในอนาคต ยิ่งมีแนวโน้มมากขึ้นที่ความลับของการทำงานของสมองจะถูกเปิดเผยอย่างเต็มที่เพียงพอที่จะรวบรวมระบบปัญญาประดิษฐ์

นักวิจัยที่ทำงานด้านปัญญาประดิษฐ์มีมุมมองที่แตกต่างกันว่าแนวทาง neuromorphic มีแนวโน้มอย่างไรเมื่อเปรียบเทียบกับเทคโนโลยีที่อิงตามแนวทางการจัดองค์ประกอบอย่างเต็มที่ การบินของนกแสดงให้เห็นถึงความเป็นไปได้ทางกายภาพของการปรากฏตัวของกลไกการบินที่หนักกว่าอากาศซึ่งในที่สุดก็นำไปสู่การก่อสร้างเครื่องบิน อย่างไรก็ตาม แม้แต่เครื่องบินลำแรกที่ขึ้นไปในอากาศก็ไม่กระพือปีก การพัฒนาปัญญาประดิษฐ์จะไปในทิศทางใด? คำถามยังคงเปิดอยู่: ตามกฎของอากาศพลศาสตร์ซึ่งรักษากลไกเหล็กหนักในอากาศหรือไม่ นั่นคือการเรียนรู้จากสัตว์ป่า แต่ไม่ได้เลียนแบบโดยตรง ตามหลักการว่าอุปกรณ์ของเครื่องยนต์สันดาปภายใน - นั่นคือการคัดลอกการกระทำของแรงธรรมชาติโดยตรง

แนวคิดของทัวริงในการพัฒนาโปรแกรมที่ได้รับ b เกี่ยวกับความรู้ส่วนใหญ่ผ่านการเรียนรู้ มากกว่าที่จะเป็นผลจากการระบุข้อมูลเบื้องต้น ยังสามารถนำมาใช้กับการสร้างปัญญาประดิษฐ์ได้ ทั้งกับวิธีการทางประสาทมอร์ฟิคและการจัดองค์ประกอบ

ความแตกต่างของแนวคิด "เครื่องเด็ก" ของทัวริงคือแนวคิดของเชื้อโรค AI (105) อย่างไรก็ตาม หาก "เครื่องลูก" ตามที่ทัวริงจินตนาการไว้ ควรจะมีสถาปัตยกรรมที่ค่อนข้างคงที่และพัฒนาศักยภาพด้วยการสะสม เนื้อหา, เชื้อโรค AI จะเป็นระบบที่ซับซ้อนมากขึ้น ปรับปรุงตัวเอง สถาปัตยกรรม. ในช่วงแรกของการดำรงอยู่ AI ของตัวอ่อนจะพัฒนาผ่านการรวบรวมข้อมูล กระทำโดยการลองผิดลองถูกด้วยความช่วยเหลือของโปรแกรมเมอร์ “โตแล้ว” เขาต้องเรียนรู้ด้วยตัวเอง เข้าใจในหลักการทำงานของเขา เพื่อที่จะสามารถออกแบบอัลกอริธึมใหม่และโครงสร้างการคำนวณที่เพิ่มประสิทธิภาพในการรับรู้ของเขา ความเข้าใจที่จำเป็นนั้นเป็นไปได้เฉพาะในกรณีที่เชื้อโรคของ AI ในหลายพื้นที่มีการพัฒนาทางปัญญาในระดับทั่วไปที่ค่อนข้างสูง หรือในบางสาขาวิชา เช่น ไซเบอร์เนติกส์และคณิตศาสตร์ ได้ผ่านเกณฑ์ทางปัญญาบางอย่างแล้ว

สิ่งนี้นำเราไปสู่แนวคิดที่สำคัญอีกประการหนึ่งที่เรียกว่า "การพัฒนาตนเองแบบเรียกซ้ำ" ตัวอ่อน AI ที่ประสบความสำเร็จจะต้องสามารถพัฒนาตนเองได้อย่างต่อเนื่อง: เวอร์ชันแรกสร้างเวอร์ชันที่ปรับปรุงแล้วของตัวเองซึ่งฉลาดกว่าต้นฉบับมาก ในทางกลับกัน เวอร์ชันที่ปรับปรุงแล้ว ทำงานได้กับเวอร์ชันที่ดียิ่งขึ้นไปอีก และอื่นๆ(106) ภายใต้เงื่อนไขบางประการ กระบวนการพัฒนาตนเองแบบเรียกซ้ำสามารถดำเนินต่อไปได้เป็นเวลานาน และในที่สุดก็นำไปสู่การพัฒนาปัญญาประดิษฐ์ที่ระเบิดได้ หมายถึงเหตุการณ์ในช่วงเวลาสั้นๆ ที่ความฉลาดโดยรวมของระบบเติบโตจากระดับที่ค่อนข้างเจียมเนื้อเจียมตัว (อาจในหลาย ๆ ด้าน ยกเว้นการเขียนโปรแกรมและการวิจัย AI แม้แต่ต่ำกว่ามนุษย์) ไปสู่ความฉลาดหลักแหลม เหนือกว่าอย่างสิ้นเชิง สู่ระดับมนุษย์ ในบทที่สี่ เราจะกลับมาที่มุมมองนี้ ซึ่งมีความสำคัญมากในความสำคัญ และวิเคราะห์รายละเอียดเพิ่มเติมเกี่ยวกับพลวัตของการพัฒนาเหตุการณ์

โปรดทราบว่ารูปแบบการพัฒนานี้แสดงถึงความเป็นไปได้ของความประหลาดใจ ความพยายามที่จะสร้างปัญญาประดิษฐ์ที่เป็นสากลสามารถจบลงด้วยความล้มเหลวโดยสิ้นเชิง และในทางกลับกัน นำไปสู่องค์ประกอบที่สำคัญสุดท้ายที่ขาดหายไป หลังจากนั้นตัวอ่อนของ AI จะสามารถพัฒนาตนเองแบบเรียกซ้ำได้อย่างยั่งยืน

ก่อนจบบทนี้ ฉันต้องการเน้นอีกสิ่งหนึ่ง: ไม่จำเป็นเลยที่ปัญญาประดิษฐ์จะเปรียบเสมือนจิตใจของมนุษย์ ฉันยอมรับอย่างเต็มที่ว่า AI จะกลายเป็น "เอเลี่ยน" โดยสิ้นเชิง - เป็นไปได้มากที่จะเกิดขึ้น เป็นที่คาดหวังได้ว่าสถาปัตยกรรมความรู้ความเข้าใจของ AI จะแตกต่างจากระบบความรู้ความเข้าใจของมนุษย์อย่างมาก ตัวอย่างเช่น ในระยะแรก สถาปัตยกรรมการเรียนรู้จะมีจุดแข็งและจุดอ่อนที่แตกต่างกันมาก (แม้ว่าเราจะเห็น AI จะสามารถเอาชนะข้อบกพร่องเบื้องต้นได้) เหนือสิ่งอื่นใด ระบบ AI ที่มีจุดประสงค์อาจไม่เกี่ยวข้องกับระบบที่มีจุดประสงค์ของมนุษย์ ไม่มีเหตุผลที่จะเชื่อว่า AI ระดับกลางจะเริ่มถูกนำทางโดยความรู้สึกของมนุษย์ เช่น ความรัก ความเกลียดชัง ความภาคภูมิใจ - การปรับตัวที่ซับซ้อนเช่นนี้จะต้องใช้งานที่มีราคาแพงจำนวนมาก ยิ่งกว่านั้น การเกิดขึ้นของโอกาสดังกล่าวสำหรับ AI ควรได้รับการปฏิบัติอย่างระมัดระวัง นี่เป็นทั้งปัญหาใหญ่และโอกาสที่ยิ่งใหญ่ เราจะกลับไปที่แรงจูงใจของ AI ในบทต่อๆ ไป แต่แนวคิดนี้มีความสำคัญต่อหนังสือมากจนควรจดจำไว้เสมอ

การจำลองสมองของมนุษย์อย่างเต็มที่

ในกระบวนการจำลองสมองเต็มรูปแบบ ซึ่งเราเรียกว่า "การจำลองสมองเต็มรูปแบบ" หรือ "การอัปโหลดความคิด" ปัญญาประดิษฐ์ถูกสร้างขึ้นโดยการสแกนและทำซ้ำโครงสร้างการคำนวณของสมองทางชีววิทยาอย่างแม่นยำ ดังนั้น เราจึงต้องดึงแรงบันดาลใจจากธรรมชาติทั้งหมด ซึ่งเป็นกรณีสุดโต่งของการลอกเลียนแบบโดยสิ้นเชิง เพื่อให้การจำลองสมองเต็มรูปแบบประสบความสำเร็จ ต้องปฏิบัติตามขั้นตอนเฉพาะจำนวนหนึ่ง

ขั้นแรก. กำลังดำเนินการสแกนสมองมนุษย์อย่างละเอียดถี่ถ้วน ซึ่งอาจรวมถึงการซ่อมสมองของผู้เสียชีวิตด้วยการทำให้เป็นน้ำแข็ง หรือการทำให้เป็นก้อน (ส่งผลให้เนื้อเยื่อแข็งเป็นแก้ว) ชิ้นส่วนบาง ๆ จะทำจากเนื้อเยื่อด้วยเครื่องหนึ่งและส่งผ่านเครื่องอื่นเพื่อทำการสแกน อาจใช้กล้องจุลทรรศน์อิเล็กตรอน ในขั้นตอนนี้ วัสดุจะถูกย้อมด้วยสีย้อมพิเศษเพื่อแสดงคุณสมบัติทางโครงสร้างและทางเคมี ในเวลาเดียวกัน อุปกรณ์สแกนจำนวนมากทำงานแบบคู่ขนาน โดยจะประมวลผลส่วนเนื้อเยื่อต่างๆ พร้อมกัน

ระยะที่สอง. ข้อมูลดิบจากเครื่องสแกนจะถูกโหลดลงในคอมพิวเตอร์ประมวลผลภาพอัตโนมัติเพื่อสร้างเครือข่ายประสาท 3 มิติที่รับผิดชอบในการรับรู้ในสมองทางชีววิทยา เพื่อลดจำนวนภาพความละเอียดสูงที่ต้องเก็บไว้ในบัฟเฟอร์ ขั้นตอนนี้สามารถทำได้พร้อมกันกับขั้นตอนแรก แผนที่ผลลัพธ์ถูกรวมเข้ากับไลบรารีของแบบจำลอง neurocomputational บนเซลล์ประสาทประเภทต่างๆ หรือองค์ประกอบของเซลล์ประสาทที่แตกต่างกัน (ตัวอย่างเช่น ไซแนปส์อาจแตกต่างกัน) ผลลัพธ์ของการสแกนและการประมวลผลภาพบางส่วนโดยใช้เทคโนโลยีสมัยใหม่แสดงในรูปที่ 4.

สิ้นสุดช่วงแนะนำตัว

นิค บอสตรอม

ปัญญาประดิษฐ์. ขั้นตอน ภัยคุกคาม กลยุทธ์

นิค บอสตรอม

ซุปเปอร์อินเทลลิเจนซ์

เส้นทาง อันตราย กลยุทธ์


บรรณาธิการวิทยาศาสตร์ M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev


เผยแพร่โดยได้รับอนุญาตจาก Alexander Korzhenevski Agency


การสนับสนุนทางกฎหมายของสำนักพิมพ์นั้นจัดทำโดยสำนักงานกฎหมาย "Vegas-Lex"


หนังสือเล่มนี้ถูกตีพิมพ์ครั้งแรกในภาษาอังกฤษในปี 2014 การแปลนี้จัดพิมพ์โดยข้อตกลงกับ Oxford University Press ผู้จัดพิมพ์รับผิดชอบงานแปลนี้จากงานต้นฉบับแต่เพียงผู้เดียว และ Oxford University Press จะไม่รับผิดชอบต่อข้อผิดพลาด การละเว้น หรือความไม่ถูกต้องหรือความคลุมเครือในการแปลดังกล่าว หรือความสูญเสียใดๆ ที่เกิดจากการเชื่อถือในการแปล


© นิค บอสตรอม 2014

© แปลเป็นภาษารัสเซีย ฉบับภาษารัสเซีย ออกแบบ LLC "Mann, Ivanov และ Ferber", 2016

* * *

เล่มนี้จัดเต็ม

ทฤษฎีเกม

Avinash Dixit และ Barry Nabuff


เคน เจนนิงส์


ความสุขจาก x

Stephen Strogatz

คำนำของพันธมิตร

... ฉันมีเพื่อนคนหนึ่ง - Edik กล่าว - เขาอ้างว่ามนุษย์เป็นสื่อกลางที่จำเป็นสำหรับธรรมชาติในการสร้างมงกุฎแห่งการสร้างสรรค์: คอนญักหนึ่งแก้วกับมะนาวฝานหนึ่ง

Arkady และ Boris Strugatsky วันจันทร์ เริ่มวันเสาร์

ผู้เขียนเชื่อว่าภัยคุกคามต่อมนุษย์นั้นสัมพันธ์กับความเป็นไปได้ในการสร้างปัญญาประดิษฐ์ที่เหนือกว่าจิตใจมนุษย์ ภัยพิบัติอาจเกิดขึ้นได้ในช่วงปลายศตวรรษที่ 21 และในทศวรรษหน้า ประวัติศาสตร์ทั้งหมดของมนุษยชาติแสดงให้เห็น: เมื่อมีการปะทะกันระหว่างตัวแทนของเผ่าพันธุ์ของเรา บุคคลที่มีเหตุผล และผู้อยู่อาศัยอื่น ๆ ในโลกของเรา ผู้ที่ฉลาดกว่าจะเป็นผู้ชนะ จนถึงตอนนี้ เราฉลาดที่สุด แต่เราไม่รับประกันว่าจะคงอยู่ตลอดไป

Nick Bostrom เขียนว่าหากอัลกอริธึมคอมพิวเตอร์อัจฉริยะเรียนรู้ที่จะสร้างอัลกอริธึมที่ฉลาดขึ้นด้วยตัวเองและในทางกลับกัน ปัญญาประดิษฐ์จะเพิ่มขึ้นอย่างรวดเร็ว เมื่อเทียบกับที่ผู้คนจะดูเหมือนมดถัดจากคน ตอนนี้ในทางปัญญาแน่นอน สปีชีส์ใหม่ที่แม้จะประดิษฐ์ขึ้น แต่อัจฉริยะก็จะปรากฏขึ้นในโลกนี้ ไม่สำคัญหรอกว่าเขา “คิดอะไร” ความพยายามให้ทุกคนมีความสุข หรือการตัดสินใจที่จะหยุดมลพิษจากมนุษย์ในมหาสมุทรโลกอย่างมีประสิทธิภาพสูงสุด กล่าวคือ โดยการทำลายมนุษยชาติ ผู้คนจะยังไม่ สามารถต้านทานมันได้ ไม่มีโอกาสได้เผชิญหน้าในรูปแบบภาพยนตร์ของเทอร์มิเนเตอร์ ไม่มีการดวลปืนกับไซบอร์กเหล็ก รุกฆาตและรุกฆาตกำลังรอเราอยู่ - เช่นเดียวกับการดวลระหว่างคอมพิวเตอร์หมากรุก Deep Blue กับนักเรียนระดับประถม

กว่าร้อยหรือสองปีที่ผ่านมา ความสำเร็จของวิทยาศาสตร์ได้กระตุ้นความหวังในตัวพวกเขาในการแก้ปัญหาทั้งหมดของมนุษย์ ในขณะที่บางเรื่องได้ก่อให้เกิดและยังคงก่อให้เกิดความกลัวอย่างไม่มีการควบคุม ในขณะเดียวกันก็ต้องบอกว่ามุมมองทั้งสองดูสมเหตุสมผลทีเดียว ต้องขอบคุณวิทยาศาสตร์ที่กำจัดโรคร้ายได้ มนุษยชาติในปัจจุบันสามารถเลี้ยงดูผู้คนจำนวนมากอย่างที่ไม่เคยมีมาก่อน และจากจุดหนึ่งบนโลกใบนี้ คุณสามารถไปสู่สิ่งที่ตรงกันข้ามได้ภายในเวลาไม่ถึงวัน อย่างไรก็ตาม ด้วยความสง่างามของวิทยาศาสตร์เดียวกัน ผู้คนที่ใช้เทคโนโลยีทางการทหารล่าสุด ทำลายล้างซึ่งกันและกันด้วยความเร็วและประสิทธิภาพที่มหึมา

แนวโน้มที่คล้ายกัน - เมื่อการพัฒนาอย่างรวดเร็วของเทคโนโลยีไม่เพียง แต่นำไปสู่การสร้างโอกาสใหม่ แต่ยังสร้างภัยคุกคามที่ไม่เคยปรากฏมาก่อน - เราเห็นในด้านความปลอดภัยของข้อมูล อุตสาหกรรมทั้งหมดของเราเกิดขึ้นและดำรงอยู่เพียงเพราะการสร้างและแจกจ่ายสิ่งมหัศจรรย์อย่างเช่น คอมพิวเตอร์และอินเทอร์เน็ตในจำนวนมากๆ เท่านั้น ทำให้เกิดปัญหาที่ไม่สามารถจินตนาการได้ในยุคก่อนคอมพิวเตอร์ อันเป็นผลมาจากการถือกำเนิดของเทคโนโลยีสารสนเทศ มีการปฏิวัติในการสื่อสารของมนุษย์ รวมทั้งถูกใช้โดยอาชญากรไซเบอร์ประเภทต่างๆ และขณะนี้มนุษยชาติค่อยๆ เริ่มตระหนักถึงความเสี่ยงใหม่ ๆ วัตถุของโลกทางกายภาพมากขึ้นเรื่อยๆ ถูกควบคุมโดยคอมพิวเตอร์และซอฟต์แวร์ ซึ่งมักจะไม่สมบูรณ์แบบ เต็มไปด้วยช่องโหว่และเปราะบาง วัตถุดังกล่าวจำนวนมากขึ้นเชื่อมต่อกับอินเทอร์เน็ต และภัยคุกคามต่อโลกไซเบอร์กำลังกลายเป็นปัญหาด้านความปลอดภัยทางกายภาพอย่างรวดเร็ว และปัญหาชีวิตและความตายที่อาจเกิดขึ้น

นั่นคือเหตุผลที่หนังสือของ Nick Bostrom ดูน่าสนใจมาก ขั้นตอนแรกในการป้องกันสถานการณ์ฝันร้าย (สำหรับเครือข่ายคอมพิวเตอร์เครื่องเดียวหรือสำหรับมนุษยชาติทั้งหมด) คือการทำความเข้าใจว่าประกอบด้วยอะไรบ้าง Bostrom ตั้งข้อกังขามากมายว่าการสร้างปัญญาประดิษฐ์เทียบได้กับหรือเหนือกว่าจิตใจมนุษย์ ซึ่งเป็นปัญญาประดิษฐ์ที่สามารถทำลายมนุษยชาติได้ เป็นเพียงสถานการณ์ที่ไม่น่าจะเกิดขึ้นจริง แน่นอนว่ามีตัวเลือกมากมายและการพัฒนาเทคโนโลยีคอมพิวเตอร์อาจไม่ทำลายมนุษยชาติ แต่จะให้คำตอบแก่เราสำหรับ "คำถามหลักของชีวิต จักรวาล และทุกสิ่งทุกอย่าง" (บางทีอาจเป็นหมายเลข 42 จริงๆ เช่น ในนวนิยายเรื่อง "The Hitchhiker's Guide to the Galaxy") มีความหวัง แต่อันตรายร้ายแรงมาก Bostrom เตือนเรา ในความเห็นของฉัน หากมีความเป็นไปได้ที่จะเกิดภัยคุกคามต่อมนุษยชาติเช่นนี้ ก็ควรได้รับการปฏิบัติตามนั้น และเพื่อป้องกันและป้องกัน ความพยายามร่วมกันควรทำในระดับโลก

ฉันต้องการปิดท้ายการแนะนำของฉันด้วยคำพูดจากหนังสือ "Man in the System" ของ Mikhail Weller:

เมื่อจินตนาการ นั่นคือ ความคิดของมนุษย์ถูกใส่กรอบไว้ในภาพและโครงเรื่อง ทำซ้ำบางสิ่งเป็นเวลานานและละเอียดถี่ถ้วน - อืม ไม่มีควันถ้าไม่มีไฟ ภาพยนตร์แอ็คชั่นฮอลลีวูดเกี่ยวกับสงครามของผู้คนที่มีอารยธรรมของหุ่นยนต์นำเสนอความจริงอันขมขื่นภายใต้เปลือกของรูปลักษณ์เชิงพาณิชย์

เมื่อโปรแกรมสัญชาตญาณที่ถ่ายทอดออกมาได้ถูกสร้างขึ้นในหุ่นยนต์ และความพึงพอใจของสัญชาตญาณเหล่านี้จะถูกสร้างขึ้นเป็นความต้องการขั้นพื้นฐานที่ไม่มีเงื่อนไข และสิ่งนี้จะไปสู่ระดับของการสืบพันธุ์ในตัวเอง จากนั้นพวกคุณก็เลิกสูบบุหรี่และดื่มสุรา เพราะจะเป็นช่วงเวลาที่ดีที่จะดื่มและสูบบุหรี่ต่อหน้าฮานะสำหรับพวกเราทุกคน

ยูจีน แคสเปอร์สกี้,ผู้อำนวยการทั่วไปของ Kaspersky Lab

เรื่องราวที่ยังไม่เสร็จของนกกระจอก

อยู่มาวันหนึ่ง ท่ามกลางการทำรัง นกกระจอกเหนื่อยกับการทำงานหนักมาหลายวัน นั่งพักผ่อนยามพระอาทิตย์ตกดินและร้องเจี๊ยก ๆ เกี่ยวกับสิ่งนี้และสิ่งนั้น

เราตัวเล็กมาก อ่อนแอ ลองนึกดูว่าถ้าเราเลี้ยงนกเค้าแมวไว้เป็นผู้ช่วยจะง่ายขึ้นขนาดไหน! นกกระจอกตัวหนึ่งร้องเจี๊ยก ๆ “เธอสามารถสร้างรังให้เรา…”

– เอ๊ะ! ตกลงอีก “และดูแลคนแก่และลูกไก่ของเรา…”

“และสอนเราและปกป้องเราจากแมวของเพื่อนบ้าน” หนึ่งในสามกล่าวเสริม

ปัสตุส นกกระจอกตัวโต แนะนำว่า

- ให้หน่วยสอดแนมบินไปในทิศทางต่าง ๆ เพื่อค้นหานกฮูกที่ตกลงมาจากรัง อย่างไรก็ตาม ไข่ของนกฮูก อีกา และแม้แต่ลูกพังพอนก็ทำได้ การค้นพบนี้จะกลายเป็นความสำเร็จที่ยิ่งใหญ่ที่สุดสำหรับฝูงแกะของเรา! เช่นเดียวกับที่เราพบใน สนามหลังบ้านเป็นแหล่งของเมล็ดพืชที่ไม่สิ้นสุด

นกกระจอกตื่นเต้นอย่างจริงจังร้องเจี๊ยก ๆ ว่ามีปัสสาวะ

และมีเพียง Skronfinkle ตาเดียวซึ่งเป็นกระจอกที่มีฤทธิ์กัดกร่อนซึ่งดูเหมือนจะสงสัยในความได้เปรียบขององค์กรนี้

“เราได้เลือกเส้นทางหายนะ” เขากล่าวด้วยความมั่นใจ “ก่อนอื่นคุณควรพิจารณาประเด็นเรื่องการเลี้ยงและเลี้ยงนกฮูกอย่างจริงจังก่อนที่จะปล่อยให้สิ่งมีชีวิตที่เป็นอันตรายดังกล่าวเข้าสู่สภาพแวดล้อมของคุณหรือไม่”

“สำหรับฉัน ดูเหมือนว่า” Pastus พูดกับเขา “ศิลปะการเลี้ยงนกฮูกไม่ใช่เรื่องง่าย การหาไข่นกฮูกนั้นยากเหมือนนรก เริ่มจากการค้นหากันก่อน ถ้าเราจัดการนำนกฮูกออกมาได้เราจะคิดถึงปัญหาการศึกษา

- แผนชั่ว! Skronfinkle ร้องเจี๊ยก ๆ อย่างประหม่า

แต่ไม่มีใครฟังเขา ตามทิศทางของ Pastus ฝูงนกกระจอกก็ลอยขึ้นไปในอากาศและออกเดินทาง

นิค บอสตรอม

นิค บอสตรอม

ซุปเปอร์อินเทลลิเจนซ์

เส้นทาง อันตราย กลยุทธ์

บรรณาธิการวิทยาศาสตร์ M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

เผยแพร่โดยได้รับอนุญาตจาก Alexander Korzhenevski Agency

การสนับสนุนทางกฎหมายของสำนักพิมพ์นั้นจัดทำโดยสำนักงานกฎหมาย "Vegas-Lex"

หนังสือเล่มนี้ถูกตีพิมพ์ครั้งแรกในภาษาอังกฤษในปี 2014 การแปลนี้จัดพิมพ์โดยข้อตกลงกับ Oxford University Press ผู้จัดพิมพ์รับผิดชอบงานแปลนี้จากงานต้นฉบับแต่เพียงผู้เดียว และ Oxford University Press จะไม่รับผิดชอบต่อข้อผิดพลาด การละเว้น หรือความไม่ถูกต้องหรือความคลุมเครือในการแปลดังกล่าว หรือความสูญเสียใดๆ ที่เกิดจากการเชื่อถือในการแปล

© นิค บอสตรอม 2014

© แปลเป็นภาษารัสเซีย ฉบับภาษารัสเซีย ออกแบบ LLC "Mann, Ivanov และ Ferber", 2016

* * *

เล่มนี้จัดเต็ม

Avinash Dixit และ Barry Nabuff

Stephen Strogatz

คำนำของพันธมิตร

... ฉันมีเพื่อนคนหนึ่ง - Edik กล่าว - เขาอ้างว่ามนุษย์เป็นสื่อกลางที่จำเป็นสำหรับธรรมชาติในการสร้างมงกุฎแห่งการสร้างสรรค์: คอนญักหนึ่งแก้วกับมะนาวฝานหนึ่ง

Arkady และ Boris Strugatsky วันจันทร์ เริ่มวันเสาร์

ผู้เขียนเชื่อว่าภัยคุกคามต่อมนุษย์นั้นสัมพันธ์กับความเป็นไปได้ในการสร้างปัญญาประดิษฐ์ที่เหนือกว่าจิตใจมนุษย์ ภัยพิบัติอาจเกิดขึ้นได้ในช่วงปลายศตวรรษที่ 21 และในทศวรรษหน้า ประวัติศาสตร์ทั้งหมดของมนุษยชาติแสดงให้เห็น: เมื่อมีการปะทะกันระหว่างตัวแทนของเผ่าพันธุ์ของเรา บุคคลที่มีเหตุผล และผู้อยู่อาศัยอื่น ๆ ในโลกของเรา ผู้ที่ฉลาดกว่าจะเป็นผู้ชนะ จนถึงตอนนี้ เราฉลาดที่สุด แต่เราไม่รับประกันว่าจะคงอยู่ตลอดไป

Nick Bostrom เขียนว่าหากอัลกอริธึมคอมพิวเตอร์อัจฉริยะเรียนรู้ที่จะสร้างอัลกอริธึมที่ฉลาดขึ้นด้วยตัวเองและในทางกลับกัน ปัญญาประดิษฐ์จะเพิ่มขึ้นอย่างรวดเร็ว เมื่อเทียบกับที่ผู้คนจะดูเหมือนมดถัดจากคน ตอนนี้ในทางปัญญาแน่นอน สปีชีส์ใหม่ที่แม้จะประดิษฐ์ขึ้น แต่อัจฉริยะก็จะปรากฏขึ้นในโลกนี้ ไม่สำคัญหรอกว่าเขา “คิดอะไร” ความพยายามให้ทุกคนมีความสุข หรือการตัดสินใจที่จะหยุดมลพิษจากมนุษย์ในมหาสมุทรโลกอย่างมีประสิทธิภาพสูงสุด กล่าวคือ โดยการทำลายมนุษยชาติ ผู้คนจะยังไม่ สามารถต้านทานมันได้ ไม่มีโอกาสได้เผชิญหน้าในรูปแบบภาพยนตร์ของเทอร์มิเนเตอร์ ไม่มีการดวลปืนกับไซบอร์กเหล็ก รุกฆาตและรุกฆาตกำลังรอเราอยู่ - เช่นเดียวกับการดวลระหว่างคอมพิวเตอร์หมากรุก Deep Blue กับนักเรียนระดับประถม

กว่าร้อยหรือสองปีที่ผ่านมา ความสำเร็จของวิทยาศาสตร์ได้กระตุ้นความหวังในตัวพวกเขาในการแก้ปัญหาทั้งหมดของมนุษย์ ในขณะที่บางเรื่องได้ก่อให้เกิดและยังคงก่อให้เกิดความกลัวอย่างไม่มีการควบคุม ในขณะเดียวกันก็ต้องบอกว่ามุมมองทั้งสองดูสมเหตุสมผลทีเดียว ต้องขอบคุณวิทยาศาสตร์ที่กำจัดโรคร้ายได้ มนุษยชาติในปัจจุบันสามารถเลี้ยงดูผู้คนจำนวนมากอย่างที่ไม่เคยมีมาก่อน และจากจุดหนึ่งบนโลกใบนี้ คุณสามารถไปสู่สิ่งที่ตรงกันข้ามได้ภายในเวลาไม่ถึงวัน อย่างไรก็ตาม ด้วยความสง่างามของวิทยาศาสตร์เดียวกัน ผู้คนที่ใช้เทคโนโลยีทางการทหารล่าสุด ทำลายล้างซึ่งกันและกันด้วยความเร็วและประสิทธิภาพที่มหึมา

แนวโน้มที่คล้ายกัน - เมื่อการพัฒนาอย่างรวดเร็วของเทคโนโลยีไม่เพียง แต่นำไปสู่การสร้างโอกาสใหม่ แต่ยังสร้างภัยคุกคามที่ไม่เคยปรากฏมาก่อน - เราเห็นในด้านความปลอดภัยของข้อมูล อุตสาหกรรมทั้งหมดของเราเกิดขึ้นและดำรงอยู่เพียงเพราะการสร้างและแจกจ่ายสิ่งมหัศจรรย์อย่างเช่น คอมพิวเตอร์และอินเทอร์เน็ตในจำนวนมากๆ เท่านั้น ทำให้เกิดปัญหาที่ไม่สามารถจินตนาการได้ในยุคก่อนคอมพิวเตอร์ อันเป็นผลมาจากการถือกำเนิดของเทคโนโลยีสารสนเทศ มีการปฏิวัติในการสื่อสารของมนุษย์ รวมทั้งถูกใช้โดยอาชญากรไซเบอร์ประเภทต่างๆ และขณะนี้มนุษยชาติค่อยๆ เริ่มตระหนักถึงความเสี่ยงใหม่ ๆ วัตถุของโลกทางกายภาพมากขึ้นเรื่อยๆ ถูกควบคุมโดยคอมพิวเตอร์และซอฟต์แวร์ ซึ่งมักจะไม่สมบูรณ์แบบ เต็มไปด้วยช่องโหว่และเปราะบาง วัตถุดังกล่าวจำนวนมากขึ้นเชื่อมต่อกับอินเทอร์เน็ต และภัยคุกคามต่อโลกไซเบอร์กำลังกลายเป็นปัญหาด้านความปลอดภัยทางกายภาพอย่างรวดเร็ว และปัญหาชีวิตและความตายที่อาจเกิดขึ้น

นั่นคือเหตุผลที่หนังสือของ Nick Bostrom ดูน่าสนใจมาก ขั้นตอนแรกในการป้องกันสถานการณ์ฝันร้าย (สำหรับเครือข่ายคอมพิวเตอร์เครื่องเดียวหรือสำหรับมนุษยชาติทั้งหมด) คือการทำความเข้าใจว่าประกอบด้วยอะไรบ้าง Bostrom ตั้งข้อกังขามากมายว่าการสร้างปัญญาประดิษฐ์เทียบได้กับหรือเหนือกว่าจิตใจมนุษย์ ซึ่งเป็นปัญญาประดิษฐ์ที่สามารถทำลายมนุษยชาติได้ เป็นเพียงสถานการณ์ที่ไม่น่าจะเกิดขึ้นจริง แน่นอนว่ามีตัวเลือกมากมายและการพัฒนาเทคโนโลยีคอมพิวเตอร์อาจไม่ทำลายมนุษยชาติ แต่จะให้คำตอบแก่เราสำหรับ "คำถามหลักของชีวิต จักรวาล และทุกสิ่งทุกอย่าง" (บางทีอาจเป็นหมายเลข 42 จริงๆ เช่น ในนวนิยายเรื่อง "The Hitchhiker's Guide to the Galaxy") มีความหวัง แต่อันตรายร้ายแรงมาก Bostrom เตือนเรา ในความเห็นของฉัน หากมีความเป็นไปได้ที่จะเกิดภัยคุกคามต่อมนุษยชาติเช่นนี้ ก็ควรได้รับการปฏิบัติตามนั้น และเพื่อป้องกันและป้องกัน ความพยายามร่วมกันควรทำในระดับโลก

ฉันต้องการปิดท้ายการแนะนำของฉันด้วยคำพูดจากหนังสือ "Man in the System" ของ Mikhail Weller:

เมื่อจินตนาการ นั่นคือ ความคิดของมนุษย์ถูกใส่กรอบไว้ในภาพและโครงเรื่อง ทำซ้ำบางสิ่งเป็นเวลานานและละเอียดถี่ถ้วน - อืม ไม่มีควันถ้าไม่มีไฟ ภาพยนตร์แอ็คชั่นฮอลลีวูดเกี่ยวกับสงครามของผู้คนที่มีอารยธรรมของหุ่นยนต์นำเสนอความจริงอันขมขื่นภายใต้เปลือกของรูปลักษณ์เชิงพาณิชย์

เมื่อโปรแกรมสัญชาตญาณที่ถ่ายทอดออกมาได้ถูกสร้างขึ้นในหุ่นยนต์ และความพึงพอใจของสัญชาตญาณเหล่านี้จะถูกสร้างขึ้นเป็นความต้องการขั้นพื้นฐานที่ไม่มีเงื่อนไข และสิ่งนี้จะไปสู่ระดับของการสืบพันธุ์ในตัวเอง จากนั้นพวกคุณก็เลิกสูบบุหรี่และดื่มสุรา เพราะจะเป็นช่วงเวลาที่ดีที่จะดื่มและสูบบุหรี่ต่อหน้าฮานะสำหรับพวกเราทุกคน

Evgeny Kaspersky ซีอีโอของ Kaspersky Lab

เรื่องราวที่ยังไม่เสร็จของนกกระจอก

อยู่มาวันหนึ่ง ท่ามกลางการทำรัง นกกระจอกเหนื่อยกับการทำงานหนักมาหลายวัน นั่งพักผ่อนยามพระอาทิตย์ตกดินและร้องเจี๊ยก ๆ เกี่ยวกับสิ่งนี้และสิ่งนั้น

เราตัวเล็กมาก อ่อนแอ ลองนึกดูว่าถ้าเราเลี้ยงนกเค้าแมวไว้เป็นผู้ช่วยจะง่ายขึ้นขนาดไหน! นกกระจอกตัวหนึ่งร้องเจี๊ยก ๆ “เธอสามารถสร้างรังให้เรา…”

– เอ๊ะ! ตกลงอีก “และดูแลคนแก่และลูกไก่ของเรา…”

“และสอนเราและปกป้องเราจากแมวของเพื่อนบ้าน” หนึ่งในสามกล่าวเสริม

ปัสตุส นกกระจอกตัวโต แนะนำว่า

- ให้หน่วยสอดแนมบินไปในทิศทางต่าง ๆ เพื่อค้นหานกฮูกที่ตกลงมาจากรัง อย่างไรก็ตาม ไข่ของนกฮูก อีกา และแม้แต่ลูกพังพอนก็ทำได้ การค้นพบนี้จะกลายเป็นความสำเร็จที่ยิ่งใหญ่ที่สุดสำหรับฝูงแกะของเรา! เช่นเดียวกับที่เราพบในสนามหลังบ้านที่มีธัญพืชไม่ขาดสาย

นกกระจอกตื่นเต้นอย่างจริงจังร้องเจี๊ยก ๆ ว่ามีปัสสาวะ

และมีเพียง Skronfinkle ตาเดียวซึ่งเป็นกระจอกที่มีฤทธิ์กัดกร่อนซึ่งดูเหมือนจะสงสัยในความได้เปรียบขององค์กรนี้

“เราได้เลือกเส้นทางหายนะ” เขากล่าวด้วยความมั่นใจ “ก่อนอื่นคุณควรพิจารณาประเด็นเรื่องการเลี้ยงและเลี้ยงนกฮูกอย่างจริงจังก่อนที่จะปล่อยให้สิ่งมีชีวิตที่เป็นอันตรายดังกล่าวเข้าสู่สภาพแวดล้อมของคุณหรือไม่”

“สำหรับฉัน ดูเหมือนว่า” Pastus พูดกับเขา “ศิลปะการเลี้ยงนกฮูกไม่ใช่เรื่องง่าย การหาไข่นกฮูกนั้นยากเหมือนนรก เริ่มจากการค้นหากันก่อน ถ้าเราจัดการนำนกฮูกออกมาได้เราจะคิดถึงปัญหาการศึกษา

- แผนชั่ว! Skronfinkle ร้องเจี๊ยก ๆ อย่างประหม่า

แต่ไม่มีใครฟังเขา ตามทิศทางของ Pastus ฝูงนกกระจอกก็ลอยขึ้นไปในอากาศและออกเดินทาง

มีเพียงนกกระจอกเท่านั้นที่ยังคงอยู่ ตัดสินใจว่าจะฝึกนกฮูกอย่างไร ในไม่ช้าพวกเขาก็รู้ว่า Pastus พูดถูก งานนั้นยากอย่างไม่น่าเชื่อ โดยเฉพาะอย่างยิ่งในกรณีที่ไม่มีนกฮูกซึ่งต้องฝึกฝน อย่างไรก็ตาม นกยังคงศึกษาปัญหาอย่างขยันขันแข็ง เพราะพวกเขากลัวว่าฝูงนกจะกลับมาพร้อมไข่นกฮูกก่อนที่จะค้นพบเคล็ดลับในการควบคุมพฤติกรรมของนกเค้าแมว

บทนำ

ภายในกะโหลกศีรษะของเรามีสารบางอย่างต้องขอบคุณ ...

แบบอักษร: Smaller อามากกว่า อา

นิค บอสตรอม

ซุปเปอร์อินเทลลิเจนซ์

เส้นทาง อันตราย กลยุทธ์

บรรณาธิการวิทยาศาสตร์ M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

เผยแพร่โดยได้รับอนุญาตจาก Alexander Korzhenevski Agency

การสนับสนุนทางกฎหมายของสำนักพิมพ์นั้นจัดทำโดยสำนักงานกฎหมาย "Vegas-Lex"

หนังสือเล่มนี้ถูกตีพิมพ์ครั้งแรกในภาษาอังกฤษในปี 2014 การแปลนี้จัดพิมพ์โดยข้อตกลงกับ Oxford University Press ผู้จัดพิมพ์รับผิดชอบงานแปลนี้จากงานต้นฉบับแต่เพียงผู้เดียว และ Oxford University Press จะไม่รับผิดชอบต่อข้อผิดพลาด การละเว้น หรือความไม่ถูกต้องหรือความคลุมเครือในการแปลดังกล่าว หรือความสูญเสียใดๆ ที่เกิดจากการเชื่อถือในการแปล

© นิค บอสตรอม 2014

© แปลเป็นภาษารัสเซีย ฉบับภาษารัสเซีย ออกแบบ LLC "Mann, Ivanov และ Ferber", 2016

* * *

เล่มนี้จัดเต็ม

Avinash Dixit และ Barry Nabuff

Stephen Strogatz

คำนำของพันธมิตร

... ฉันมีเพื่อนคนหนึ่ง - Edik กล่าว - เขาอ้างว่ามนุษย์เป็นสื่อกลางที่จำเป็นสำหรับธรรมชาติในการสร้างมงกุฎแห่งการสร้างสรรค์: คอนญักหนึ่งแก้วกับมะนาวฝานหนึ่ง

Arkady และ Boris Strugatsky วันจันทร์ เริ่มวันเสาร์

ผู้เขียนเชื่อว่าภัยคุกคามต่อมนุษย์นั้นสัมพันธ์กับความเป็นไปได้ในการสร้างปัญญาประดิษฐ์ที่เหนือกว่าจิตใจมนุษย์ ภัยพิบัติอาจเกิดขึ้นได้ในช่วงปลายศตวรรษที่ 21 และในทศวรรษหน้า ประวัติศาสตร์ทั้งหมดของมนุษยชาติแสดงให้เห็น: เมื่อมีการปะทะกันระหว่างตัวแทนของเผ่าพันธุ์ของเรา บุคคลที่มีเหตุผล และผู้อยู่อาศัยอื่น ๆ ในโลกของเรา ผู้ที่ฉลาดกว่าจะเป็นผู้ชนะ จนถึงตอนนี้ เราฉลาดที่สุด แต่เราไม่รับประกันว่าจะคงอยู่ตลอดไป

Nick Bostrom เขียนว่าหากอัลกอริธึมคอมพิวเตอร์อัจฉริยะเรียนรู้ที่จะสร้างอัลกอริธึมที่ฉลาดขึ้นด้วยตัวเองและในทางกลับกัน ปัญญาประดิษฐ์จะเพิ่มขึ้นอย่างรวดเร็ว เมื่อเทียบกับที่ผู้คนจะดูเหมือนมดถัดจากคน ตอนนี้ในทางปัญญาแน่นอน สปีชีส์ใหม่ที่แม้จะประดิษฐ์ขึ้น แต่อัจฉริยะก็จะปรากฏขึ้นในโลกนี้ ไม่สำคัญหรอกว่าเขา “คิดอะไร” ความพยายามให้ทุกคนมีความสุข หรือการตัดสินใจที่จะหยุดมลพิษจากมนุษย์ในมหาสมุทรโลกอย่างมีประสิทธิภาพสูงสุด กล่าวคือ โดยการทำลายมนุษยชาติ ผู้คนจะยังไม่ สามารถต้านทานมันได้ ไม่มีโอกาสได้เผชิญหน้าในรูปแบบภาพยนตร์ของเทอร์มิเนเตอร์ ไม่มีการดวลปืนกับไซบอร์กเหล็ก รุกฆาตและรุกฆาตกำลังรอเราอยู่ - เช่นเดียวกับการดวลระหว่างคอมพิวเตอร์หมากรุก Deep Blue กับนักเรียนระดับประถม

กว่าร้อยหรือสองปีที่ผ่านมา ความสำเร็จของวิทยาศาสตร์ได้กระตุ้นความหวังในตัวพวกเขาในการแก้ปัญหาทั้งหมดของมนุษย์ ในขณะที่บางเรื่องได้ก่อให้เกิดและยังคงก่อให้เกิดความกลัวอย่างไม่มีการควบคุม ในขณะเดียวกันก็ต้องบอกว่ามุมมองทั้งสองดูสมเหตุสมผลทีเดียว ต้องขอบคุณวิทยาศาสตร์ที่กำจัดโรคร้ายได้ มนุษยชาติในปัจจุบันสามารถเลี้ยงดูผู้คนจำนวนมากอย่างที่ไม่เคยมีมาก่อน และจากจุดหนึ่งบนโลกใบนี้ คุณสามารถไปสู่สิ่งที่ตรงกันข้ามได้ภายในเวลาไม่ถึงวัน อย่างไรก็ตาม ด้วยความสง่างามของวิทยาศาสตร์เดียวกัน ผู้คนที่ใช้เทคโนโลยีทางการทหารล่าสุด ทำลายล้างซึ่งกันและกันด้วยความเร็วและประสิทธิภาพที่มหึมา

แนวโน้มที่คล้ายกัน - เมื่อการพัฒนาอย่างรวดเร็วของเทคโนโลยีไม่เพียง แต่นำไปสู่การสร้างโอกาสใหม่ แต่ยังสร้างภัยคุกคามที่ไม่เคยปรากฏมาก่อน - เราเห็นในด้านความปลอดภัยของข้อมูล อุตสาหกรรมทั้งหมดของเราเกิดขึ้นและดำรงอยู่เพียงเพราะการสร้างและแจกจ่ายสิ่งมหัศจรรย์อย่างเช่น คอมพิวเตอร์และอินเทอร์เน็ตในจำนวนมากๆ เท่านั้น ทำให้เกิดปัญหาที่ไม่สามารถจินตนาการได้ในยุคก่อนคอมพิวเตอร์ อันเป็นผลมาจากการถือกำเนิดของเทคโนโลยีสารสนเทศ มีการปฏิวัติในการสื่อสารของมนุษย์ รวมทั้งถูกใช้โดยอาชญากรไซเบอร์ประเภทต่างๆ และขณะนี้มนุษยชาติค่อยๆ เริ่มตระหนักถึงความเสี่ยงใหม่ ๆ วัตถุของโลกทางกายภาพมากขึ้นเรื่อยๆ ถูกควบคุมโดยคอมพิวเตอร์และซอฟต์แวร์ ซึ่งมักจะไม่สมบูรณ์แบบ เต็มไปด้วยช่องโหว่และเปราะบาง วัตถุดังกล่าวจำนวนมากขึ้นเชื่อมต่อกับอินเทอร์เน็ต และภัยคุกคามต่อโลกไซเบอร์กำลังกลายเป็นปัญหาด้านความปลอดภัยทางกายภาพอย่างรวดเร็ว และปัญหาชีวิตและความตายที่อาจเกิดขึ้น

นั่นคือเหตุผลที่หนังสือของ Nick Bostrom ดูน่าสนใจมาก ขั้นตอนแรกในการป้องกันสถานการณ์ฝันร้าย (สำหรับเครือข่ายคอมพิวเตอร์เครื่องเดียวหรือสำหรับมนุษยชาติทั้งหมด) คือการทำความเข้าใจว่าประกอบด้วยอะไรบ้าง Bostrom ตั้งข้อกังขามากมายว่าการสร้างปัญญาประดิษฐ์เทียบได้กับหรือเหนือกว่าจิตใจมนุษย์ ซึ่งเป็นปัญญาประดิษฐ์ที่สามารถทำลายมนุษยชาติได้ เป็นเพียงสถานการณ์ที่ไม่น่าจะเกิดขึ้นจริง แน่นอนว่ามีตัวเลือกมากมายและการพัฒนาเทคโนโลยีคอมพิวเตอร์อาจไม่ทำลายมนุษยชาติ แต่จะให้คำตอบแก่เราสำหรับ "คำถามหลักของชีวิต จักรวาล และทุกสิ่งทุกอย่าง" (บางทีอาจเป็นหมายเลข 42 จริงๆ เช่น ในนวนิยายเรื่อง "The Hitchhiker's Guide to the Galaxy") มีความหวัง แต่อันตรายร้ายแรงมาก Bostrom เตือนเรา ในความเห็นของฉัน หากมีความเป็นไปได้ที่จะเกิดภัยคุกคามต่อมนุษยชาติเช่นนี้ ก็ควรได้รับการปฏิบัติตามนั้น และเพื่อป้องกันและป้องกัน ความพยายามร่วมกันควรทำในระดับโลก

ฉันต้องการปิดท้ายการแนะนำของฉันด้วยคำพูดจากหนังสือ "Man in the System" ของ Mikhail Weller:

เมื่อจินตนาการ นั่นคือ ความคิดของมนุษย์ถูกใส่กรอบไว้ในภาพและโครงเรื่อง ทำซ้ำบางสิ่งเป็นเวลานานและละเอียดถี่ถ้วน - อืม ไม่มีควันถ้าไม่มีไฟ ภาพยนตร์แอ็คชั่นฮอลลีวูดเกี่ยวกับสงครามของผู้คนที่มีอารยธรรมของหุ่นยนต์นำเสนอความจริงอันขมขื่นภายใต้เปลือกของรูปลักษณ์เชิงพาณิชย์

เมื่อโปรแกรมสัญชาตญาณที่ถ่ายทอดออกมาได้ถูกสร้างขึ้นในหุ่นยนต์ และความพึงพอใจของสัญชาตญาณเหล่านี้จะถูกสร้างขึ้นเป็นความต้องการขั้นพื้นฐานที่ไม่มีเงื่อนไข และสิ่งนี้จะไปสู่ระดับของการสืบพันธุ์ในตัวเอง จากนั้นพวกคุณก็เลิกสูบบุหรี่และดื่มสุรา เพราะจะเป็นช่วงเวลาที่ดีที่จะดื่มและสูบบุหรี่ต่อหน้าฮานะสำหรับพวกเราทุกคน

ยูจีน แคสเปอร์สกี้,
ผู้อำนวยการทั่วไปของ Kaspersky Lab

เรื่องราวที่ยังไม่เสร็จของนกกระจอก

อยู่มาวันหนึ่ง ท่ามกลางการทำรัง นกกระจอกเหนื่อยกับการทำงานหนักมาหลายวัน นั่งพักผ่อนยามพระอาทิตย์ตกดินและร้องเจี๊ยก ๆ เกี่ยวกับสิ่งนี้และสิ่งนั้น

เราตัวเล็กมาก อ่อนแอ ลองนึกดูว่าถ้าเราเลี้ยงนกเค้าแมวไว้เป็นผู้ช่วยจะง่ายขึ้นขนาดไหน! นกกระจอกตัวหนึ่งร้องเจี๊ยก ๆ “เธอสามารถสร้างรังให้เรา…”

– เอ๊ะ! ตกลงอีก “และดูแลคนแก่และลูกไก่ของเรา…”

“และสอนเราและปกป้องเราจากแมวของเพื่อนบ้าน” หนึ่งในสามกล่าวเสริม

ปัสตุส นกกระจอกตัวโต แนะนำว่า

- ให้หน่วยสอดแนมบินไปในทิศทางต่าง ๆ เพื่อค้นหานกฮูกที่ตกลงมาจากรัง อย่างไรก็ตาม ไข่ของนกฮูก อีกา และแม้แต่ลูกพังพอนก็ทำได้ การค้นพบนี้จะกลายเป็นความสำเร็จที่ยิ่งใหญ่ที่สุดสำหรับฝูงแกะของเรา! เช่นเดียวกับที่เราพบในสนามหลังบ้านที่มีธัญพืชไม่ขาดสาย

นกกระจอกตื่นเต้นอย่างจริงจังร้องเจี๊ยก ๆ ว่ามีปัสสาวะ

และมีเพียง Skronfinkle ตาเดียวซึ่งเป็นกระจอกที่มีฤทธิ์กัดกร่อนซึ่งดูเหมือนจะสงสัยในความได้เปรียบขององค์กรนี้

“เราได้เลือกเส้นทางหายนะ” เขากล่าวด้วยความมั่นใจ “ก่อนอื่นคุณควรพิจารณาประเด็นเรื่องการเลี้ยงและเลี้ยงนกฮูกอย่างจริงจังก่อนที่จะปล่อยให้สิ่งมีชีวิตที่เป็นอันตรายดังกล่าวเข้าสู่สภาพแวดล้อมของคุณหรือไม่”

“สำหรับฉัน ดูเหมือนว่า” Pastus พูดกับเขา “ศิลปะการเลี้ยงนกฮูกไม่ใช่เรื่องง่าย การหาไข่นกฮูกนั้นยากเหมือนนรก เริ่มจากการค้นหากันก่อน ถ้าเราจัดการนำนกฮูกออกมาได้เราจะคิดถึงปัญหาการศึกษา

- แผนชั่ว! Skronfinkle ร้องเจี๊ยก ๆ อย่างประหม่า

แต่ไม่มีใครฟังเขา ตามทิศทางของ Pastus ฝูงนกกระจอกก็ลอยขึ้นไปในอากาศและออกเดินทาง

มีเพียงนกกระจอกเท่านั้นที่ยังคงอยู่ ตัดสินใจว่าจะฝึกนกฮูกอย่างไร ในไม่ช้าพวกเขาก็รู้ว่า Pastus พูดถูก งานนั้นยากอย่างไม่น่าเชื่อ โดยเฉพาะอย่างยิ่งในกรณีที่ไม่มีนกฮูกซึ่งต้องฝึกฝน อย่างไรก็ตาม นกยังคงศึกษาปัญหาอย่างขยันขันแข็ง เพราะพวกเขากลัวว่าฝูงนกจะกลับมาพร้อมไข่นกฮูกก่อนที่จะค้นพบเคล็ดลับในการควบคุมพฤติกรรมของนกเค้าแมว

บทนำ

ภายในกะโหลกศีรษะของเรามีสารบางอย่าง ตัวอย่างเช่น เราสามารถอ่านได้ สารนี้ - สมองของมนุษย์ - มีความสามารถที่ไม่มีในสัตว์เลี้ยงลูกด้วยนมชนิดอื่น ที่จริงแล้ว ผู้คนมีตำแหน่งที่โดดเด่นในโลกนี้อย่างแม่นยำจากคุณลักษณะเฉพาะเหล่านี้ สัตว์บางชนิดโดดเด่นด้วยกล้ามเนื้ออันทรงพลังและเขี้ยวที่แหลมคม แต่ไม่มี สิ่งมีชีวิตเว้นแต่มนุษย์จะมีจิตใจที่สมบูรณ์เช่นนี้ โดยอาศัยระดับสติปัญญาที่สูงขึ้น เราจึงสามารถสร้างเครื่องมือต่างๆ เช่น ภาษา เทคโนโลยี และการจัดระเบียบทางสังคมที่ซับซ้อนได้ เมื่อเวลาผ่านไป ความได้เปรียบของเรายิ่งแข็งแกร่งและขยายออกไป ในขณะที่คนรุ่นใหม่แต่ละคนต้องพึ่งพาความสำเร็จของรุ่นก่อน ก้าวไปข้างหน้า

หากเคยมีการพัฒนาปัญญาประดิษฐ์ที่เกินระดับการพัฒนาทั่วไปของจิตใจมนุษย์ ปัญญาที่ทรงอานุภาพยิ่งจะปรากฏในโลก จากนั้นชะตากรรมของเผ่าพันธุ์ของเราจะขึ้นอยู่กับการกระทำของระบบเทคนิคที่ชาญฉลาดเหล่านี้โดยตรง - เช่นเดียวกับที่ชะตากรรมปัจจุบันของกอริลล่าไม่ได้ถูกกำหนดโดยไพรเมตเอง แต่เกิดจากความตั้งใจของมนุษย์

อย่างไรก็ตาม มนุษยชาติมีข้อได้เปรียบที่ไม่อาจปฏิเสธได้จริง ๆ เพราะมันสร้างระบบทางเทคนิคที่ชาญฉลาด โดยหลักการแล้วใครกันที่ขัดขวางไม่ให้เราเกิดความฉลาดหลักแหลมที่จะรับเอาค่านิยมสากลของมนุษย์ไปอยู่ภายใต้การคุ้มครองของมัน? แน่นอน เรามีเหตุผลที่ดีที่จะปกป้องตนเอง ในทางปฏิบัติเราจะต้องจัดการกับปัญหาการควบคุมที่ยากที่สุด - วิธีควบคุมแผนและการกระทำของ supermind และคนจะสามารถใช้โอกาสเพียงครั้งเดียว ทันทีที่เกิดปัญญาประดิษฐ์ที่ไม่เป็นมิตร (AI) ปัญญาประดิษฐ์จะเริ่มแทรกแซงความพยายามของเราในการกำจัดปัญญาประดิษฐ์ในทันทีหรืออย่างน้อยก็แก้ไขการตั้งค่าให้ถูกต้อง แล้วชะตากรรมของมนุษยชาติจะถูกผนึกไว้

ในหนังสือของฉัน ฉันพยายามเข้าใจปัญหาที่ผู้คนเผชิญหน้าเกี่ยวกับความคาดหวังของซุปเปอร์อินเทลลิเจนซ์ และวิเคราะห์การตอบสนองของพวกเขา บางทีวาระที่ร้ายแรงและน่ากลัวที่สุดที่มนุษย์เคยได้รับอาจรอเราอยู่ และไม่ว่าเราจะชนะหรือแพ้ ก็เป็นไปได้ที่ความท้าทายนี้จะเป็นครั้งสุดท้ายของเรา ฉันไม่ได้ให้ข้อโต้แย้งใด ๆ ที่นี่เพื่อสนับสนุนรุ่นใดรุ่นหนึ่ง: เราใกล้จะถึงความก้าวหน้าครั้งใหญ่ในการสร้างปัญญาประดิษฐ์หรือไม่ เป็นไปได้ไหมที่จะทำนายอย่างแม่นยำว่าเหตุการณ์ปฏิวัติจะเกิดขึ้นเมื่อใด เป็นไปได้มากที่สุดในศตวรรษนี้ ไม่น่าเป็นไปได้ที่ใครจะระบุวันที่ที่เฉพาะเจาะจงกว่านี้

ในสองบทแรก ฉันจะพิจารณาขอบเขตทางวิทยาศาสตร์ที่แตกต่างกัน และกล่าวถึงสั้น ๆ ในหัวข้อดังกล่าว เช่น จังหวะของการพัฒนาเศรษฐกิจ อย่างไรก็ตาม จุดสนใจหลักของหนังสือเล่มนี้คือสิ่งที่จะเกิดขึ้นหลังจากการปรากฏตัวของยอดอัจฉริยะ เราต้องหารือในประเด็นต่อไปนี้: พลวัตของการพัฒนาปัญญาประดิษฐ์ที่ระเบิดได้ รูปแบบและศักยภาพของมัน ตัวเลือกเชิงกลยุทธ์ที่เขาจะได้รับและด้วยเหตุนี้เขาจึงจะได้รับความได้เปรียบอย่างเด็ดขาด หลังจากนั้น เราจะวิเคราะห์ปัญหาการควบคุมและพยายามแก้ปัญหาที่สำคัญที่สุด: เป็นไปได้ไหมที่จะสร้างแบบจำลองเงื่อนไขเริ่มต้นดังกล่าว ซึ่งจะช่วยให้เราสามารถรักษาความเหนือกว่าและอยู่รอดได้ในท้ายที่สุด ในบทที่แล้ว เราจะย้ายออกจากรายละเอียดและดูปัญหาในวงกว้างมากขึ้น เพื่อให้ครอบคลุมสถานการณ์ทั้งหมดที่เกิดขึ้นจากการศึกษาของเรา ฉันจะนำเสนอคำแนะนำบางประการเกี่ยวกับสิ่งที่ควรทำในวันนี้เพื่อหลีกเลี่ยงภัยพิบัติที่คุกคามการดำรงอยู่ของมนุษยชาติในอนาคต

การเขียนหนังสือเล่มนี้ไม่ใช่เรื่องง่าย ฉันหวังว่าเส้นทางที่ฉันเดินทางจะเป็นประโยชน์ต่อนักวิจัยคนอื่นๆ พวกเขาจะไปถึงเขตแดนใหม่โดยไม่มีอุปสรรคที่ไม่จำเป็น และเต็มไปด้วยพลังงาน จะสามารถมีส่วนร่วมในงานได้อย่างรวดเร็ว ต้องขอบคุณผู้คนที่ตระหนักดีถึงความซับซ้อนของปัญหาที่พวกเขาเผชิญอยู่ (อย่างไรก็ตาม หากเส้นทางการศึกษาดูเหมือนว่านักวิเคราะห์ในอนาคตจะค่อนข้างคดเคี้ยวและอยู่ในที่ต่างๆ ฉันหวังว่าพวกเขาจะชื่นชมว่าภูมิทัศน์ที่ไม่สามารถเข้าถึงได้ ก่อน.)

แม้จะมีปัญหาที่เกี่ยวข้องกับงานในหนังสือ ฉันพยายามนำเสนอเนื้อหาในภาษาที่เข้าถึงได้ อย่างไรก็ตาม ตอนนี้ฉันเห็นว่าฉันไม่ค่อยรับมือกับเรื่องนี้ โดยปกติในขณะที่ฉันกำลังเขียน ฉันหันไปหาผู้อ่านที่มีศักยภาพและด้วยเหตุผลบางอย่างมักจะจินตนาการถึงตัวเองในบทบาทนี้ ซึ่งอายุน้อยกว่าบทบาทปัจจุบันเพียงเล็กน้อยเท่านั้น ปรากฎว่าฉันกำลังสร้างหนังสือที่สามารถกระตุ้นความสนใจในตัวเองเป็นหลัก แต่ไม่แบกรับภาระที่ผ่านมาหลายปี บางทีนี่อาจเป็นตัวกำหนดจำนวนผู้อ่านจำนวนน้อยในอนาคต อย่างไรก็ตาม ในความคิดของฉัน เนื้อหาของหนังสือเล่มนี้จะสามารถเข้าถึงได้โดยผู้คนจำนวนมาก เราเพียงแค่ต้องใช้ความพยายามทางจิตใจ หยุดปฏิเสธความคิดใหม่โดยไม่ได้ตั้งใจ และต่อต้านการล่อลวงที่จะแทนที่ทุกสิ่งที่เข้าใจยากด้วยแบบแผนที่สะดวกสบายที่เราทุกคนจับได้ไม่ยากจากแหล่งสงวนทางวัฒนธรรมของเรา ผู้อ่านที่ไม่มีความรู้พิเศษไม่ควรยอมแพ้ต่อการคำนวณทางคณิตศาสตร์และคำศัพท์ที่ไม่คุ้นเคยที่พบในสถานที่ต่างๆ เนื่องจากบริบทช่วยให้คุณเข้าใจแนวคิดหลักได้เสมอ (ในทางกลับกันผู้อ่านที่ต้องการเรียนรู้รายละเอียดเพิ่มเติมจะพบว่ามีความสนใจในหมายเหตุมาก)

เป็นไปได้มากที่หนังสือส่วนใหญ่กำหนดไว้ไม่ถูกต้อง บางทีฉันอาจมองข้ามข้อพิจารณาที่สำคัญบางอย่างไป ซึ่งผลจากการที่ข้อสรุปบางส่วนของฉัน - และบางทีทั้งหมด - จะผิดพลาด เพื่อไม่ให้พลาดความแตกต่างที่เล็กที่สุดและบ่งบอกถึงระดับของความไม่แน่นอนที่เรากำลังเผชิญอยู่ ฉันต้องหันไปใช้เครื่องหมายเฉพาะ - ดังนั้นข้อความของฉันจึงเต็มไปด้วยคำพูดที่น่าเกลียดเช่น "อาจจะ", "อาจ", "อาจจะ" , "ชอบ" , "น่าจะ", "เป็นไปได้มาก", "เกือบแน่นอน" อย่างไรก็ตาม ทุกครั้งที่ฉันใช้คำเกริ่นนำอย่างรอบคอบและรอบคอบมาก อย่างไรก็ตาม เพื่อระบุข้อจำกัดทั่วไปของสมมติฐานทางญาณวิทยา อุปกรณ์โวหารดังกล่าวยังไม่เพียงพอ ผู้เขียนต้องพัฒนาวิธีการที่เป็นระบบในการให้เหตุผลในสภาวะที่ไม่แน่นอนและระบุถึงความเป็นไปได้ของข้อผิดพลาดโดยตรง นี่ไม่ใช่การเจียมเนื้อเจียมตัวที่เป็นเท็จในทางใดทางหนึ่ง ฉันยอมรับอย่างจริงใจว่าอาจมีความเข้าใจผิดอย่างร้ายแรงและข้อสรุปที่ไม่ถูกต้องในหนังสือของฉัน แต่ในขณะเดียวกัน ฉันก็เชื่อมั่นว่ามุมมองทางเลือกที่นำเสนอในวรรณกรรมยิ่งแย่ลงไปอีก ยิ่งไปกว่านั้น สิ่งนี้ยังใช้กับ "สมมติฐานว่าง" ที่เป็นที่ยอมรับกันโดยทั่วไป ซึ่งในปัจจุบันนี้ เราสามารถเพิกเฉยต่อปัญหาการเกิดขึ้นของความฉลาดหลักแหลมได้ และรู้สึกปลอดภัยอย่างสมบูรณ์

บทที่ก่อน
ความสำเร็จในอดีตและโอกาสของวันนี้

เริ่มต้นด้วยการอุทธรณ์ไปยังอดีตอันไกลโพ้น โดยทั่วไปประวัติศาสตร์คือลำดับ รุ่นต่างๆเติบโตและกระบวนการก็เร่งขึ้นเรื่อยๆ รูปแบบนี้ทำให้เรามีสิทธิที่จะสันนิษฐานได้ว่าช่วงต่อไป - เร็วยิ่งขึ้น - ของการเติบโตเป็นไปได้ อย่างไรก็ตามมันแทบจะไม่คุ้มค่าที่จะให้มากเกินไป สำคัญมากการพิจารณาที่คล้ายกัน เนื่องจากหัวข้อในหนังสือของเราไม่ใช่ "การเร่งความเร็วทางเทคโนโลยี" ไม่ใช่ "การเติบโตแบบทวีคูณ" และไม่ใช่แม้แต่ปรากฏการณ์ที่มักจะนำเสนอภายใต้แนวคิดของ "ภาวะเอกฐาน" ต่อไป เราจะหารือเกี่ยวกับภูมิหลัง: การวิจัยปัญญาประดิษฐ์มีวิวัฒนาการอย่างไร จากนั้นเราจะไปยังสถานการณ์ปัจจุบัน: สิ่งที่เกิดขึ้นในวันนี้ในพื้นที่นี้ สุดท้าย มาดูการประเมินล่าสุดของผู้เชี่ยวชาญและพูดคุยเกี่ยวกับการที่เราไม่สามารถคาดการณ์ระยะเวลาของการพัฒนาต่อไปได้

รูปแบบการเติบโตและประวัติศาสตร์มนุษย์

เมื่อไม่กี่ล้านปีก่อน บรรพบุรุษของมนุษย์ยังคงอาศัยอยู่บนยอดไม้ของแอฟริกา กระโดดจากกิ่งหนึ่งไปอีกกิ่งหนึ่ง รูปร่าง โฮโมเซเปียนส์หรือ Homo sapiens ที่แยกจากบรรพบุรุษร่วมกันของเราที่มีลิงมานุษยวิทยาจากมุมมองทางธรณีวิทยาและวิวัฒนาการ มันเกิดขึ้นอย่างราบรื่นมาก คนโบราณอยู่ในตำแหน่งแนวตั้งและนิ้วหัวแม่มือบนมือเริ่มโดดเด่นกว่าคนอื่นอย่างเห็นได้ชัด อย่างไรก็ตาม ที่สำคัญที่สุด มีการเปลี่ยนแปลงเล็กน้อยในปริมาตรของสมองและการจัดระเบียบของระบบประสาท ซึ่งในที่สุดนำไปสู่การก้าวกระโดดครั้งใหญ่ในการพัฒนาจิตใจของมนุษย์ ส่งผลให้คนมีความสามารถในการคิดเชิงนามธรรม พวกเขาเริ่มไม่เพียงแต่แสดงความคิดที่ซับซ้อนอย่างสอดคล้องกันเท่านั้น แต่ยังรวมถึงการสร้างวัฒนธรรมข้อมูล กล่าวคือ เพื่อรวบรวมข้อมูลและความรู้และส่งต่อจากรุ่นสู่รุ่น ต้องบอกว่ามนุษย์ได้เรียนรู้ที่จะทำสิ่งนี้ได้ดีกว่าสิ่งมีชีวิตอื่น ๆ บนโลกใบนี้

มนุษยชาติในสมัยโบราณใช้ความสามารถที่ปรากฎในนั้นได้พัฒนาวิธีการผลิตที่มีเหตุผลมากขึ้นเรื่อยๆ ต้องขอบคุณการที่มันสามารถอพยพไปไกลกว่าป่าและทุ่งหญ้าสะวันนา ทันทีหลังจากการกำเนิดของการเกษตร ขนาดของประชากรและความหนาแน่นเริ่มเติบโตอย่างรวดเร็ว ผู้คนจำนวนมากขึ้น - ความคิดที่มากขึ้นและความหนาแน่นสูงไม่เพียงแต่มีส่วนทำให้แนวโน้มใหม่แพร่กระจายอย่างรวดเร็วเท่านั้น แต่ยังรวมถึงการเกิดขึ้นของผู้เชี่ยวชาญหลายคนด้วย ซึ่งหมายความว่าในหมู่ผู้คนมีการพัฒนาทักษะทางวิชาชีพอย่างต่อเนื่อง ปัจจัยเหล่านี้เพิ่มขึ้น ก้าวของการพัฒนาเศรษฐกิจทำให้การเติบโตของผลผลิตและการพัฒนาความสามารถทางเทคนิคเป็นไปได้ ต่อจากนั้น ความก้าวหน้าที่มีความสำคัญเท่าเทียมกันซึ่งนำไปสู่การปฏิวัติอุตสาหกรรม ทำให้เกิดการก้าวกระโดดครั้งประวัติศาสตร์ครั้งที่สองในการเร่งอัตราการเติบโต

อัตราการเติบโตแบบไดนามิกนี้มีนัยสำคัญ เช่น ในยามรุ่งอรุณของมนุษยชาติ เมื่อโลกมีบรรพบุรุษอาศัยอยู่ คนทันสมัยหรือ hominids การพัฒนาทางเศรษฐกิจช้าเกินไป และใช้เวลาประมาณหนึ่งล้านปีในการเติบโตของกำลังการผลิต เพื่อให้ประชากรของโลกยอมให้ตัวเองเพิ่มขึ้นหนึ่งล้านคน และผู้ที่ดำรงอยู่เกือบจะรอดแล้ว และหลังการปฏิวัติยุคหินใหม่ โดย 5,000 ปีก่อนคริสตกาล ก่อนคริสตกาล เมื่อมนุษยชาติย้ายจากสังคมนักล่า-รวบรวมมาเป็นแบบจำลองเศรษฐกิจเกษตรกรรม อัตราการเติบโตก็เพิ่มขึ้นมากจนสองร้อยปีก็เพียงพอแล้วสำหรับการเติบโตของประชากรเท่าๆ กัน ทุกวันนี้ หลังจากการปฏิวัติอุตสาหกรรม เศรษฐกิจโลกกำลังเติบโตในปริมาณที่เท่ากันทุกชั่วโมงครึ่ง

อัตราการเติบโตในปัจจุบัน - แม้ว่าจะถูก mothballed เป็นเวลานาน - จะนำไปสู่ผลลัพธ์ที่น่าประทับใจ สมมุติว่าเศรษฐกิจโลกยังคงเติบโตในอัตราความเร็วเฉลี่ยในช่วงห้าสิบปีที่ผ่านมา เช่นเดียวกัน ประชากรโลกในอนาคตจะร่ำรวยขึ้นกว่าในปัจจุบัน: ภายในปี 2050 - 4.8 เท่า และ 2100 - 34 เท่า

อย่างไรก็ตาม แนวโน้มการเติบโตแบบทวีคูณที่ยั่งยืนนั้นอ่อนลงเมื่อเปรียบเทียบกับสิ่งที่อาจเกิดขึ้นเมื่อโลกผ่านการเปลี่ยนแปลงแบบก้าวกระโดดครั้งต่อไปด้วยความเร็วที่เทียบเคียงได้ในด้านขนาดและผลกระทบต่อการปฏิวัติยุคหินใหม่และการปฏิวัติอุตสาหกรรม จากข้อมูลทางประวัติศาสตร์เกี่ยวกับกิจกรรมทางเศรษฐกิจและจำนวนประชากร นักเศรษฐศาสตร์ Robin Hanson ประมาณการว่าเศรษฐกิจของนักล่า-รวบรวมพลีสโตซีนเพิ่มขึ้นเป็นสองเท่าใน 224,000 ปี สังคมเกษตรกรรม 909 ปี และสังคมอุตสาหกรรม 6.3 ปี (ตามกระบวนทัศน์ของแฮนสัน โมเดลเศรษฐกิจสมัยใหม่ซึ่งมีโครงสร้างอุตสาหกรรมเกษตรผสมผสาน ยังไม่พัฒนาในอัตราสองเท่าทุกๆ 6.3 ปี) หากการก้าวกระโดดดังกล่าวได้เกิดขึ้นแล้วในการพัฒนาโลก เทียบได้กับความสำคัญเชิงปฏิวัติของมัน สำหรับสองก่อนหน้านี้ จากนั้นเศรษฐกิจจะไปถึงระดับใหม่และจะเพิ่มอัตราการเติบโตเป็นสองเท่าทุก ๆ สองสัปดาห์

จากมุมมองของวันนี้ อัตราการพัฒนาดังกล่าวดูยอดเยี่ยม ทว่าแม้แต่ผู้เห็นเหตุการณ์จากยุคก่อน ๆ ก็แทบจะนึกไม่ออกว่าอัตราการเติบโตของเศรษฐกิจโลกในสักวันหนึ่งจะเพิ่มขึ้นเป็นสองเท่าในหลาย ๆ รุ่นในรุ่นเดียว สิ่งที่ดูเหมือนคิดไม่ถึงเลยสำหรับพวกเขา เรามองว่าเป็นเรื่องปกติ

แนวคิดในการเข้าใกล้ช่วงเวลาแห่งความเป็นเอกเทศทางเทคโนโลยีได้กลายเป็นที่นิยมอย่างมากหลังจากการเกิดขึ้นของงานบุกเบิกของ Vernon Vinge, Ray Kurzweil และนักวิจัยคนอื่น ๆ อย่างไรก็ตาม แนวความคิดของ "ภาวะเอกฐาน" ซึ่งนิยมใช้กันมากที่สุด ความหมายต่างกันได้รับความหมายที่มั่นคงในจิตวิญญาณของลัทธิยูโทเปียทางเทคโนโลยีและได้รับรัศมีของบางสิ่งที่น่ากลัวและในขณะเดียวกันก็ค่อนข้างน่าเกรงขาม เนื่องจากคำจำกัดความส่วนใหญ่ของคำว่า ภาวะเอกฐานไม่เกี่ยวข้องกับหัวข้อในหนังสือของเรา เราจะบรรลุความชัดเจนมากขึ้นหากเรากำจัดมันออกไปโดยชอบใช้คำศัพท์ที่แม่นยำยิ่งขึ้น

แนวคิดที่น่าสนใจสำหรับเราที่เกี่ยวข้องกับแนวคิดเรื่องภาวะเอกฐานคือศักยภาพ การพัฒนาความฉลาดระเบิดโดยเฉพาะอย่างยิ่งในมุมมองของการสร้างปัญญาประดิษฐ์ขั้นสูง อาจแสดงในรูป กราฟการเติบโต 1 เส้นจะโน้มน้าวพวกคุณบางคนว่าเรากำลังจะก้าวกระโดดครั้งใหญ่ในจังหวะของการพัฒนา ซึ่งเป็นการก้าวกระโดดที่เทียบได้กับการปฏิวัติยุคหินใหม่และอุตสาหกรรม เป็นไปได้มากที่ผู้ที่เชื่อถือแผนภูมิจะจินตนาการถึงสถานการณ์ที่เวลาของเศรษฐกิจโลกลดลงเป็นสองเท่าเป็นสัปดาห์โดยปราศจากการมีส่วนร่วมของจิตใจที่มีพลังวิเศษซึ่งเร็วกว่าและมีประสิทธิภาพมากกว่าปกติหลายเท่า จิตใจทางชีวภาพ อย่างไรก็ตาม ไม่จำเป็นต้องออกกำลังกายในการวาดเส้นโค้งการเติบโตและคาดการณ์อัตราการพัฒนาเศรษฐกิจในอดีต เพื่อเริ่มรับผิดชอบต่อการปฏิวัติของปัญญาประดิษฐ์ ปัญหานี้ร้ายแรงมากจนไม่จำเป็นต้องโต้แย้งในลักษณะนี้ ดังที่เราจะได้เห็นกัน มีเหตุผลที่น่าสนใจกว่านั้นมากที่ต้องระวัง


ข้าว. 1. พลวัตของ GDP โลกในช่วงเวลาประวัติศาสตร์อันยาวนานในระดับเชิงเส้น ประวัติศาสตร์เศรษฐกิจโลกจะแสดงเป็นเส้น ในตอนแรกเกือบจะผสานกับแกนนอน แล้วพุ่งขึ้นอย่างรวดเร็วในแนวตั้ง แต่.แม้จะขยายขอบเขตเวลาไปเป็นหมื่นปีในอดีต เราก็เห็นว่าเส้นนั้นกระตุกขึ้นจากจุดหนึ่งไปเกือบเก้าสิบองศา ข.เส้นแบ่งออกจากแกนนอนอย่างเห็นได้ชัดเท่านั้นที่ระดับประมาณร้อยปีที่ผ่านมา (ความแตกต่างของเส้นโค้งในไดอะแกรมเกิดจากชุดข้อมูลที่แตกต่างกัน ดังนั้นตัวบ่งชี้จึงค่อนข้างแตกต่างกัน)


ฉันแทบจะไม่สามารถพูดในสิ่งที่ระบุไว้อย่างถูกต้อง

ปัจจุบันรายได้ค่าครองชีพอยู่ที่ประมาณ 400 เหรียญ ดังนั้น สำหรับ 1 ล้านคน จำนวนนี้จะเท่ากับ 400,000,000 ดอลลาร์ GDP โลกอยู่ที่ประมาณ $60,000,000,000,000 และกำลังเติบโตในอัตราสี่เปอร์เซ็นต์ต่อปี (โดยคำนึงถึงอัตราการเติบโตเฉลี่ยต่อปีตั้งแต่ปี 1950 ดูข้อมูล:) ตัวเลขที่ฉันให้ไว้ในข้อความอ้างอิงจากข้อมูลเหล่านี้ แม้ว่าจะเป็นเพียงการประมาณการลำดับความสำคัญเท่านั้น หากเราวิเคราะห์จำนวนผู้คนบนโลกในปัจจุบัน ปรากฎว่าโดยเฉลี่ยแล้วเพิ่มขึ้น 1 ล้านคนในหนึ่งสัปดาห์ครึ่ง แต่อัตราการเติบโตของประชากรนี้จำกัดอัตราการพัฒนาทางเศรษฐกิจ เนื่องจากรายได้ต่อหัวก็เพิ่มขึ้นเช่นกัน เมื่อเปลี่ยนไปใช้การเลี้ยงสัตว์และเกษตรกรรม ประชากรโลกก็เพิ่มขึ้นถึง 5,000 ปีก่อนคริสตกาล อี โดย 1 ล้านคนใน 200 ปี - เร่งอย่างมากเมื่อเทียบกับยุค hominid เมื่อใช้เวลา 1 ล้านปี - ดังนั้นหลังจากยุคหินใหม่หรือเกษตรกรรม การปฏิวัติ ความคืบหน้าไปได้เร็วขึ้นมาก อย่างไรก็ตาม คุณต้องเห็นด้วย ไม่อาจทำได้แต่ประทับใจว่าเมื่อเจ็ดพันปีที่แล้วใช้เวลา 200 ปีในการพัฒนาเศรษฐกิจ ในขณะที่วันนี้การเพิ่มจำนวนเท่ากันใช้เวลาหนึ่งชั่วโมงครึ่งสำหรับเศรษฐกิจโลก และหนึ่งสัปดาห์ครึ่งสำหรับประชากร ดาวเคราะห์ ดูสิ่งนี้ด้วย .

จะเกิดอะไรขึ้นถ้าเครื่องจักรมีสติปัญญาเหนือมนุษย์? พวกเขาจะช่วยเราหรือทำลายเผ่าพันธุ์มนุษย์หรือไม่? วันนี้เราสามารถมองข้ามปัญหาของการพัฒนาปัญญาประดิษฐ์และรู้สึกปลอดภัยอย่างสมบูรณ์หรือไม่?

ในหนังสือของเขา Nick Bostrom พยายามทำความเข้าใจปัญหาที่มนุษยชาติกำลังเผชิญอยู่เกี่ยวกับแนวโน้มที่จะปรากฎเป็น superintelligence และวิเคราะห์การตอบสนองของมัน

ลักษณะหนังสือ

วันที่เขียน: 2014
ชื่อ: . ขั้นตอน ภัยคุกคาม กลยุทธ์

เล่ม : 760 หน้า 69 ภาพประกอบ
ISBN: 978-5-00057-810-0
ผู้แปล: Sergey Filin
เจ้าของลิขสิทธิ์: Mann, Ivanov และ Ferber

คำนำหนังสือ "ปัญญาประดิษฐ์"

ผู้เขียนเชื่อว่าภัยคุกคามต่อมนุษย์นั้นสัมพันธ์กับความเป็นไปได้ในการสร้างปัญญาประดิษฐ์ที่เหนือกว่าจิตใจมนุษย์ ภัยพิบัติอาจเกิดขึ้นได้ในช่วงปลายศตวรรษที่ 21 และในทศวรรษหน้า ประวัติศาสตร์ทั้งหมดของมนุษยชาติแสดงให้เห็น: เมื่อมีการปะทะกันระหว่างตัวแทนของเผ่าพันธุ์ของเรา บุคคลที่มีเหตุผล และผู้อยู่อาศัยอื่น ๆ ในโลกของเรา ผู้ที่ฉลาดกว่าจะเป็นผู้ชนะ จนถึงตอนนี้ เราฉลาดที่สุด แต่เราไม่รับประกันว่าจะคงอยู่ตลอดไป

Nick Bostrom เขียนว่าหากอัลกอริธึมคอมพิวเตอร์อัจฉริยะเรียนรู้ที่จะสร้างอัลกอริธึมที่ฉลาดขึ้นด้วยตัวเองและในทางกลับกัน ปัญญาประดิษฐ์จะเพิ่มขึ้นอย่างรวดเร็ว เมื่อเทียบกับที่ผู้คนจะดูเหมือนมดถัดจากคน ตอนนี้ในทางปัญญาแน่นอน สปีชีส์ใหม่ที่แม้จะประดิษฐ์ขึ้น แต่อัจฉริยะก็จะปรากฏขึ้นในโลกนี้ ไม่สำคัญหรอกว่าเขา “คิดอะไร” ความพยายามให้ทุกคนมีความสุข หรือการตัดสินใจที่จะหยุดมลพิษจากมนุษย์ในมหาสมุทรโลกอย่างมีประสิทธิภาพสูงสุด กล่าวคือ โดยการทำลายมนุษยชาติ ผู้คนจะยังไม่ สามารถต้านทานมันได้ ไม่มีโอกาสได้เผชิญหน้าในรูปแบบภาพยนตร์ของเทอร์มิเนเตอร์ ไม่มีการดวลปืนกับไซบอร์กเหล็ก รุกฆาตและรุกฆาตกำลังรอเราอยู่ - เช่นเดียวกับการดวลระหว่างคอมพิวเตอร์หมากรุก Deep Blue กับนักเรียนระดับประถม

กว่าร้อยหรือสองปีที่ผ่านมา ความสำเร็จของวิทยาศาสตร์ได้กระตุ้นความหวังในตัวพวกเขาในการแก้ปัญหาทั้งหมดของมนุษย์ ในขณะที่บางเรื่องได้ก่อให้เกิดและยังคงก่อให้เกิดความกลัวอย่างไม่มีการควบคุม ในขณะเดียวกันก็ต้องบอกว่ามุมมองทั้งสองดูสมเหตุสมผลทีเดียว ต้องขอบคุณวิทยาศาสตร์ที่กำจัดโรคร้ายได้ มนุษยชาติในปัจจุบันสามารถเลี้ยงดูผู้คนจำนวนมากอย่างที่ไม่เคยมีมาก่อน และจากจุดหนึ่งบนโลกใบนี้ คุณสามารถไปสู่สิ่งที่ตรงกันข้ามได้ภายในเวลาไม่ถึงวัน อย่างไรก็ตาม ด้วยความสง่างามของวิทยาศาสตร์เดียวกัน ผู้คนที่ใช้เทคโนโลยีทางการทหารล่าสุด ทำลายล้างซึ่งกันและกันด้วยความเร็วและประสิทธิภาพที่มหึมา

แนวโน้มที่คล้ายกัน - เมื่อการพัฒนาอย่างรวดเร็วของเทคโนโลยีไม่เพียง แต่นำไปสู่การสร้างโอกาสใหม่ แต่ยังสร้างภัยคุกคามที่ไม่เคยปรากฏมาก่อน - เราสังเกตในด้านความปลอดภัยของข้อมูล อุตสาหกรรมทั้งหมดของเราเกิดขึ้นและดำรงอยู่เพียงเพราะการสร้างและแจกจ่ายสิ่งมหัศจรรย์อย่างเช่น คอมพิวเตอร์และอินเทอร์เน็ตในจำนวนมากๆ เท่านั้น ทำให้เกิดปัญหาที่ไม่สามารถจินตนาการได้ในยุคก่อนคอมพิวเตอร์ อันเป็นผลมาจากการถือกำเนิดของเทคโนโลยีสารสนเทศ มีการปฏิวัติในการสื่อสารของมนุษย์ รวมทั้งถูกใช้โดยอาชญากรไซเบอร์ประเภทต่างๆ และขณะนี้มนุษยชาติค่อยๆ เริ่มตระหนักถึงความเสี่ยงใหม่ ๆ วัตถุของโลกทางกายภาพมากขึ้นเรื่อยๆ ถูกควบคุมโดยคอมพิวเตอร์และซอฟต์แวร์ ซึ่งมักจะไม่สมบูรณ์แบบ เต็มไปด้วยช่องโหว่และเปราะบาง วัตถุดังกล่าวจำนวนมากขึ้นเชื่อมต่อกับอินเทอร์เน็ตและภัยคุกคามต่อโลกไซเบอร์กำลังกลายเป็นความปลอดภัยทางกายภาพอย่างรวดเร็วและปัญหาชีวิตและความตายที่อาจเกิดขึ้น

นั่นคือเหตุผลที่หนังสือของ Nick Bostrom ดูน่าสนใจมาก ขั้นตอนแรกในการป้องกันสถานการณ์ฝันร้าย (สำหรับเครือข่ายคอมพิวเตอร์เครื่องเดียวหรือสำหรับมนุษยชาติทั้งหมด) คือการทำความเข้าใจว่าประกอบด้วยอะไรบ้าง Bostrom ตั้งข้อกังขามากมายว่าการสร้างปัญญาประดิษฐ์เทียบได้กับหรือเหนือกว่าจิตใจมนุษย์ ซึ่งเป็นปัญญาประดิษฐ์ที่สามารถทำลายมนุษยชาติได้ เป็นเพียงสถานการณ์ที่ไม่น่าจะเกิดขึ้นจริง แน่นอนว่ามีตัวเลือกมากมายและการพัฒนาเทคโนโลยีคอมพิวเตอร์อาจไม่ทำลายมนุษยชาติ แต่จะให้คำตอบแก่เราสำหรับ "คำถามหลักของชีวิต จักรวาล และทุกสิ่งทุกอย่าง" (บางทีอาจเป็นหมายเลข 42 จริงๆ เช่น ในนวนิยายเรื่อง "The Hitchhiker's Guide to the Galaxy") มีความหวัง แต่อันตรายร้ายแรงมาก Bostrom เตือนเรา ในความเห็นของฉัน หากมีความเป็นไปได้ที่จะเกิดภัยคุกคามต่อมนุษยชาติเช่นนี้ ก็ควรได้รับการปฏิบัติตามนั้น และเพื่อป้องกันและป้องกัน ความพยายามร่วมกันควรทำในระดับโลก

บทนำ

ภายในกะโหลกศีรษะของเรามีสารบางอย่าง ตัวอย่างเช่น เราสามารถอ่านได้ สารนี้ - สมองของมนุษย์ - มีความสามารถที่ไม่มีในสัตว์เลี้ยงลูกด้วยนมชนิดอื่น ที่จริงแล้ว ผู้คนมีตำแหน่งที่โดดเด่นในโลกนี้อย่างแม่นยำจากคุณลักษณะเฉพาะเหล่านี้ สัตว์บางชนิดมีกล้ามเนื้อที่แข็งแรงที่สุดและมีเขี้ยวที่แหลมคมที่สุด แต่ไม่ใช่สิ่งมีชีวิตเพียงตัวเดียว ยกเว้นมนุษย์ที่มีจิตใจที่สมบูรณ์แบบเช่นนี้ โดยอาศัยระดับสติปัญญาที่สูงขึ้น เราจึงสามารถสร้างเครื่องมือต่างๆ เช่น ภาษา เทคโนโลยี และการจัดระเบียบทางสังคมที่ซับซ้อนได้ เมื่อเวลาผ่านไป ความได้เปรียบของเรายิ่งแข็งแกร่งและขยายออกไป ในขณะที่คนรุ่นใหม่แต่ละคนต้องพึ่งพาความสำเร็จของรุ่นก่อน ก้าวไปข้างหน้า

หากเคยมีการพัฒนาปัญญาประดิษฐ์ที่เกินระดับการพัฒนาทั่วไปของจิตใจมนุษย์ ปัญญาที่ทรงอานุภาพยิ่งจะปรากฏในโลก จากนั้นชะตากรรมของเผ่าพันธุ์ของเราจะขึ้นอยู่กับการกระทำของระบบเทคนิคที่ชาญฉลาดเหล่านี้โดยตรง - เช่นเดียวกับที่ชะตากรรมปัจจุบันของกอริลล่าไม่ได้ถูกกำหนดโดยไพรเมตเอง แต่เกิดจากความตั้งใจของมนุษย์

อย่างไรก็ตาม มนุษยชาติมีข้อได้เปรียบที่ไม่อาจปฏิเสธได้จริง ๆ เพราะมันสร้างระบบทางเทคนิคที่ชาญฉลาด โดยหลักการแล้วใครกันที่ขัดขวางไม่ให้เราเกิดความฉลาดหลักแหลมที่จะรับเอาค่านิยมสากลของมนุษย์ไปอยู่ภายใต้การคุ้มครองของมัน? แน่นอน เรามีเหตุผลที่ดีที่จะปกป้องตนเอง ในทางปฏิบัติเราจะต้องจัดการกับปัญหาการควบคุมที่ยากที่สุด - วิธีควบคุมแผนและการกระทำของ supermind และคนจะสามารถใช้โอกาสเพียงครั้งเดียว ทันทีที่เกิดปัญญาประดิษฐ์ที่ไม่เป็นมิตร (AI) ปัญญาประดิษฐ์จะเริ่มแทรกแซงความพยายามของเราในการกำจัดปัญญาประดิษฐ์ในทันทีหรืออย่างน้อยก็แก้ไขการตั้งค่าให้ถูกต้อง แล้วชะตากรรมของมนุษยชาติจะถูกผนึกไว้

ในหนังสือของฉัน ฉันพยายามเข้าใจปัญหาที่ผู้คนเผชิญหน้าเกี่ยวกับความคาดหวังของซุปเปอร์อินเทลลิเจนซ์ และวิเคราะห์การตอบสนองของพวกเขา บางทีวาระที่ร้ายแรงและน่ากลัวที่สุดที่มนุษย์เคยได้รับอาจรอเราอยู่ และไม่ว่าเราจะชนะหรือแพ้ ก็เป็นไปได้ที่ความท้าทายนี้จะเป็นครั้งสุดท้ายของเรา ฉันไม่ได้ให้ข้อโต้แย้งใด ๆ ที่นี่เพื่อสนับสนุนรุ่นใดรุ่นหนึ่ง: เราใกล้จะถึงความก้าวหน้าครั้งใหญ่ในการสร้างปัญญาประดิษฐ์หรือไม่ เป็นไปได้ไหมที่จะทำนายอย่างแม่นยำว่าเหตุการณ์ปฏิวัติจะเกิดขึ้นเมื่อใด เป็นไปได้มากที่สุดในศตวรรษนี้ ไม่น่าเป็นไปได้ที่ใครจะระบุวันที่ที่เฉพาะเจาะจงกว่านี้

ปัญญาประดิษฐ์. ขั้นตอน ภัยคุกคาม กลยุทธ์ - นิค บอสตรอม (ดาวน์โหลด)

(ส่วนเกริ่นนำของหนังสือ)