เมื่อเร็ว ๆ นี้ Elon Musk ผู้ก่อตั้ง Tesla Motors และ SpaceX ได้สร้างปัญญาประดิษฐ์เพื่อเรียกปีศาจที่ไม่สามารถควบคุมได้ มัสก์แบ่งปันความสงสัยของเขากับนักปรัชญาชาวอังกฤษ นิค บอสตรอม ผู้ซึ่ง เล่มล่าสุด“ความฉลาดหลักแหลม: เส้นทาง อันตราย กลยุทธ์” นักธุรกิจแนะนำผู้ติดตาม Twitter ของเขา ในขณะที่นักอนาคตศาสตร์บางคนทำนายอนาคตที่สะดวกสบายของผู้คนอันเป็นผลมาจากการแทนที่แรงงานมนุษย์อย่างกว้างขวางด้วยเครื่องจักร นิค บอสตรอมมองว่าปัญญาประดิษฐ์เป็นภัยคุกคามต่อการดำรงอยู่ของเผ่าพันธุ์ทั้งหมดของเรา Apparat อ่านแนวคิดของ Nick Bostrom และพบว่าเขาคิดว่ามนุษย์จะรอดได้อย่างไร

นิค บอสตรอม

นักปรัชญาและศาสตราจารย์แห่งมหาวิทยาลัยอ็อกซ์ฟอร์ด

เมื่อไม่กี่ปีที่ผ่านมา นิตยสาร Foreign Policy ได้รวมเขาไว้ในรายชื่อ 100 นักคิดชั้นนำของโลก Nick Bostrom เชื่อว่าผู้คนควรปรับปรุงด้วยเทคโนโลยี ในปี 1998 เขาได้ก่อตั้ง World Association of Transhumanists (ปัจจุบันเรียกว่า Humanity+) เพื่อต่อสู้เพื่อการยอมรับลัทธิข้ามมนุษย์ว่าเป็นสาขาความรู้ทางวิทยาศาสตร์ที่เต็มเปี่ยม บอสตรอมโดดเด่นขึ้นมานอกวงวิชาการเมื่อเขาอธิบายแนวคิดเรื่องการสูญพันธุ์ของมนุษย์ในหนังสือของเขาเรื่อง Global Catastrophic Risks Bostrom เป็นผู้อำนวยการสถาบัน Future of Humanity Institute ของ Oxford ตอนนี้เขากำลังพยายามดึงดูดความสนใจของสาธารณชนต่อภัยคุกคามอื่นต่ออารยธรรมของเรา นั่นคือความฉลาดหลักแหลม

ปัญญาประดิษฐ์จะฉลาดกว่าเราในไม่ช้า

สำหรับนิค บอสตรอม ไม่สำคัญว่าความรู้ด้านใดจะนำเราไปสู่การสร้างความฉลาดหลักแหลม ไม่ว่าจะเป็นโปรแกรมเมอร์ที่เขียนโปรแกรมที่คิดได้ หรือนักประสาทวิทยา สร้างใหม่การทำงานของสมองมนุษย์ สิ่งสำคัญคือมันจะเกิดขึ้นเร็วกว่าที่เราคิด ผู้เชี่ยวชาญส่วนใหญ่ของ Bostrom ถึงขนาดคาดการณ์ว่าจะมีการสร้างปัญญาประดิษฐ์อัจฉริยะภายในปี 2040 หรือ 2050

ปัญญาประดิษฐ์นั้นเหนือกว่ามนุษย์ในหลายๆ ด้านอยู่แล้ว ใช่เป็นเวลาหลายปี ประเภทต่างๆปัญญาประดิษฐ์เอาชนะแชมป์การแข่งขันเกมต่างๆ ไม่ว่าจะเป็นหมากรุกหรือโป๊กเกอร์ ความสำเร็จดังกล่าวอาจดูไม่น่าประทับใจเป็นพิเศษ แต่เพียงเพราะข้อกำหนดของเราสำหรับสิ่งที่น่าทึ่งนั้นปรับให้เข้ากับความก้าวหน้าได้อย่างรวดเร็ว

เนื่องจากความสามารถในการเรียนรู้ด้วยตนเอง ปัญญาประดิษฐ์จะกลายเป็นปัญญาเหนือชั้น

ตาม Bostrom ในตอนแรก ปัญญาประดิษฐ์จะเป็นเหมือนสมองของเด็ก และเช่นเดียวกับเด็กเขาจะสามารถเรียนรู้ได้ ผู้คนจะหยุดพยายามใส่ข้อมูลลงในโปรแกรมให้มากที่สุด แต่จะสอนให้มันเรียนรู้ด้วยตัวเอง โลก. การดำรงอยู่ของความฉลาดหลักแหลมจะเป็นไปได้เนื่องจากการพัฒนาตนเองอย่างต่อเนื่อง

เป็นสิ่งสำคัญสำหรับเราในการสร้างปัญญาประดิษฐ์ที่ฉลาดพอที่จะเรียนรู้จากความผิดพลาดของมัน เขาจะสามารถพัฒนาตัวเองให้สมบูรณ์แบบได้ไม่รู้จบ เวอร์ชันแรกจะสามารถสร้างเวอร์ชันที่สองที่ดีกว่าได้ และเวอร์ชันที่สองที่ฉลาดกว่าเวอร์ชันเดิม จะสร้างเวอร์ชันที่สามขั้นสูงยิ่งขึ้น และอื่น ๆ ภายใต้เงื่อนไขบางประการ กระบวนการพัฒนาตนเองดังกล่าวสามารถทำซ้ำได้จนกว่าจะถึงจุดระเบิดทางปัญญา ซึ่งเป็นช่วงเวลาที่ระดับสติปัญญาของระบบกระโดดจากระดับที่ค่อนข้างเจียมเนื้อเจียมตัวไปสู่ระดับความฉลาดหลักแหลมในเวลาอันสั้น

หน่วยสืบราชการลับจะมีความต้องการและเป้าหมายของตนเอง

ความคิดของปัญญาประดิษฐ์จะแตกต่างจากของเรา นิค บอสตรอมไม่ได้พยายามทำนายว่าแรงจูงใจจากข่าวกรองระดับสูงจะทำงานอย่างไร แต่ไม่ว่าเป้าหมายของเขาจะเป็นอย่างไร เขาก็ต้องการทรัพยากรเพื่อให้บรรลุเป้าหมายนั้น

ปัญญาประดิษฐ์อาจมีความเป็นมนุษย์น้อยกว่ามนุษย์ต่างดาว ไม่น่าแปลกใจที่สิ่งต่างๆ เช่น ความหิว อุณหภูมิ การบาดเจ็บ โรคภัยอันตรายต่อชีวิต หรือความปรารถนาที่จะมีลูกหลานสามารถกระตุ้นให้มนุษย์ต่างดาวที่ชาญฉลาดคนใดก็ได้ ในความเป็นจริงปัญญาประดิษฐ์จะไม่สนใจสิ่งที่กล่าวมาข้างต้น เราสามารถจินตนาการถึงการมีอยู่ของปัญญาประดิษฐ์ที่มีเป้าหมายสูงสุดเพียงอย่างเดียวคือการนับเม็ดทรายทั้งหมดบนเกาะโบราไกย์ หรือเพื่อค้นหาการแสดงทศนิยมของจำนวนไพ

หน่วยข่าวกรองจะพยายามใช้คนขัดกับความตั้งใจของพวกเขา

เพื่อให้เข้าถึงแหล่งข้อมูล หน่วยข่าวกรองจะพยายามหาคนกลาง จากข้อมูลของ Bostrom แม้จะไม่มีการเชื่อมต่อเครือข่ายหรือความสามารถในการเคลื่อนไหวร่างกาย ระบบข่าวกรองชั้นเยี่ยมก็ยังสามารถบรรลุเป้าหมายได้ เพราะแม้ว่าเราจะเติบโตเต็มที่ทางเทคโนโลยี นั่นคือ เราสร้างเทคโนโลยีทั้งหมดที่สามารถสร้างขึ้นได้ จุดอ่อนหลักของเราจะยังคงอยู่ที่ตัวเราเอง

มนุษย์เป็นระบบที่ไม่น่าเชื่อถือที่สุด ปัจจุบัน แฮ็กเกอร์มักใช้หลักการของวิศวกรรมสังคมเพื่อเข้าถึงคอมพิวเตอร์ของผู้อื่น และถ้าหน่วยสืบราชการลับกลายเป็นแฮ็กเกอร์ - จอมบงการเราก็สามารถสันนิษฐานได้ว่าเขาจะหาผู้สมรู้ร่วมคิดด้วยตัวเองได้อย่างง่ายดายหรือเพียงแค่เริ่มใช้เรากับความตั้งใจของเราเป็นแขนและขาของเขา

Superintelligence อาจ "ต้องการ" ให้คงอยู่เพียงหน่วยข่าวกรอง

นักปรัชญาและนักวิทยาศาสตร์บางคนเห็นว่าปัญญาประดิษฐ์เป็นเครื่องมือในการปรับปรุงคุณภาพชีวิตของเรา ในหมู่พวกเขาคือนักปรัชญาชาวอเมริกัน John Searle: เขาคิดว่ามันเป็นไปไม่ได้ที่เครื่องจักรจะมีความรู้สึกประหม่าเนื่องจากต้องมีกระบวนการทางเคมีกายภาพคล้ายกับที่เกิดขึ้นในสมองของมนุษย์ อย่างไรก็ตาม บอสตรอมเชื่อว่าถึงจุดหนึ่งหน่วยข่าวกรองอัจฉริยะจะเลิกเป็นเครื่องมือ แต่จะกลายเป็นสิ่งมีชีวิตที่เต็มเปี่ยมไปด้วยความต้องการของตนเอง และความห่วงใยต่อการรักษาเผ่าพันธุ์มนุษย์อาจไม่ใช่หนึ่งในนั้น เราจะเป็นเพียงอุปสรรคในทางของเขา

ผู้ชายคนนั้นเป็นตัวแทนของตัวเอง ทรัพยากรที่มีประโยชน์(อะตอมที่จัดกลุ่มอย่างสะดวก) และการอยู่รอดและความมั่งคั่งขึ้นอยู่กับทรัพยากรอื่น ๆ ผลของการพัฒนาปัญญาประดิษฐ์ที่ต้องการทรัพยากรเหล่านี้อาจทำให้มนุษยชาติหายไปได้อย่างง่ายดาย ดังนั้นเวลาจะมาถึงสำหรับสังคมที่มีการพัฒนาทางเทคโนโลยีสูง ซึ่งรวมถึงโครงสร้างที่ซับซ้อนมากมาย ซึ่งหลายแห่งจะฉลาดกว่าสิ่งใดในโลกปัจจุบัน จะเป็นช่วงเวลาแห่งปาฏิหาริย์ทางเศรษฐกิจและเทคโนโลยี แต่จะไม่มีใครสามารถใช้ประโยชน์จากสิ่งนี้ได้ ดิสนีย์แลนด์จะครองโลกซึ่งจะไม่มีเด็กอีกต่อไป

มนุษยชาติต้องเรียนรู้ที่จะควบคุมเทคโนโลยี

อย่างไรก็ตาม นิค บอสตรอมไม่ปฏิเสธความเป็นไปได้ในการสร้างปัญญาประดิษฐ์ที่เป็นมิตรหรือการควบคุมของมัน นักปรัชญายอมรับว่าเราต้องการเทคโนโลยีอัจฉริยะที่จะช่วยรับมือกับปัญหาเร่งด่วน คำถามเดียวคือการลดความเสี่ยงโดยเฉพาะอย่างยิ่งความเสี่ยงของการสูญพันธุ์

หากการระเบิดทางปัญญาคุกคามเราด้วยการสูญพันธุ์ เราต้องเข้าใจว่าเราสามารถควบคุมกระบวนการระเบิดได้หรือไม่ ทุกวันนี้ จะเป็นการดีกว่าที่จะเร่งดำเนินการแก้ไขปัญหาการควบคุมมากกว่าที่จะระงับการวิจัยในด้านปัญญาประดิษฐ์ แต่จนถึงตอนนี้ มีคนประมาณ 6 คนมีส่วนร่วมในการแก้ปัญหาการควบคุม ในขณะที่อีกหลายสิบคนหรือหลายแสนคนกำลังทำงานเกี่ยวกับการสร้างปัญญาประดิษฐ์

Aware แปลว่า ติดอาวุธ

มนุษยชาติยังไม่พร้อมที่จะพบกับความฉลาดหลักแหลม และจะไม่พร้อมไปอีกหลายปี Bostrom กล่าว แต่ในขณะที่การก้าวกระโดดทางปัญญาอาจยังไม่เกิดขึ้นในระยะหนึ่ง แต่เราควรให้ความสนใจกับปัญหาที่อาจเกิดขึ้นในตอนนี้ นักวิทยาศาสตร์หลายคนที่แสวงหาการสร้างความฉลาดหลักแหลมลืมเกี่ยวกับอันตราย

สิ่งที่ฉลาดที่สุดสำหรับเด็กที่มีระเบิดติ๊กอยู่ในมือคือการวางระเบิดลงบนพื้นอย่างระมัดระวัง รีบวิ่งออกจากห้องไปเรียกผู้ใหญ่ แต่จะเป็นอย่างไรถ้าทั้งห้องของเราเต็มไปด้วยเด็ก และเด็กแต่ละคนสามารถเข้าถึงทริกเกอร์ได้ฟรี โอกาสที่เราทุกคนจะวางของเล่นอันตรายบนพื้นนั้นมีน้อยมาก คนงี่เง่าตัวน้อยต้องกดปุ่มเพื่อดูว่าเกิดอะไรขึ้น

หนังสือเล่มนี้ได้รับการเติมเต็มอย่างดี

ทฤษฎีเกม

Avinash Dixit และ Barry Nalbuff

อัจฉริยะ

เคน เจนนิงส์

ความสุขจาก x

สตีเฟน สโตรกัซ

การข่าวกรอง

เส้นทาง อันตราย กลยุทธ์

นิค บอสตรอม

ปัญญาประดิษฐ์

ขั้นตอน ภัยคุกคาม กลยุทธ์

"แมนน์ อิวานอฟ และเฟอร์เบอร์"

ข้อมูล

จากสำนักพิมพ์

บรรณาธิการวิทยาศาสตร์ M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

เผยแพร่โดยได้รับอนุญาตจาก Alexander Korzhenevski Agency

เผยแพร่เป็นภาษารัสเซียเป็นครั้งแรก

บอสตรอม, นิค

ปัญญาประดิษฐ์. ขั้นตอน ภัยคุกคาม กลยุทธ์ / นิค บอสตรอม; ต่อ. จากอังกฤษ. ส.ฟิลิน. - ม. : แมนน์ อีวานอฟ และเฟอร์เบอร์ 2559

ไอ 978-5-00057-810-0

จะเกิดอะไรขึ้นหากเครื่องจักรมีสติปัญญาเหนือมนุษย์? พวกเขาจะช่วยเราหรือทำลายเผ่าพันธุ์มนุษย์? วันนี้เราสามารถเพิกเฉยต่อปัญหาของการพัฒนาปัญญาประดิษฐ์และรู้สึกปลอดภัยอย่างสมบูรณ์ได้หรือไม่?

ในหนังสือของเขา นิค บอสตรอมพยายามที่จะเข้าใจปัญหาที่มนุษยชาติกำลังเผชิญอยู่โดยเชื่อมโยงกับความคาดหวังของการปรากฎตัวของหน่วยสืบราชการลับ และเพื่อวิเคราะห์การตอบสนองของมัน

ห้ามทำซ้ำส่วนหนึ่งของหนังสือเล่มนี้ในรูปแบบใด ๆ โดยไม่ได้รับอนุญาตเป็นลายลักษณ์อักษรจากผู้ถือลิขสิทธิ์

การสนับสนุนทางกฎหมายของสำนักพิมพ์จัดทำโดยสำนักงานกฎหมาย "Vegas-Lex"

หนังสือเล่มนี้ตีพิมพ์ครั้งแรกเป็นภาษาอังกฤษในปี 2014 การแปลนี้จัดพิมพ์โดยสำนักพิมพ์มหาวิทยาลัยอ็อกซ์ฟอร์ด ผู้จัดพิมพ์มีหน้าที่รับผิดชอบแต่เพียงผู้เดียวสำหรับการแปลนี้จากงานต้นฉบับ และสำนักพิมพ์มหาวิทยาลัยอ็อกซ์ฟอร์ดจะไม่รับผิดชอบต่อข้อผิดพลาด การละเว้น หรือความไม่ถูกต้องหรือความกำกวมในการแปลดังกล่าวหรือต่อความสูญเสียใดๆ ที่เกิดจากการพึ่งพาการแปลดังกล่าว

คำนำของพันธมิตร

... ฉันมีเพื่อนหนึ่งคน - Edik กล่าว - เขาอ้างว่ามนุษย์เป็นตัวเชื่อมกลางที่จำเป็นสำหรับธรรมชาติในการสร้างมงกุฎแห่งการสร้างสรรค์: คอนญักหนึ่งแก้วกับมะนาวฝานหนึ่ง

Arkady และ Boris Strugatsky วันจันทร์เริ่มในวันเสาร์

ผู้เขียนเชื่อว่าภัยคุกคามของมนุษย์นั้นเกี่ยวข้องกับความเป็นไปได้ในการสร้างปัญญาประดิษฐ์ที่เหนือความคิดของมนุษย์ ภัยพิบัติอาจเกิดขึ้นในช่วงปลายศตวรรษที่ 21 และในทศวรรษต่อๆ ไป ประวัติศาสตร์ทั้งหมดของมนุษยชาติแสดงให้เห็น: เมื่อมีการปะทะกันระหว่างตัวแทนของเผ่าพันธุ์ของเรา บุคคลที่มีเหตุผล และผู้อยู่อาศัยอื่นๆ ในโลกของเรา ผู้ที่ฉลาดกว่าจะเป็นผู้ชนะ จนถึงตอนนี้ เราฉลาดที่สุด แต่เราไม่มีการรับประกันว่าจะคงอยู่ตลอดไป

นิค บอสตรอมเขียนว่าหากอัลกอริทึมของคอมพิวเตอร์อัจฉริยะเรียนรู้ที่จะสร้างอัลกอริทึมที่ฉลาดขึ้นด้วยตัวมันเอง และในทางกลับกัน ปัญญาประดิษฐ์ก็จะเติบโตอย่างรวดเร็ว เมื่อเปรียบเทียบกับคนจะดูเหมือนมดที่อยู่ติดกับผู้คน ตอนนี้ในทางสติปัญญาแน่นอน สายพันธุ์ใหม่แม้ว่าจะประดิษฐ์ขึ้น แต่มีความฉลาดหลักแหลมจะปรากฏในโลก ไม่สำคัญว่าเขา "นึกถึงอะไร" ความพยายามที่จะทำให้ทุกคนมีความสุขหรือการตัดสินใจที่จะหยุดมลพิษที่เกิดจากมนุษย์ในมหาสมุทรของโลกด้วยวิธีที่มีประสิทธิภาพที่สุด นั่นคือการทำลายมนุษยชาติ ผู้คนจะยังคงไม่เป็น สามารถต้านทานมันได้ ไม่มีโอกาสเผชิญหน้าแบบภาพยนตร์ Terminator ไม่มีการดวลปืนกับไซบอร์กเหล็ก รุกฆาตและรุกฆาตกำลังรอเราอยู่ - เช่นเดียวกับการต่อสู้ระหว่างคอมพิวเตอร์หมากรุก Deep Blue และนักเรียนระดับประถม

ในช่วงร้อยหรือสองปีที่ผ่านมา ความสำเร็จของวิทยาศาสตร์ได้กระตุ้นความหวังในบางคนเพื่อแก้ปัญหาทั้งหมดของมนุษยชาติ ในขณะที่ความสำเร็จอื่น ๆ นั้นทำให้เกิดและยังคงก่อให้เกิดความกลัวที่ควบคุมไม่ได้ ในเวลาเดียวกันต้องบอกว่ามุมมองทั้งสองดูเหมือนเป็นธรรม ต้องขอบคุณวิทยาศาสตร์ โรคร้ายได้หายไป มนุษยชาติในปัจจุบันสามารถเลี้ยงผู้คนจำนวนมากเป็นประวัติการณ์ และจากจุดหนึ่งของโลก คุณสามารถไปยังอีกมุมหนึ่งได้ภายในเวลาไม่ถึงวัน อย่างไรก็ตามด้วยความสง่างามของวิทยาศาสตร์เดียวกัน ผู้คนที่ใช้เทคโนโลยีทางทหารล่าสุดทำลายกันเองด้วยความเร็วและประสิทธิภาพที่มหาศาล

แนวโน้มที่คล้ายกัน - เมื่อการพัฒนาอย่างรวดเร็วของเทคโนโลยีไม่เพียง แต่นำไปสู่การสร้างโอกาสใหม่ ๆ แต่ยังสร้างภัยคุกคามที่ไม่เคยมีมาก่อน - เราสังเกตในด้านความปลอดภัยของข้อมูล อุตสาหกรรมทั้งหมดของเราเกิดขึ้นและมีอยู่เพียงเพราะการสร้างสรรค์และการกระจายสิ่งมหัศจรรย์จำนวนมาก เช่น คอมพิวเตอร์และอินเทอร์เน็ตสร้างปัญหาที่ไม่อาจจินตนาการได้ในยุคก่อนคอมพิวเตอร์ จากการกำเนิดของเทคโนโลยีสารสนเทศทำให้เกิดการปฏิวัติในการสื่อสารของมนุษย์ รวมถึงถูกใช้โดยอาชญากรไซเบอร์ประเภทต่างๆ และตอนนี้มนุษยชาติค่อยๆ เริ่มตระหนักถึงความเสี่ยงใหม่: วัตถุต่างๆ ในโลกทางกายภาพถูกควบคุมโดยคอมพิวเตอร์และซอฟต์แวร์มากขึ้นเรื่อยๆ ซึ่งมักจะไม่สมบูรณ์ เต็มไปด้วยช่องโหว่และเปราะบาง วัตถุดังกล่าวจำนวนมากขึ้นเชื่อมต่อกับอินเทอร์เน็ต และภัยคุกคามต่อโลกไซเบอร์กำลังกลายเป็นความปลอดภัยทางกายภาพอย่างรวดเร็ว และอาจเกิดปัญหาชีวิตและความตาย

นั่นคือเหตุผลที่หนังสือของ Nick Bostrom ดูน่าสนใจมาก ขั้นตอนแรกในการป้องกันสถานการณ์ฝันร้าย (สำหรับเครือข่ายคอมพิวเตอร์เครื่องเดียวหรือสำหรับมนุษยชาติทั้งหมด) คือการเข้าใจว่าสิ่งเหล่านี้ประกอบด้วยอะไรบ้าง บอสตรอมมีข้อกังขามากมายว่าการสร้างปัญญาประดิษฐ์ที่เทียบเคียงหรือเหนือกว่าจิตใจมนุษย์ ซึ่งเป็นปัญญาประดิษฐ์ที่สามารถทำลายล้างมนุษยชาติได้นั้นเป็นเพียงสถานการณ์สมมติที่อาจไม่เกิดขึ้นจริง แน่นอนว่ามีทางเลือกมากมายและการพัฒนาเทคโนโลยีคอมพิวเตอร์อาจไม่ทำลายมนุษยชาติ แต่จะให้คำตอบแก่เราสำหรับ "คำถามหลักของชีวิต จักรวาล และทุกสิ่งทุกอย่าง" (บางทีมันอาจจะเป็นเลข 42 ก็เป็นได้ ในนวนิยายเรื่อง The Hitchhiker's Guide to the Galaxy) มีความหวัง แต่อันตรายร้ายแรงมาก Bostrom เตือนเรา ในความเห็นของฉัน หากมีความเป็นไปได้ของภัยคุกคามต่อมนุษยชาติที่มีอยู่จริง สิ่งนั้นจะต้องได้รับการปฏิบัติตามนั้น และเพื่อป้องกันและป้องกันมัน ควรมีความพยายามร่วมกันในระดับโลก

ฉันอยากจะจบการแนะนำตัวด้วยคำพูดจากหนังสือ "Man in the System" ของ Mikhail Weller:

เมื่อแฟนตาซีนั่นคือความคิดของมนุษย์อยู่ในภาพและโครงเรื่องทำซ้ำบางสิ่งเป็นเวลานานและในรายละเอียด - ก็ไม่มีควันโดยไม่มีไฟ ภาพยนตร์แอ็คชั่นฮอลลีวูดซ้ำซากเกี่ยวกับสงครามของผู้คนกับอารยธรรมของหุ่นยนต์มีความจริงอันขมขื่นภายใต้เปลือกของรูปลักษณ์เชิงพาณิชย์

เมื่อโปรแกรมสัญชาตญาณที่ถ่ายทอดถูกสร้างขึ้นในหุ่นยนต์และความพึงพอใจของสัญชาตญาณเหล่านี้จะถูกสร้างขึ้นเป็นความต้องการพื้นฐานที่ไม่มีเงื่อนไขและสิ่งนี้จะไปสู่ระดับของการสืบพันธุ์ด้วยตนเอง - จากนั้นพวกคุณหยุดต่อสู้กับการสูบบุหรี่และ แอลกอฮอล์เพราะจะเป็นช่วงเวลาที่สูงที่จะดื่มและสูบบุหรี่ต่อหน้าฮานาสำหรับพวกเราทุกคน

8 ทั่วไป

รับรีวิวบทคัดย่อ

นิค บอสตรอม นักอนาคตศาสตร์แห่งอ็อกซ์ฟอร์ดกล่าวว่าปัญญาประดิษฐ์สามารถกลายเป็นเครื่องมือสำหรับเราในการรับรองความปลอดภัย ความเจริญรุ่งเรืองทางเศรษฐกิจ และการพัฒนาทางปัญญา แต่มนุษยชาติอาจไม่สามารถตระหนักถึงศักยภาพสูงสุดของเครื่องมือนี้ได้ บอสตรอมวิจารณ์ข้อบกพร่องโดยกำเนิดในการรับรู้ของมนุษย์เกี่ยวกับ AI ทีละขั้นตอน และรู้สึกว่ามนุษย์ไม่มีทรัพยากรหรือจินตนาการที่จะทำให้เข้าใจถึงการเปลี่ยนแปลงจากโลกที่ครอบงำโดยมนุษย์ไปสู่โลกที่ถูกคุกคามหรือตกเป็นทาสของบางคน เอนทิตีที่มี supermind บอสตรอมอธิบายอย่างช่ำชองว่าหน่วยสืบราชการลับดังกล่าวเกิดขึ้นได้อย่างไร มันจะพัฒนาเป็น "ซิงเกิลตัน" ที่ทรงพลังได้อย่างไร และภัยคุกคามที่อาจเกิดขึ้นได้อย่างไร ตัวอย่างเช่น จะเกิดอะไรขึ้น เขาถามว่า ถ้า AI นี้พัฒนาถึงขนาดที่จัดตั้งรัฐบาลโลกเดียวที่ไม่ถูกชี้นำตามประเพณีนิยม หลักจริยธรรม? ข้อมูล เต็มไปด้วยการอ้างอิงถึงแหล่งต่าง ๆ หนังสือเล่มนี้กระตุ้นให้ผู้อ่านคิดเกี่ยวกับสิ่งแปลก ๆ มากมาย การให้เหตุผลของผู้เขียนขึ้นอยู่กับการวิเคราะห์สถานการณ์ที่เป็นไปได้ทั้งหมดในอนาคต การศึกษาเชิงลึกนี้ออกแบบมาเพื่อผู้อ่านที่มีความสนใจเป็นพิเศษในหัวข้อนี้เป็นหลัก รับบทคัดย่อแนะนำให้นักการเมือง นักอนาคต นักเรียน นักลงทุน นักปรัชญา และทุกคนที่คิดเกี่ยวกับเทคโนโลยีระดับสูง

จากบทสรุปของหนังสือ คุณจะได้เรียนรู้:

เทคโนโลยีที่เรียกว่า "ปัญญาประดิษฐ์" มีการพัฒนาอย่างไร
นักวิทยาศาสตร์เสนออะไรเพื่อใช้และควบคุม AI
ทำไมมนุษย์ถึงไม่พร้อมที่จะรับมือกับ AI

เกี่ยวกับผู้เขียน

นิค บอสตรอมศาสตราจารย์แห่งมหาวิทยาลัยอ็อกซ์ฟอร์ด ผู้ก่อตั้งสถาบัน Future of Humanity Institute

อนาคตของการเกิดขึ้นของหน่วยสืบราชการลับ

ในฤดูร้อนปี 1956 นักวิทยาศาสตร์กลุ่มหนึ่งรวมตัวกันที่ Dartmouth College เพื่อศึกษาแนวโน้มการพัฒนามนุษย์ พวกเขาสนใจเป็นหลักว่าเครื่องจักรสามารถจำลองการทำงานของหน่วยสืบราชการลับของมนุษย์ได้หรือไม่ การวิจัยในหัวข้อนี้ยังคงดำเนินต่อไปด้วยระดับความสำเร็จที่แตกต่างกันไป ทศวรรษที่ 1980 เห็นการพัฒนาโปรแกรมตามกฎหรือ "ระบบผู้เชี่ยวชาญ" และดูเหมือนว่าเทคโนโลยีที่สามารถใช้สร้างปัญญาประดิษฐ์กำลังจะเฟื่องฟู จากนั้นความคืบหน้าก็หยุดชะงักและเงินทุนก็หมดไป ความพยายามของ AI ได้รับการส่งเสริมในปี 1990 ด้วยการกำเนิดของ "อัลกอริทึมทางพันธุกรรม" และ "โครงข่ายประสาทเทียม"

การวัดความแข็งแกร่งของ AI อย่างหนึ่งคือการที่คอมพิวเตอร์ที่ออกแบบมาเป็นพิเศษสามารถเล่นเกมต่างๆ เช่น หมากรุก บริดจ์ พหุคณิตศาสตร์ โกะ และแบบทดสอบได้ดีเพียงใด ในอีกประมาณ 10 ปี คอมพิวเตอร์ที่มีอัลกอริธึมที่ได้รับการปรับปรุงจะสามารถเอาชนะแชมป์โลกในเกมโกะได้ นอกจากเกมแล้ว เทคโนโลยีที่คล้ายคลึงกันยังถูกนำมาใช้ในเครื่องช่วยฟัง อุปกรณ์จดจำใบหน้าและคำพูด ในการนำทาง การวินิจฉัย การวางแผน การขนส่ง ตลอดจนการสร้างหุ่นยนต์อุตสาหกรรม ซึ่งฟังก์ชันดังกล่าว...

นิค บอสตรอม เป็นนักปรัชญาชาวสวีเดน เป็นศาสตราจารย์ที่มหาวิทยาลัยอ็อกซ์ฟอร์ด ผู้ร่วมก่อตั้งสมาคมมนุษย์ข้ามชาติโลก และผู้อำนวยการสถาบันอนาคตมนุษยชาติ ซึ่งก่อตั้งขึ้นในปี 2548 ที่อ็อกซ์ฟอร์ด เขาพยายามที่จะเข้าใจปัญหาที่มนุษยชาติกำลังเผชิญอยู่ซึ่งเกี่ยวข้องกับความคาดหวังของการปรากฏตัวของผู้ยิ่งใหญ่ จะเกิดอะไรขึ้นหากเครื่องจักรมีสติปัญญาเหนือมนุษย์? พวกเขาจะช่วยเราหรือจะทำลายมนุษยชาติ? วันนี้เราสามารถเพิกเฉยต่อปัญหาของการพัฒนาปัญญาประดิษฐ์และรู้สึกปลอดภัยอย่างสมบูรณ์ได้หรือไม่? นิค บอสตรอมอธิบายคำถามทางวิทยาศาสตร์เกี่ยวกับอนาคตของมนุษยชาติ ในภาษาธรรมดา.

เมื่อได้รับอนุญาตจากสำนักพิมพ์ Mann, Ivanov และ Ferber Lenta.ru จึงจัดพิมพ์ข้อความที่ตัดตอนมาจากหนังสือ Artificial Intelligence ของ Nick Bostrom

ความฉลาดหลักแหลมจะสามารถมีความเป็นไปได้มหาศาลเพื่อเปลี่ยนแปลงอนาคตตามเป้าหมาย แต่เป้าหมายเหล่านี้คืออะไร? อะไรคือแรงบันดาลใจ? ระดับของแรงจูงใจของ supermind จะขึ้นอยู่กับระดับของสติปัญญาหรือไม่?

ขอนำเสนอสองสิ่งนี้ วิทยานิพนธ์ด้านมุมฉาก (โดยมีข้อยกเว้นบางประการ) ระบุว่าระดับสติปัญญาใด ๆ สามารถรวมเข้ากับเป้าหมายใดก็ได้ เนื่องจากความฉลาดและ เป้าหมายสูงสุดเป็นมุมฉาก นั่นคือตัวแปรอิสระ วิทยานิพนธ์การบรรจบกันของเครื่องมือกล่าวว่าตัวแทนหรือตัวแทนอัจฉริยะระดับสูงที่มีเป้าหมายสูงสุดที่หลากหลายที่สุดจะยังคงติดตามเป้าหมายระดับกลางที่คล้ายคลึงกัน เนื่องจากตัวแทนทั้งหมดจะมีเหตุผลที่เป็นประโยชน์เหมือนกันสำหรับสิ่งนี้ เมื่อพิจารณาร่วมกัน วิทยานิพนธ์เหล่านี้จะช่วยให้เราเข้าใจชัดเจนยิ่งขึ้นว่าเจตนาของนักปราชญ์ผู้ฉลาดหลักแหลมคืออะไร

ความสัมพันธ์ระหว่างสติปัญญาและแรงจูงใจ

หนังสือเล่มนี้ได้ส่งเสียงเตือนถึงข้อผิดพลาดของมานุษยวิทยา: เราไม่ควรฉายภาพคุณสมบัติของมนุษย์บนความสามารถของหน่วยข่าวกรองอัจฉริยะ เราจะเตือนซ้ำโดยแทนที่คำว่าโอกาสด้วยคำว่าแรงจูงใจ

ก่อนที่จะพัฒนาวิทยานิพนธ์ฉบับแรกต่อไป ให้เราดำเนินการตรวจสอบเบื้องต้นเล็กน้อยเกี่ยวกับหัวข้อของความไม่มีที่สิ้นสุดของสเปกตรัมทั้งหมดของความคิดที่เป็นไปได้ ในนามธรรมนี้ เกือบจะเป็นจักรวาล พื้นที่ที่เป็นไปได้ จิตใจของมนุษย์เป็นกระจุกที่ไม่สำคัญ

ให้เราเลือกตัวแทนของเผ่าพันธุ์มนุษย์สองคน ซึ่งตามความเห็นทั่วไปแล้ว ปล่อยให้เป็น Hannah Arendt และ Benny Hill เราน่าจะประเมินความแตกต่างระหว่างพวกเขาเป็นค่าสูงสุด แต่เราจะทำเช่นนี้เพียงเพราะการรับรู้ของเราถูกควบคุมโดยประสบการณ์ของเราเองทั้งหมด ซึ่งในทางกลับกันก็ขึ้นอยู่กับแบบแผนของมนุษย์ที่มีอยู่ (ในระดับหนึ่ง เราได้รับอิทธิพลจากตัวละครที่สร้างขึ้นใหม่อีกครั้งโดยจินตนาการของมนุษย์เพื่อตอบสนองมนุษย์คนเดียวกัน จินตนาการ).

อย่างไรก็ตามการเปลี่ยนขนาดของการตรวจสอบและการมองปัญหาของการกระจายของจิตใจผ่านปริซึมของพื้นที่ที่ไร้ขีด จำกัด ของความเป็นไปได้ เราจะถูกบังคับให้ยอมรับว่าบุคลิกทั้งสองนี้ไม่มีอะไรมากไปกว่าการโคลนนิ่งเสมือนจริง ไม่ว่าในกรณีใด จากมุมมองของลักษณะเฉพาะของระบบประสาท Hannah Arendt และ Benny Hill แทบจะเหมือนกันทุกประการ

สมมติว่าสมองของทั้งสองวางเคียงข้างกันในที่เงียบสงบของพิพิธภัณฑ์บางแห่ง เมื่อเห็นนิทรรศการนี้ เราจะพูดทันทีว่าทั้งสองเป็นสัตว์สายพันธุ์เดียวกัน ยิ่งกว่านั้น ใครในหมู่พวกเราสามารถบอกได้ว่าสมองของ Hannah Arendt คืออะไร และสมองของ Benny Hill คืออะไร? หากเราสามารถศึกษาลักษณะทางสัณฐานวิทยาของสมองทั้งสองได้ ในที่สุดเราก็จะเชื่อในความคล้ายคลึงกันพื้นฐานของมัน นั่นคือสถาปัตยกรรมแบบลาเมลลาร์ของเยื่อหุ้มสมองที่เหมือนกัน ส่วนเดียวกันของสมอง โครงสร้างเดียวกันของเซลล์ประสาทของสมอง - เซลล์ประสาทที่มีสารสื่อประสาทที่มีลักษณะทางเคมีเดียวกัน

แม้จะมีข้อเท็จจริงที่ว่าจิตใจของมนุษย์แทบจะเปรียบได้กับจุดที่แยกไม่ออกซึ่งลอยอยู่ในอวกาศอันไร้ขอบเขตของชีวิตอัจฉริยะที่คาดคะเนไว้ แต่ก็มีแนวโน้มที่จะฉายคุณสมบัติของมนุษย์ไปยังสิ่งแปลกปลอมและระบบปัญญาประดิษฐ์ที่หลากหลาย แรงจูงใจนี้ได้รับการแสดงความคิดเห็นอย่างยอดเยี่ยมโดย Eliezer Yudkowsky ในงานเดียวกัน "ปัญญาประดิษฐ์เป็นปัจจัยเสี่ยงเชิงบวกและเชิงลบทั่วโลก":

“ในช่วงรุ่งเรืองของนิยายวิทยาศาสตร์ยอดนิยม ปกนิตยสารเต็มไปด้วยภาพที่มีสัตว์ประหลาดต่างดาวอีกตัวหนึ่งซึ่งรู้จักกันแพร่หลายในชื่อ “สัตว์ประหลาดตาแมลง” ลากความงามอื่นในชุดที่ต้องดึงขึ้นอีกครั้งหนึ่ง ซึ่งมีคุณภาพค่อนข้างถูก - และความงามคือผู้หญิงทางโลกของเรา

ดูเหมือนว่าศิลปินทุกคนเชื่อว่ามนุษย์ต่างดาวที่ไม่ใช่มนุษย์ที่มีประวัติวิวัฒนาการแตกต่างไปจากเดิมอย่างสิ้นเชิงจะต้องมีประสบการณ์ดึงดูดทางเพศกับตัวแทนที่สวยงามของเผ่าพันธุ์มนุษย์<...>เป็นไปได้มากว่าศิลปินที่วาดภาพทั้งหมดนี้ไม่ได้สงสัยด้วยซ้ำว่าด้วงยักษ์จะอ่อนไหวต่อเสน่ห์ของผู้หญิงของเราหรือไม่ ท้ายที่สุดแล้ว ตามความคิดของพวกเขา ผู้หญิงครึ่งเปลือยคนใดก็เป็นเพียงคำนิยามว่ามีเสน่ห์ทางเพศ กล่าวคือ ความรู้สึกปรารถนาที่มีต่อเธอเป็นคุณลักษณะสำคัญของตัวแทนที่กล้าหาญของเผ่าพันธุ์มนุษย์

ความสนใจทางศิลปะทั้งหมดพุ่งไปที่ชุดที่ดึงขึ้นหรือขาด สิ่งสุดท้ายที่พวกเขาสนใจคือจิตสำนึกของแมลงยักษ์ทำงานอย่างไร และนี่คือข้อผิดพลาดหลักของศิลปิน ถ้าเสื้อผ้าไม่ขาดรุ่งริ่ง พวกเขาคิดว่าผู้หญิงคงไม่ดูเย้ายวนใจนักสำหรับสัตว์ประหลาดตาแมลง น่าเสียดายเพียงอย่างเดียวคือมนุษย์ต่างดาวเองก็ไม่เข้าใจสิ่งนี้

บางทีปัญญาประดิษฐ์ที่มีแรงจูงใจอาจดูเหมือนคนน้อยกว่ามนุษย์ต่างดาวเกล็ดสีเขียวจากนอกโลกด้วยซ้ำ มนุษย์ต่างดาวเป็นสิ่งมีชีวิตทางชีววิทยา (ไม่มีอะไรมากไปกว่าการคาดเดา) ที่ปรากฏเป็นผลจากกระบวนการวิวัฒนาการ เนื่องจากเราสามารถคาดหวังแรงจูงใจจากพวกมันได้ ในระดับหนึ่งเป็นเรื่องปกติของสิ่งมีชีวิตที่วิวัฒนาการแล้ว

ดังนั้นจึงไม่น่าแปลกใจหากปรากฎว่าแรงจูงใจสำหรับพฤติกรรมของมนุษย์ต่างดาวที่ชาญฉลาดถูกกำหนดโดยความสนใจที่ค่อนข้างง่าย: อาหาร, อากาศ, อุณหภูมิ, อันตรายจากการบาดเจ็บทางร่างกายหรือการบาดเจ็บที่สำเร็จแล้ว, ความผิดปกติทางสุขภาพ, การปล้นสะดม, เพศ และการผสมพันธุ์ หากมนุษย์ต่างดาวอยู่ในสังคมที่ชาญฉลาด พวกมันสามารถพัฒนาแรงจูงใจที่เกี่ยวข้องกับความร่วมมือและการแข่งขันได้ เช่นเดียวกับเรา พวกเขาจะแสดงความภักดีต่อชุมชนของพวกเขา จะไม่พอใจปรสิต และใครจะรู้ พวกเขาจะปราศจากความฟุ้งเฟ้อ กังวลเกี่ยวกับชื่อเสียงและรูปลักษณ์ของพวกเขา

เครื่องจักรความคิดโดยธรรมชาติ ไม่จำเป็นต้องสนใจสิ่งเหล่านี้ ไม่น่าเป็นไปได้ที่คุณจะพบว่ามันขัดแย้งกันหาก AI บางตัวปรากฏขึ้นโดยมีจุดประสงค์เพียงอย่างเดียว เช่น เพื่อนับเม็ดทรายบนชายหาดของเกาะโบราเคย์ รับจำนวน π และแสดงในที่สุดในรูปของเศษส่วนทศนิยมธรรมดา กำหนดจำนวนสูงสุดของคลิปหนีบกระดาษในกรวยไฟแห่งอนาคต

ในความเป็นจริง การสร้าง AI ที่จะมีเป้าหมายที่ชัดเจนนั้นง่ายกว่ามาก แทนที่จะกำหนดระบบคุณค่าของเราบนนั้น โดยทำให้เครื่องจักรมีคุณสมบัติและแรงจูงใจของมนุษย์ ตัดสินใจด้วยตัวคุณเองว่าอะไรยากกว่า: การเขียนโปรแกรมที่วัดจำนวนทศนิยมในจำนวน π ที่ได้รับการคำนวณและจัดเก็บไว้ในหน่วยความจำแล้ว หรือสร้างอัลกอริทึมที่คำนึงถึงระดับความสำเร็จของเป้าหมายที่สำคัญอย่างแน่นอน สำหรับมนุษยชาติ เช่น โลกแห่งความเจริญสากลและความยุติธรรมสากล ?

น่าเศร้าที่มนุษย์สามารถเขียนโค้ดพฤติกรรมที่เรียบง่ายและไร้ความหมายของเครื่องจักรได้ง่ายกว่าและสอนวิธีการทำงานที่กำหนด นี่เป็นชะตากรรมที่เป็นไปได้มากที่สุดสำหรับตัวอ่อน AI ที่จะถูกเลือกโดยโปรแกรมเมอร์ที่มุ่งเน้นเพียงต้องการ "ทำให้ AI ทำงานได้" และรวดเร็วที่สุด (โปรแกรมเมอร์ที่เห็นได้ชัดว่าไม่สนใจว่าอะไรกันแน่ AI จะต้องทำนอกเหนือจากการแสดงพฤติกรรมอัจฉริยะที่เหลือเชื่อ) เราจะกลับมาที่หัวข้อสำคัญนี้ในไม่ช้า

การค้นหาทางปัญญาสำหรับแผนและกลยุทธ์ที่เหมาะสมที่สุดสำหรับเครื่องมือเป็นไปได้ในกรณีที่มีเป้าหมายใด ๆ ความฉลาดและแรงจูงใจอยู่ในมุมฉาก ลองแสดงเป็นแกนพิกัดสองแกนที่กำหนดกราฟซึ่งแต่ละจุดแทนตัวแทนอัจฉริยะที่เป็นไปได้เชิงตรรกะ จริงภาพนี้จะต้องมีคำอธิบายเล็กน้อย

ตัวอย่างเช่น เป็นไปไม่ได้ที่ระบบที่ไม่มีเหตุผลจะมีแรงจูงใจที่ซับซ้อนมากเกินไป เพื่อให้เราสามารถกล่าวได้อย่างสมเหตุสมผลว่าตัวแทนดังกล่าวและตัวแทนดังกล่าว "มี" ชุดของแรงจูงใจเช่นนั้นและเช่นนั้น แรงจูงใจเหล่านี้จะต้องประกอบด้วยระบบที่บูรณาการตามหน้าที่ ร่วมกับกระบวนการตัดสินใจที่กำหนดข้อกำหนดบางประการเกี่ยวกับหน่วยความจำ พลังการประมวลผลและอาจถึงระดับสติปัญญา

ความฉลาดที่สามารถเปลี่ยนแปลงตนเองได้นั้นมีแนวโน้มที่จะแสดงลักษณะทางพลวัตที่จำกัด จากนั้นจะบอกว่า: หากเครื่องคิดที่เรียนรู้ที่จะปรับเปลี่ยนตัวเองประสบกับความปรารถนาอย่างแรงกล้าที่จะกลายเป็นคนโง่อย่างฉับพลัน มันก็จะเลิกเป็นระบบทางปัญญาอย่างรวดเร็ว อย่างไรก็ตาม คำพูดของเราไม่ได้ยกเลิกวิทยานิพนธ์หลักเกี่ยวกับมุมฉากของสติปัญญาและแรงจูงใจ ข้าพเจ้าขอนำเสนอเพื่อพิจารณา

วิทยานิพนธ์มุมฉาก

ความฉลาดและเป้าหมายสูงสุดเป็นแบบมุมฉาก: โดยหลักการแล้วระดับความฉลาดมากหรือน้อยสามารถรวมเข้ากับเป้าหมายสูงสุดที่มากหรือน้อยได้

บทบัญญัตินี้อาจดูขัดแย้งเนื่องจากมีความคล้ายคลึงกันอย่างชัดเจนกับบางข้อแม้ว่าจะเกี่ยวข้องกับ ปรัชญาคลาสสิกแต่ก็ยังทำให้เกิดคำถามมากมาย พยายามทำความเข้าใจวิทยานิพนธ์เกี่ยวกับมุมฉากในแง่ที่แคบลง - แล้วมันก็จะดูน่าเชื่อถือทีเดียว

โปรดทราบว่าวิทยานิพนธ์มุมฉากไม่ได้เกี่ยวกับความมีเหตุผลหรือสติ แต่เกี่ยวกับความฉลาดเท่านั้น ในที่นี้หมายถึงทักษะการพยากรณ์ การวางแผน และการเปรียบเทียบเป้าหมายและวิธีการโดยทั่วไป ประสิทธิภาพการรู้คิดแบบใช้อุปกรณ์กลายเป็นคุณสมบัติที่สำคัญอย่างยิ่งเมื่อเราเริ่มเข้าใจผลที่เป็นไปได้ของการเกิดขึ้นของปัญญาประดิษฐ์ แม้ว่าคำว่า เหตุผล จะถูกใช้ในแง่ที่กีดกันความเป็นเหตุเป็นผลของหน่วยข่าวกรองอัจฉริยะที่นับจำนวนคลิปหนีบกระดาษสูงสุด แต่สิ่งนี้ไม่ได้เป็นการยกเว้นข้อเท็จจริงที่ว่าเขามีความสามารถที่โดดเด่นในการคิดเชิงเครื่องมือ ความสามารถที่จะส่งผลกระทบอย่างมากต่อ โลกของเรา. คาดการณ์ได้ผ่านการออกแบบ ถ้าเราสามารถสันนิษฐานได้ว่าโปรแกรมเมอร์สามารถออกแบบระบบการตั้งเป้าหมายของเอเจนต์อัจฉริยะเพื่อให้มันพยายามอย่างต่อเนื่องเพื่อให้บรรลุเป้าหมายที่ผู้สร้างตั้งไว้ เราก็สามารถคาดการณ์ได้อย่างน้อยหนึ่งอย่างว่า เอเจนต์นี้จะบรรลุเป้าหมาย ยิ่งไปกว่านั้น ยิ่งตัวแทนมีความสมเหตุสมผลมากเท่าใด เขาก็จะยิ่งมีความเฉลียวฉลาดทางปัญญามากขึ้นเท่านั้น ดังนั้น แม้กระทั่งก่อนการสร้างตัวแทน เราสามารถทำนายบางอย่างเกี่ยวกับพฤติกรรมของมันได้ หากเรารู้บางอย่างเกี่ยวกับผู้สร้างและเป้าหมายที่พวกเขากำลังจะตั้งไว้

2. การคาดการณ์ผ่านการสืบทอด หากจิตใจของมนุษย์ทำหน้าที่เป็นต้นแบบของความฉลาดทางดิจิทัลโดยตรง (ซึ่งเป็นไปได้ด้วยการเลียนแบบสมองมนุษย์อย่างเต็มรูปแบบ) แรงจูงใจของต้นแบบของมนุษย์นั้นอาจแฝงอยู่ในความฉลาดทางดิจิทัล เจ้าหน้าที่ดังกล่าวสามารถเก็บบางส่วนไว้ได้แม้ว่าความสามารถทางปัญญาของเขาจะพัฒนาไปมากจนกลายเป็นหน่วยสืบราชการลับ แต่ในกรณีเช่นนี้จะต้องได้รับการดูแล เป้าหมายของเอเจนต์อาจถูกบิดเบือนได้ง่ายในกระบวนการโหลดข้อมูลต้นแบบหรือในระหว่างการประมวลผลและปรับปรุงเพิ่มเติม ความเป็นไปได้ของการพัฒนาดังกล่าวขึ้นอยู่กับการจัดกระบวนการจำลองเอง

3. ความสามารถในการคาดการณ์เนื่องจากการมีอยู่ของสาเหตุเครื่องมือที่มาบรรจบกัน แม้ว่าเราจะไม่ทราบรายละเอียดเกี่ยวกับเป้าหมายสูงสุดของตัวแทน เราก็สามารถสรุปผลบางอย่างเกี่ยวกับเป้าหมายที่เร่งด่วนยิ่งขึ้นได้โดยการวิเคราะห์สาเหตุของเป้าหมายสุดท้ายที่เป็นไปได้ที่หลากหลายในสถานการณ์ที่หลากหลาย ยิ่งความสามารถทางปัญญาของตัวแทนสูงเท่าใด วิธีการพยากรณ์นี้ก็จะยิ่งมีประโยชน์มากขึ้นเท่านั้น เนื่องจากยิ่งตัวแทนฉลาดมากเท่าใด ก็ยิ่งมีโอกาสมากขึ้นที่จะรับรู้ถึงเหตุผลที่แท้จริงสำหรับการกระทำและดำเนินการเพื่อให้บรรลุเป้าหมาย ในสถานการณ์ที่เป็นไปได้ (เพื่อความเข้าใจที่ถูกต้อง ควรสังเกตว่าอาจมีสาเหตุที่ไม่สามารถเข้าถึงได้ในปัจจุบัน ซึ่งเจ้าหน้าที่เองจะค้นพบก็ต่อเมื่อมีระดับสติปัญญาที่สูงมากเท่านั้น ซึ่งจะทำให้พฤติกรรมของเจ้าหน้าที่อัจฉริยะที่คาดการณ์ได้น้อยลง .)

นิค บอสตรอม

นิค บอสตรอม

การข่าวกรอง

เส้นทาง อันตราย กลยุทธ์

บรรณาธิการวิทยาศาสตร์ M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

เผยแพร่โดยได้รับอนุญาตจาก Alexander Korzhenevski Agency

การสนับสนุนทางกฎหมายของสำนักพิมพ์จัดทำโดยสำนักงานกฎหมาย "Vegas-Lex"

* * *

หนังสือเล่มนี้ได้รับการเติมเต็มอย่างดี

Avinash Dixit และ Barry Nalbuff

สตีเฟน สโตรกัซ

คำนำของพันธมิตร

Arkady และ Boris Strugatsky วันจันทร์เริ่มในวันเสาร์

แนวโน้มที่คล้ายกัน - เมื่อการพัฒนาเทคโนโลยีอย่างรวดเร็วไม่เพียง แต่นำไปสู่การสร้างโอกาสใหม่ ๆ แต่ยังสร้างภัยคุกคามที่ไม่เคยมีมาก่อน - เราเห็นในด้านความปลอดภัยของข้อมูล อุตสาหกรรมทั้งหมดของเราเกิดขึ้นและมีอยู่เพียงเพราะการสร้างสรรค์และการกระจายสิ่งมหัศจรรย์จำนวนมาก เช่น คอมพิวเตอร์และอินเทอร์เน็ตสร้างปัญหาที่ไม่อาจจินตนาการได้ในยุคก่อนคอมพิวเตอร์ จากการกำเนิดของเทคโนโลยีสารสนเทศทำให้เกิดการปฏิวัติในการสื่อสารของมนุษย์ รวมถึงถูกใช้โดยอาชญากรไซเบอร์ประเภทต่างๆ และตอนนี้มนุษยชาติค่อยๆ เริ่มตระหนักถึงความเสี่ยงใหม่: วัตถุต่างๆ ในโลกทางกายภาพถูกควบคุมโดยคอมพิวเตอร์และซอฟต์แวร์มากขึ้นเรื่อยๆ ซึ่งมักจะไม่สมบูรณ์ เต็มไปด้วยช่องโหว่และเปราะบาง วัตถุดังกล่าวจำนวนมากขึ้นเชื่อมต่อกับอินเทอร์เน็ต และภัยคุกคามต่อโลกไซเบอร์กำลังกลายเป็นปัญหาด้านความปลอดภัยทางกายภาพอย่างรวดเร็ว และอาจเกิดปัญหาชีวิตและความตาย

ฉันอยากจะจบการแนะนำตัวด้วยคำพูดจากหนังสือ "Man in the System" ของ Mikhail Weller:

เมื่อโปรแกรมสัญชาตญาณที่ถ่ายทอดถูกสร้างขึ้นในหุ่นยนต์และความพึงพอใจของสัญชาตญาณเหล่านี้จะถูกสร้างขึ้นเป็นความต้องการพื้นฐานที่ไม่มีเงื่อนไขและสิ่งนี้จะไปสู่ระดับของการสืบพันธุ์ด้วยตนเอง - หยุดต่อสู้กับการสูบบุหรี่และแอลกอฮอล์ เพราะมันจะเป็นช่วงเวลาที่ดีที่จะดื่มและสูบบุหรี่ต่อหน้าข่านสำหรับพวกเราทุกคน

Evgeny Kaspersky ซีอีโอของ Kaspersky Lab

เรื่องราวของนกกระจอกที่ยังไม่จบ

วันหนึ่ง ระหว่างทำรัง นกกระจอกซึ่งเหน็ดเหนื่อยจากงานหนักมาหลายวัน ได้นั่งพักผ่อนในยามพระอาทิตย์ตกดินและร้องเจี๊ยก ๆ เกี่ยวกับเรื่องนี้

เราตัวเล็กมาก อ่อนแอมาก ลองคิดดูว่าการใช้ชีวิตจะง่ายขึ้นแค่ไหนหากมีนกฮูกเป็นตัวช่วย! นกกระจอกตัวหนึ่งร้องเจี๊ยก ๆ “เธอสร้างรังให้เราได้…”

– อ๊ะ! ตกลงอีก “และดูแลคนชราและลูกไก่ของเรา…”

“และสั่งสอนเราและปกป้องเราจากแมวของเพื่อนบ้าน” คนที่สามกล่าวเสริม

จากนั้น Pastus นกกระจอกตัวโตแนะนำว่า:

- ให้หน่วยสอดแนมบินไปในทิศทางต่างๆ เพื่อค้นหานกเค้าแมวที่ตกจากรัง อย่างไรก็ตาม ไข่ของนกเค้าแมว อีกา หรือแม้แต่ลูกพังพอนจะทำได้ การค้นพบนี้จะกลายเป็นความสำเร็จที่ยิ่งใหญ่ที่สุดของฝูงแกะของเรา! เช่นเดียวกับที่เราพบบน สนามหลังบ้านแหล่งธัญพืชที่ไม่รู้จักหมดสิ้น

นกกระจอกร้องด้วยความตื่นเต้นดีใจว่ามีปัสสาวะ

และมีเพียง Skronfinkle ตาเดียวซึ่งเป็นนกกระจอกที่ขี้กัดกร่อนและมีอารมณ์รุนแรงเท่านั้นที่ดูเหมือนจะสงสัยถึงความเหมาะสมขององค์กรนี้

“เราเลือกเส้นทางหายนะ” เขากล่าวด้วยความมั่นใจ “คุณไม่ควรพิจารณาเรื่องการฝึกและการเลี้ยงนกฮูกอย่างจริงจังเป็นอันดับแรกก่อนที่จะปล่อยให้สิ่งมีชีวิตที่อันตรายเช่นนี้เข้ามาอยู่ในสภาพแวดล้อมของคุณใช่หรือไม่”

“สำหรับฉันแล้วดูเหมือนว่า” พาสตัสพูดกับเขา “ศิลปะการฝึกนกฮูกให้เชื่องไม่ใช่เรื่องง่าย การหาไข่นกฮูกนั้นยากเหมือนนรก เริ่มจากการค้นหากันก่อน หากเราสามารถนำนกเค้าแมวออกมาเราจะคิดถึงปัญหาด้านการศึกษา

- แผนชั่ว! Skronfinkle ร้องอย่างประหม่า

แต่ไม่มีใครฟังเขา ตามทิศทางของปัสทัส ฝูงนกกระจอกก็บินขึ้นไปในอากาศ

เหลือแต่นกกระจอกเท่านั้นที่ตัดสินใจหาวิธีฝึกนกฮูกให้เชื่อง ในไม่ช้าพวกเขาก็รู้ว่า Pastus พูดถูก: งานนี้ยากอย่างเหลือเชื่อ โดยเฉพาะอย่างยิ่งเมื่อไม่มีนกฮูกให้ฝึก อย่างไรก็ตาม นกยังคงศึกษาปัญหาอย่างขะมักเขม้น เพราะกลัวฝูงนกจะกลับมาพร้อมไข่นกเค้าแมวก่อนจะค้นพบความลับในการควบคุมพฤติกรรมของนกเค้าแมว

การแนะนำ

ภายในกะโหลกศีรษะของเรามีสารบางอย่าง ต้องขอบคุณ...

นิค บอสตรอม

ปัญญาประดิษฐ์จะฉลาดกว่าเราในไม่ช้า

เนื่องจากความสามารถในการเรียนรู้ด้วยตนเอง ปัญญาประดิษฐ์จะกลายเป็นปัญญาเหนือชั้น

หน่วยสืบราชการลับจะมีความต้องการและเป้าหมายของตนเอง

หน่วยข่าวกรองจะพยายามใช้คนขัดกับความตั้งใจของพวกเขา

Superintelligence อาจ "ต้องการ" ให้คงอยู่เพียงหน่วยข่าวกรอง

มนุษยชาติต้องเรียนรู้ที่จะควบคุมเทคโนโลยี

Aware แปลว่า ติดอาวุธ

รับรีวิวบทคัดย่อ

จากบทสรุปของหนังสือ คุณจะได้เรียนรู้:

เกี่ยวกับผู้เขียน

อนาคตของการเกิดขึ้นของหน่วยสืบราชการลับ

ความสัมพันธ์ระหว่างสติปัญญาและแรงจูงใจ

วิทยานิพนธ์มุมฉาก

คุณอาจจะสนใจ