Я періодично отримую листи від людей, які після прочитання Accelerando припускають, що я якийсь вогнедишний фанат екстропії, переконаний у неминучості сингулярності і переведення свідомості в цифрову форму до повного захоплення гіків. Я знаходжу це злегка сумним, напевно, настав час розставити всі крапки над i і пояснити, що я думаю насправді.
Коротка версія: Санта-Клаус не існує.
Довга версія:
Я припускаю, що ви читали есе Вернора Вінджа про майбутню технологічну сингулярність (1993), знайомі з концепцій Ганса Моравеця про завантаження свідомості і знаєте Аргумент про симуляцію Ніка Бострома. Якщо ні, припиніть читати прямо зараз і сходіть ознайомтеся з цими концепціями, перш ніж продовжити. Тому що в іншому випадку ви не бачите фундамент, на якому заснована ціла область наукової фантастики, присвячена сингулярності, не кажучи вже про постгуманізм. Також непогано було б ознайомитися з концепцією екстропії і прочитати FAQ з постгуманізму, інакше ви упустите ту важливу соціальну місію, яку несе постгуманізм.
(До речі, дозвольте зауважити, що я не екстропієць, хоча і я був помітний і брав участь в їх онлайнових дискусіях з початку 90-х рр. Я певно не лібертаріанець: економічне лібертаріанство засноване на тому ж обмеженому уявленні людей як раціональних економічних об'єктів, що і класична економічна теорія 19 століття - це радикальне надупрощення людської поведінки. Як і комунізм, лібертаріанство являє собою поверхово всебічну теорію людської поведінки, засновану на некоректних постулатах. Якщо таку модель втілити в життя, то це призведе або до провалу, або до пекельного стану постіндустріального феодалізму).
Так чи інакше...
Я не можу довести, що в майбутньому не станеться різкого сплеску технологій, який призведе до сингулярності, де не поступається людині Штучний Інтелект швидко візьме на себе функції Бога де-факто. Я також не можу довести, що оцифрування свідомості неможливе, або що ми зараз не живемо в історичній «матриці» наших нащадків. Всі ці речі вимагають від мене докази неможливості надзвичайно складних подій, яких ще ніхто не намагався втілити в життя.
Однак, я можу зробити деякі припущення про ймовірність цих подій, і шанси їх не великі.
Перше: надрозумний ШІ малоймовірний, тому що якщо слідувати програмі Вінджа, то він повинен з'явитися з поступового розвитку ШІ людського рівня, але ШІ людського рівня навряд чи з'явиться. Причина в тому, що людський розум є похідним феноменом з людської психології. Розум зумів подолати фільтр еволюції тільки тому, що якимось чином допомагав виживанню людських особин, це було його головне завдання, причина його виникнення та існування. Поліпшення виживаності приматів - не відповідне завдання для машини, або для людей, які хочуть отримати користь від використання такої машини, на розробку якої витрачено так багато часу і зусиль. Нам може і потрібні машини, здатні розуміти і реагувати на наші бажання, але навряд чи нам сподобаються цифрові системи, які хочуть спати 30% часу, бувають ліниві або емоційно нестабільні, а також мають якісь власні бажання.
(Я вже не кажу про купу проблем навколо етичного статусу Штучного Інтелекту. Якщо ми вважаємо, що розумне життя визначається наявністю самосвідомості, то перед створенням розумного ШІ потрібно задатися питанням, які у нього будуть права? Чи є вбивством закриття програмного процесу, які в якомусь сенсі володіє «свідомістю»? Чи можна вважати геноцидом використання генетичних алгоритмів для вдосконалення програмних компонентів, які в результаті такої еволюції отримають свідомість? Існують потужні табу на деякі речі - можливо, вони будуть такими ж зарегульованими і законодавчо обмеженими, як зараз дослідження людських ембріонів. Можливо, суспільству простіше буде заборонити дослідження в області прикордонних станів зародження автономного розуму... щоб випадково не відкрити двері для такого ж нелюдського поводження з самими людьми.
Нам явно сподобаються машини, які роблять людську роботу. Ми бажаємо, щоб комп'ютери сприймали нашу мову, наші бажання і могли розуміти своє завдання з напівнамічення, а не вимагали докладних інструкцій у вигляді списку команд із зазначенням найменших деталей. Але чи хочемо ми, щоб у них була свідомість і воля - це зовсім інше питання. Особисто я не хочу, щоб мій автономний автомобіль сперечався зі мною щодо того, куди ми сьогодні хочемо поїхати. Я не хочу, щоб мій робот-домогосподарка весь час сидів перед телевізором і дивився контактні види спорту або музичні кліпи. І вже точно я не хочу, щоб мене через суд змушували платити за обслуговування покинутого софтверного проекту.
Карл Шредер запропонував одне цікаве рішення для проблеми з самосвідомістю ШІ, яке я використовував в романі «Правило 34». Свідомість схожа на механізм рекурсивного моделювання внутрішніх станів особистості. Для більшості людей воно рефлексивно відбивається в самій людині, але деякі люди з серйозними неврологічними ушкодженнями (через рак або травму) проектують свою свідомість на зовнішні об'єкти. Або вони можуть бути впевнені, що мертві, навіть якщо усвідомлюють, що їхнє тіло фізично жваве і функціонує.
Якщо суб'єкт свідомості принципово не прив'язаний до платформи свідомості, а може бути довільно перенаправлений, то в цьому випадку ми можемо захотіти змусити ШІ фокусуватися виключно на потребах тієї людини, до якої вона прив'язана - іншими словами, їх почуття самосвідомості буде представляти нас, а не себе. Вони будуть представляти наші бажання як свої, без конфлікту зі своїми власними установками. Хоча такий ШІ може випадково поставити під загрозу життя людини, з якою перебуває в симбіозі, це не більш ймовірно, ніж ризик самогубства для звичайної людини. І ймовірність того, що така машина спробує вийти на більш високий рівень інтелекту з іншими параметрами мотивації, не більше, ніж ймовірність того, що ваша права рука раптом перетвориться на мотоцикл і поїде вивчати навколишній світ без вас.
Оцифрування свідомості (uploading)... не можна назвати очевидно неможливою, якщо ви не вірите в дуалізм душі і тіла, згідно з яким свідомість і матерія (фізичне тіло) являють собою дві взаємодоповнюючі і рівні за значенням субстанції. Однак, якщо ми наблизимося до цього в майбутньому, то можна очікувати запеклих теологічних суперечок. Якщо ви думаєте, що громадська дискусія навколо дозволу абортів була занадто спекотною, то почекайте, коли почнеться обговорення безсмертя в цифровому вигляді. Оцифрування свідомості побічно суперечить тезі про існування безсмертної душі і тому являє собою матеріал для спростування тих релігій, які проповідують життя після смерті. Люди, які вірують у життя після смерті, будуть до втрати свідомості відстоювати доктрину, яка говорить, що їхні померлі близькі знаходяться на небесах, а не гниють у землі.
Але навіть якщо оцифрування свідомості можливе і коли-небудь почнеться, як зауважив Ганс Моравець, "Дослідження і колонізація всесвіту очікує нас, але звиклі до Землі люди слабо пристосовані для таких завдань... Уявіть, якби велика частина жителів всесвіту була оцифрована в комп'ютерну мережу - кіберпростір - де такі програми могли б жити, пліч-о-пліч з оцифрованими людськими істотами і супутніми їм емуляціями людських тіл. Людина навряд чи досягла успіху в такому світі. На відміну від витончених конструкцій ШІ, які носяться навколо, здійснюють відкриття і угоди, реконфігурують себе в разі необхідності отримувати дані нового формату, людський розум, який окостенів в симуляції тіла, може тільки спостерігати за цим, аналогічно тому, як водолаз в глибоководному костюмі незграбно повертається серед групи дельфінів-акробатів. Кожна взаємодія зі світом даних потрібно буде спочатку перевести в аналогову форму, щоб його сприйняла наша квазі-фізична істота... Такі маніпуляції збільшують витрати бізнесу, так само як і витрати на апаратуру, яка зводить фізичні симуляції до ментальних абстракцій в мозку оцифрованої людини. Хоча деякі люди зможуть знайти нішу, створюючи унікальні твори мистецтва за допомогою людських органів почуттів, іншим доведеться оптимізувати свої інтерфейси "(" Свині в кіберпросторі ", 1993).
Наш тип свідомого розуму з'явився в результаті еволюції, яка, в свою чергу, визначалася умовами біологічного оточення. Ми не пристосовані для існування в якості безтілесних істот, і ми не можемо ігнорувати на свій страх і ризик гіпотезу біофілії Едварда Вілсона. Я сильно підозрюю, що найскладнішою частиною оцифрування свідомості буде не сама свідомість, а тіло і взаємодія з навколишнім світом.
Переходячи до Аргументу про симуляцію: його теж я не можу спростувати. І у нього є глибокий привабливий аспект, оскільки він обіцяє навіть безбожникам загробне життя до тих пір, поки ігноруються етичні проблеми, пов'язані зі створенням історичних симуляторів. (Чи можна вважати геноцидом створення комп'ютерної «матриці» всього світу і його жителів, якщо його свідомі учасники беруть участь в акті геноциду?). Залишаючи осторонь смутні підозри, що кожен, хто отримає можливість створити історичний симулятор, почне робити людей такими ж примітивними, як він сам, ця концепція могла б бути хорошою основою для постмодерністської хайтек-релігії. На жаль, її можна визнати нефальсифікованою гіпотезою, принаймні, для населення цієї гіпотетичної «матриці» (тобто нас).
Отже, висновки...
Такий мій погляд на сингулярність: нас не чекає ні швидкий зліт, ні повільний, ні якийсь експоненційний ріст у зв'язку з появою ШІ. Що нас чекає, так це все більш послужливі машини, які будуть визначати наше оточення - машини, які відчувають і відповідають на наші потреби «розумно». Але це буде розумність слуги, а не командира, і загроза для нас може виникнути тільки через власні імпульси до саморуйнування.
Ми можемо коли-небудь побачити оцифровку свідомості, але почнеться справжнісінька священна війна до того, як ця оцифровка піде в маси: адже це фактично переворот релігій. Це могло б стати точкою сингулярності, але навіть після отриманої можливості запустити на практиці експеримент з машиною задоволень Нозіка, я не впевнений, що ми зможемо дійсно отримати ці задоволення - вроджена біофілія буде тягнути нас назад в реальний світ або в таку модель «матриці», яка невідлична від реального світу.
Зрештою, гіпотеза «матриці» заснована на тому і припускає, що якщо ми вже живемо в кібернетичному історичному симуляторі (а не в гедонічному уявному експерименті філософа), ми можемо не мати можливості спіткати «справжню» реальність за межею симулятора. Насправді, між цією і тією реальністю може не існувати проходу. У будь-якому випадку, тут ми нічого не здатні довести, поки дизайнери історичного симулятора не будуть такі добрі залишити нам життя після смерті.
Таким чином, в обрізаному вигляді ці три ідеї не дають достатніх підстав для надії на щасливе майбутнє, особливо якщо вони виявляться неправдою або неможливими (нульова гіпотеза). Тому я роблю висновок: навіть не виключаючи цих гіпотез, нерозумно припускати, що вони втіляться в реальність протягом мого життя.
Я закінчив з обчислювальною теологією. Думаю, тепер можна випити!
Про автора: Чарльз Стросс - англійський письменник. Лауреат премій Hugo (2005, 2010), Locus (2006, 2007), Sidewise (2006), Prometheus (2007), Skylark (2008). Має наукові ступені в галузі фармацевтики та інформаційних технологій.
