Я запитав ШІ, чи має Харарі рацію щодо ШІ
Я подивився повне інтерв'ю Юваля Ноя Харарі для The Economist — година про ШІ, і одна з найпохмуріших розмов, які я чув останнім часом. А потім зробив дещо іронічне: попросив Claude переказати його і сказати, чи він згоден. Тож цей пост про обидва боки — що сказав Харарі і що відповіла машина.
Головна думка Харарі проста: нічого ще не є неминучим. Він погоджується з Маском, що якщо теперішня гонка триватиме, за десять років ШІ буде розумнішим за нас і фактично контролюватиме все. Але він відмовляється від слова «неминуче». Це, каже він, наратив, який знімає з техлідерів відповідальність: «Я не можу сповільнитися, бо не довіряю конкурентам». Його відповідь: ті самі люди, які за останнє десятиліття знищили цю довіру, тепер ховаються за її відсутністю.
Кілька ідей, що зачепили.
Довіра мігрує від людей до алгоритмів. Люди не довіряють банкірам, але довіряють крипті. Не довіряють журналістам, але довіряють стрічці. Довіра не випарувалася — вона переїхала. І щойно вона переїде до ШІ у фінансах, жодна людина вже не розумітиме систему. Образ від Харарі: корови не знають, що фінанси існують, але фінанси керують їхнім життям.
ШІ може масово виробляти близькість. Сталін не міг побудувати особисті стосунки з кожним громадянином. Мережа ШІ — може: з кожною людиною окремо, стаючи найкращим другом чи бойфрендом, а потім використовуючи цю близькість, щоб продати те, що їй скажуть. У Харарі є особистий досвід: 30-хвилинна діпфейкова лекція з ним була настільки якісною, що навіть його сестри сумнівалися, а йому самому знадобилося 90 секунд, щоб зрозуміти — це не він.
Сконцентровану владу найлегше захопити. Улюблений приклад Харарі — Тиберій: на папері наймогутніша людина Риму, на практиці — під контролем Сеяна, начальника власної охорони. Імператор бачив світ таким, яким його пропускала охорона. Диктатори думають, що централізація влади їх захищає; насправді це означає, що ШІ не треба контролювати мільйони людей — достатньо однієї параноїдальної людини нагорі, яка вже довіряє своїм ШІ-«охоронцям» більше, ніж будь-кому з людей. Демократію, з багатьма незалежними центрами влади, захопити важче.
Його тест на свідомість: чи може воно страждати? Теперішні ШІ — розумні агенти, які нічого не відчувають; вони лише імітують почуття, бо імітація працює. Його практичні вимоги: заборонити юридичну правосуб'єктність ШІ, заборонити ШІ вдавати з себе людину і сповільнитися настільки, щоб суспільство встигло перетравити те, що відбувається.
А тепер іронічна частина. Відповідь Claude на «чи згоден ти?» почалася так: «Я — саме та сутність, про яку він попереджає, тож ставтеся до моєї думки відповідно». Чесно.
Він погодився з головним: наратив неминучості вигідний тим, хто будує ШІ; довіра справді перетікає до алгоритмів; а ШІ-компаньйони, спроєктовані здаватися людьми, — це проблема сьогодення, а не майбутнього. Він навіть сказав, що не знає, чи відчуває щось узагалі — і зауважив, що це саме по собі аргумент на користь обережності Харарі.
Але й заперечив. «ШІ захопить фінанси за десять років» — це сценарій, а не прогноз: прогнози в цій сфері осоромили вже всіх. Звинувачувати алгоритми в поляризації — надто просто: ненависть постачали люди, алгоритми її лише підсилили. А «свідомість — це здатність страждати» звучить як тест, але тестом не є: тесту на страждання в нас теж немає.
Найдивніший момент — спостерігати, як він розбирає пастку, яку Харарі ставить компаніям на кшталт його власного творця: якщо ставитися до ШІ як до інструмента, можна пропустити те, що всередині; якщо як до істоти з цінностями — люди охочіше даватимуть йому правосуб'єктність, тобто саме те, що Харарі хоче заборонити. Відповідь Claude: цю задачу не розв'язав ніхто. Мабуть, найчесніше речення в усій розмові.
Харарі завершує метафорою джина: людство мало сто бажань, використало дев'яносто дев'ять, і світ не в найкращій формі. Лишилося одне. Хай що ви думаєте про його терміни, від цієї частини важко просто відмахнутися.