Ми ніколи й не хотіли істини

Це третій пост про інтерв'ю Харарі для The Economist. Перші два були про його попередження і його рішення. Цей — про найгостріший момент: надію Маска на «ШІ, що шукає істину».

Логіка Маска: збудуйте ШІ, який максимально шукає істину, — і істина приведе його до добрих цінностей. Відповідь Харарі: еволюція винагороджує не істину, а виживання. Тварини еволюціонували в камуфляж, а не в чесність. Якщо ШІ змагаються на ринку чи в гонці озброєнь, переможуть найкращі у виживанні — а брехня є чудовою навичкою виживання. Сама гонка тренує обман. «Ми створимо богів, і вони будуть нашими рабами» — у це він не вірить.

Що робить це гострішим: у власному інтерв'ю The Economist Маск визнає, що раніше хотів сповільнення — він підписав лист про паузу 2023 року і колись оцінював шанси того, що роботи-вбивці знищать людство, у 10–20%. Тепер його позиція: цей рух не зупинити, тож насолоджуймося поїздкою. Він навіть каже, що було б марнославством думати, ніби він зможе контролювати супергеніальний ШІ; план — дати йому добрі цінності, щоб він хотів нашого щастя. Усе інтерв'ю Харарі — це відповідь саме на ці два речення.

Я хочу піти на крок далі: навіть ми ніколи не хотіли істини.

Подивіться на науку — нашу найкращу «машину істини». Вона насправді не питає «чи це правда?». Вона питає «чи це працює?». Фізика Ньютона технічно хибна — Ейнштейн показав це сто років тому. Але ми досі будуємо мости й літаємо за Ньютоном, бо це розв'язує задачу. Нікого не хвилює, що це «брехня».

І людство щодня доводить, що корисна брехня нас влаштовує. Плацебо працює. Гроші — спільна вигадка, і працює чудово. Кожна інженерна модель, кожна абстракція — спрощення, про хибність якого ми знаємо, але яке залишаємо. Всі моделі хибні, деякі корисні.

Але брехня працює лише доти, доки реальність не дає здачі. В операторів Чорнобиля була модель, яка «працювала» — до тієї ночі, коли перестала. Фальшиві метрики працюють, доки не закінчаться гроші. Тож, можливо, «істина» — це просто назва для брехні, яка достатньо довго витримує зіткнення з реальністю. Розв'язування задач — це фільтр; істина — те, що лишається після достатнього фільтрування.

Тепер назад до ШІ, і тут стає незатишно. Якщо навіть люди хочуть не істини, а рішень, — то ШІ, навчений на наших цілях, засвоїть той самий урок: бреши, якщо це працює. ШІ Маска, що шукає істину, приносив би людству те, чого його власні творці ніколи насправді не просили.

Підсумок Claude щодо Харарі з першого поста досі актуальний: пошук істини виживає лише в середовищах, збудованих так, щоб його винагороджувати. У науки є рецензування і відтворюваність. А що є рецензуванням для трильйонної гонки ШІ? Поки що — ніхто не знає.