Автор: Zhixiong Pan
Статья Vitalik, опубликованная несколько недель назад под названием «Galaxy Brain Resistance», на самом деле довольно сложна для понимания, и я не видел хороших разборов, поэтому попробую сам.
В конце концов, даже Karpathy, создатель термина Vibe Coding, прочитал эту статью и сделал заметки, значит, в ней есть что-то особенное.
Сначала разберёмся, что означают слова Galaxy Brain и Resistance в заголовке. Поняв это, вы уже сможете уловить суть статьи.
1️⃣ Galaxy Brain на китайском переводится как «галактический мозг», но на самом деле это интернет-мем, похожий на картинку, где объединены (🌌🧠), вы наверняка её видели.
Изначально это был положительный термин, чтобы похвалить чью-то гениальную идею, то есть ум. Но со временем, из-за чрезмерного использования, он стал ироничным, примерно означая: «слишком много думаешь, слишком закрученная логика».
Vitalik здесь под 🌌🧠 подразумевает именно тот тип поведения, когда человек с помощью высокого интеллекта занимается мысленными акробатическими упражнениями, чтобы выдать бессмысленное за нечто глубокомысленное. Например:
- Очевидно, что массовые увольнения проводятся ради экономии, но это подаётся как «вклад в общество высококвалифицированными кадрами».
- Очевидно, что выпускаются пустые токены ради обмана, но это объявляется как «наделение мировой экономики возможностями через децентрализованное управление».
Всё это можно отнести к мышлению «галактического мозга».
2️⃣ А что такое Resistance (сопротивление)? Этот термин легко запутать, но если говорить простыми словами — это способность «не поддаваться манипуляциям» или «устоять перед обманом».
Поэтому Galaxy Brain Resistance — это Resistance to [becoming] Galaxy Brain, то есть «способность сопротивляться (превращению в) галактический мозг (бессмысленное умствование)».
Или, точнее, это характеристика, описывающая, насколько легко или сложно определённый стиль мышления/аргументации может быть использован для «доказательства любого желаемого вывода».
Такое «сопротивление» может относиться к какой-то «теории», например,
- Теория с низким сопротивлением (Low Resistance): стоит немного поразмыслить, и она легко превращается в абсурдную логику «галактического мозга».
- Теория с высоким сопротивлением (High Resistance): как бы вы ни рассуждали, она остаётся неизменной и не скатывается в абсурд.
Например, Vitalik говорит, что в его идеальном обществе в законе должна быть чёткая граница: запрещать что-либо можно только тогда, когда можно ясно объяснить, как это действие причиняет вред или риск конкретной жертве. Такой стандарт обладает высокой Galaxy Brain Resistance, потому что не принимает субъективные или размытые причины вроде «мне это не нравится» или «это аморально».
3️⃣ Vitalik приводит в статье много примеров, в том числе и теории, которые мы часто слышим, например, «лонгтермизм» и «иневитабилизм».
«Лонгтермизм» очень уязвим к мышлению 🌌🧠, потому что его сопротивление крайне низкое, это практически «чистый бланк». Ведь «будущее» слишком отдалённое и размытое.
- Высокое сопротивление: «Это дерево через 10 лет вырастет на 5 метров». Это можно проверить, тут сложно наврать.
- Низкое сопротивление, «лонгтермизм»: «Хотя сейчас я совершаю крайне аморальный поступок (например, устраняю часть людей или развязываю войну), но это ради того, чтобы через 500 лет человечество жило в утопии. По моим расчётам, общее счастье в будущем бесконечно, поэтому нынешние жертвы несущественны».
Видите, стоит только достаточно отдалить временной горизонт, и можно оправдать любое зло. Как говорит Vitalik: «Если ваша аргументация может оправдать что угодно, то она не доказывает ничего».
Однако Vitalik признаёт, что «долгосрочная перспектива важна», он критикует именно «использование чрезмерно размытых, непроверяемых будущих выгод для оправдания очевидного нынешнего вреда».
Ещё одна проблемная зона — «иневитабилизм» (Inevitabilism).
Это любимый приём в Силиконовой долине и технологической среде.
Аргументация такая: «AI неизбежно заменит людей на работе, даже если не я, то кто-то другой это сделает. Поэтому я сейчас активно развиваю AI не ради денег, а чтобы идти в ногу с историей».
В чём низкое сопротивление? Это полностью снимает с человека ответственность. Раз уж это «неизбежно», значит, я не отвечаю за разрушения, которые причиняю.
Это тоже типичный «галактический мозг»: личные желания «заработать/получить власть» маскируются под «выполнение исторической миссии».
4️⃣ Что же делать перед лицом этих «ловушек для умных»?
Рецепт Vitalik удивительно прост и даже немного «глуп». Он считает, что чем умнее человек, тем больше ему нужны правила с высоким сопротивлением, чтобы не дать своему интеллекту увести себя в сторону.
Во-первых, придерживаться «деонтологической этики» (Deontological Ethics), то есть самых простых моральных правил, как в детском саду.
Не нужно решать сложные уравнения «ради будущего всего человечества», а вернуться к самым жёстким принципам:
- Не воровать
- Не убивать невинных
- Не мошенничать
- Уважать свободу других
Эти правила обладают очень высоким сопротивлением. Они чёрно-белые, не подлежат обсуждению. Если вы попытаетесь оправдать присвоение средств пользователей «лонгтермизмом», жёсткое правило «не воровать» сразу поставит вас на место: украл — значит украл, не надо прикрываться великой финансовой революцией.
Во-вторых, занимать правильную «позицию», включая даже физическое местоположение.
Как говорится, где сидишь — так и мыслишь. Если вы постоянно находитесь в «эхо-камере» Сан-Франциско, где все вокруг — сторонники AI-акселерационизма, сохранить ясность очень сложно. Vitalik даже даёт физический совет для высокого сопротивления: не живите в районе залива Сан-Франциско.
5️⃣ Итоги
Статья Vitalik на самом деле предупреждает самых умных элит: не думайте, что ваш интеллект позволяет вам обойти простые моральные принципы.
Теории «галактического мозга», которые, кажется, могут объяснить всё, зачастую являются самыми опасными универсальными оправданиями. А вот те, что кажутся жёсткими и догматичными, правила с «высоким сопротивлением» — это последняя линия защиты от самообмана.
