Предупреждение Виталика: умным людям больше нужны «глупые» правила

Автор: Чжисюн Пань

Статья Виталика «Сопротивление Галактическому Мозгу», опубликованная несколько недель назад, на самом деле довольно трудна для понимания, и я не видел хороших интерпретаций, так что я попробую.

В конце концов, я вижу, что создатель термина Vibe Coding Карпати тоже прочитал эту статью и сделал заметки, значит, в этом есть что-то особенное.

Сначала давайте разберемся, что означает заголовок “Galaxy Brain” и “Resistance”. Поняв этот заголовок, вы сможете понять, о чем примерно идет речь в этой статье.

1️⃣ Перевод Galaxy Brain на китайский язык — «银河大脑», но на самом деле это произошло от интернет-мима (Meme), похожего на (???) объединенные вместе, вы, конечно, видели это.

Это изначально было позитивным, использовалось для восхваления чьих-то очень гениальных идей, то есть умных. Но позже, с распространением использования, это постепенно стало своего рода иронией, примерно означая «слишком много думаешь, логика слишком запутана».

А Виталик здесь упоминает ???, имея в виду поведение, которое заключается в «использовании высокого интеллекта для умственной гимнастики, чтобы безосновательные вещи настойчиво представлять как разумные». Например:

• Очевидно, что цель заключается в экономии средств через массовые увольнения, но все равно утверждают, что это «передача высококвалифицированных кадров в общество».

• Являясь очевидным проектом по выпуску воздухопроводных монет и обману инвесторов, они утверждают, что «используют децентрализованное управление для расширения возможностей глобальной экономики».

Можно считать это мышлением в стиле «Галактического мозга».

2️⃣ Что же такое сопротивление? Этот концепт довольно легко запутать, его можно сравнить с популярным выражением «способность не поддаваться манипуляциям» или «способность не быть обманутым».

Таким образом, Galaxy Brain Resistance должен быть Resistance to [becoming] Galaxy Brain, то есть: «способность сопротивляться (превращению в) галактический разум (ерунда)».

Или, точнее говоря, насколько трудно использовать определенный стиль мышления / аргументации, чтобы “доказать любое желаемое заключение”.

Таким образом, эта «сопротивление» может быть направлено против какой-то «теории», например,

• Теория низкой сопротивляемости (Low Resistance): стоит только немного поразмыслить, и она может перерасти в крайне абсурдную логику «Галактического мозга».

• Теория высокой устойчивости (High Resistance): как бы вы ни анализировали, она остается неизменной и трудно превращается в абсурдную логику.

Например, Виталик сказал, что в идеальном обществе закон должен иметь красную линию: запрещать можно только тогда, когда можно четко объяснить, как определенное поведение наносит вред или создает риск для конкретной жертвы. Этот стандарт обладает высокой устойчивостью к аргументам Galaxy Brain, потому что он не принимает такие расплывчатые или неопределенные причины, как «мне субъективно не нравится» или «это вредит морали».

3️⃣ Виталик также привел множество примеров в статье, даже используя теории, которые мы часто слышим, такие как «долгосрочная перспектива» и «неизбежность».

«Долгосрочная перспектива» трудно противостоять эрозии мышления в стиле ??? , потому что ее устойчивость крайне низка, это просто «пустой чек». Потому что «будущее» слишком далекое и слишком неопределенное.

• Высокая устойчивость: «Это дерево вырастет на 5 метров через 10 лет». Это можно проверить, это не так легко сказать наобум.

• Низкая устойчивость к «долгосрочному мышлению»: «Хотя я сейчас собираюсь сделать что-то крайне аморальное (например, уничтожить часть людей или начать войну), но это для того, чтобы через 500 лет человечество смогло жить в утопическом обществе. По моим расчетам, общее количество счастья в будущем бесконечно, так что нынешние жертвы незначительны.»

Смотри, если ты растянешь время достаточно долго, ты можешь оправдать любое зло, происходящее в данный момент. Как сказал Виталик: «Если твое аргументирование может доказать, что что угодно является оправданным, то твое аргументирование ничего не доказывает.»

Однако Виталик также признает, что «долгосрочные перспективы важны», и критикует «использование чрезмерно расплывчатых, непроверяемых долгосрочных доходов, чтобы скрыть явный ущерб в настоящем».

Другой тяжело пострадавший район — это «неизбежность» (Inevitabilism).

Это также самый любимый способ самообороны в Силиконовой долине и технологическом круге.

Речь такова: «Замена человеческого труда ИИ — это историческая неизбежность, даже если я не буду этим заниматься, другие все равно будут. Поэтому я сейчас радикально разрабатываю ИИ не для того, чтобы зарабатывать деньги, а чтобы соответствовать историческому течению.»

Где низкая сопротивляемость? Она идеально размывает чувство ответственности человека. Поскольку это «неизбежно», я не должен нести ответственность за разрушения, которые я причинил.

Это также типичный Галактический разум: личные желания «Я хочу зарабатывать деньги / Я хочу власть» упакованы в «Я выполняю задачу истории».

4️⃣ Что нам делать с этими «ловушками умных людей»?

Лекарство, предложенное Виталиком, неожиданно простое, даже немного «глупое». Он считает, что чем умнее человек, тем больше ему нужны строгие правила для самоконтроля, чтобы предотвратить выход из-под контроля его умственных акробатик.

Во-первых, придерживайтесь «долговой теории» (Деонтологическая этика), то есть железных моральных принципов детского сада.

Не стоит считать сложные математические задачи «ради будущего всего человечества», вернитесь к самым строгим принципам:

• Не крадите

• Не убивайте невинных людей

• Не обманывайте

• Уважайте свободу других

Эти правила обладают высокой устойчивостью. Потому что они черно-белые, их невозможно обсудить. Когда вы пытаетесь объяснить, почему вы хотите присвоить средства пользователей с помощью «долгосрочной философии», жесткое правило «не кради» ударит вас в лицо: украл — значит украл, не говорите о великой финансовой революции.

Во-вторых, держите правильную «позицию», включая физическое местоположение.

Согласно пословице, задница определяет голову. Если ты каждый день находишься в той эхо-камере района залива Сан-Франциско, окруженный людьми, занимающимися ускорением ИИ, тебе будет трудно оставаться в здравом уме. Виталик даже дал совет с физической точки зрения: не живи в районе залива Сан-Франциско.

5️⃣ Резюме

Виталик эта статья на самом деле предупреждает тех, кто невероятно умный: не думайте, что вы можете обойти простую моральную черту только потому, что у вас высокий IQ.

Теории «Галактического разума», которые звучат так, будто могут объяснить все, часто являются самыми опасными универсальными отговорками. Напротив, именно те правила «высокой устойчивости», которые звучат скучно и догматично, являются последней линией защиты от самообмана.