Во многих случаях еще один способ исследования - сделать простой механизм правилами игры, сделать ИИ игроком.
Оригинальное название: "ИИ как двигатель, люди как руль"
Написал: Виталик, основатель Ethereum
Составитель: Байшуй, Золотые финансы
Если спросить у людей, что им нравится в демократической структуре, будь то правительство, рабочее место или DAO на основе блокчейна, вы часто услышите одинаковые доводы: они избегают централизации власти, они обеспечивают сильные гарантии для пользователей, потому что никто не может произвольно изменить направление системы, и они способны принимать более качественные решения, опираясь на мнения и мудрость многих людей.
Если спросить у людей, что именно им не нравится в демократической структуре, они часто выскажут одни и те же жалобы: обычные избиратели недостаточно опытны, потому что у каждого избирателя есть лишь маленький шанс повлиять на результаты, мало кто избирателей придает высококачественное размышление принятию решений, и часто возникает низкая степень участия (что делает систему уязвимой для атак) или фактическая централизация, потому что каждый по умолчанию доверяет и повторяет точки зрения влиятельных людей.
Цель этой статьи - исследовать парадигму, возможно, с использованием искусственного интеллекта, чтобы мы могли извлечь пользу из демократических структур без отрицательных последствий. "ИИ - это двигатель, а человек - руль". Человек предоставляет системе только небольшое количество информации, возможно, всего несколько сотен, но они все тщательно продуманы и высокого качества. ИИ рассматривает эти данные как "целевую функцию" и беспрестанно принимает множество решений, стараясь максимально достичь этих целей. В частности, в этой статье будет рассмотрен интересный вопрос: можем ли мы сделать это без централизации отдельного ИИ, а полагаясь на конкурентный открытый рынок, в который свободно могут вступать любые ИИ (или гибриды человека и машины)?
!
Содержание
Почему бы не позволить ИИ прямо управлять им?
Футархия
Дистилляция человеческого суждения
Глубокое финансирование (Deep funding)
Увеличение конфиденциальности
Преимущества дизайна двигателя + руля
Почему бы просто не позволить ИИ позаботиться об этом?
Самый простой способ внедрить предпочтения людей в механизм на основе искусственного интеллекта - создать модель и позволить людям вводить свои предпочтения каким-либо образом. Существует простой способ сделать это: вам просто нужно поместить текстовый файл с инструкциями для персонала в системное приглашение. Затем вы можете использовать один из множества "фреймворков искусственного интеллекта", чтобы предоставить ИИ доступ к Интернету, передав ему ключи к вашим активам и социальным медиа данным, и вы завершили задачу.
После нескольких итераций это, вероятно, будет достаточно для удовлетворения запросов многих случаев использования, и я полностью ожидаю, что в ближайшем будущем мы увидим множество структур, связанных с AI, которые выполняют команды, предоставленные группой для чтения (даже в реальном времени читая групповой чат) и принимают меры.
Эта структура не является идеальным механизмом управления для долгосрочных учреждений. Одним из ценных свойств, которым должно обладать долгосрочное учреждение, является доверие и нейтралитет. В моей статье, посвященной этому понятию, я перечислил четыре ценных свойства доверия и нейтралитета.
Не включайте конкретных людей или конкретные результаты в механизм
Открытое и проверяемое публично исполнение
Сделайте это просто
Не часто менять
LLM (или AI-агент) удовлетворяет 0/4. Эта модель неизбежно кодирует большое количество конкретных предпочтений людей и результатов в процессе своего обучения. Иногда это может привести к удивительным предпочтениям ИИ, например, недавнее исследование показало, что основной LLM больше ценит жизнь в Пакистане, чем в США (!!!). Он может быть открытым по весу, но это далеко не open source; мы действительно не знаем, что скрывает в себе эта модель глубоко внутри. Она противоположна простоте: Колмогорова сложность LLM составляет несколько миллиардов бит, что примерно равно сумме всех законов США (федеральных + штатов + местных). И из-за быстрого развития ИИ вам придется менять его каждые три месяца.
По этой причине еще один подход, который я бы предпочел изучить во многих случаях использования, заключается в том, чтобы простая механика была правилами игры, а ИИ — игроком. Именно это понимание делает рынок таким эффективным: правила — это относительно глупая система прав собственности, маргинальные дела решаются судебной системой, которая медленно накапливает и корректирует прецеденты, а вся информация исходит от предпринимателей, работающих «на периферии».
!
Отдельным "игроком" может быть LLM, группа LLM, взаимодействующая и вызывающая различные Интернет-сервисы, различные комбинации ИИ + человека и многие другие конструкции; в качестве конструктора механизмов вам не нужно знать. Идеальная цель - иметь механизм, который может работать автоматически - если цель механизма - выбрать, что финансировать, то он должен быть как можно ближе к награде за блок биткойна или эфира.
Преимущества этого метода:
Он избегает включения любой одной модели в механизм; вместо этого вы получите открытый рынок, состоящий из множества разных участников и архитектур, у каждого из которых есть свои собственные предвзятости. Открытые модели, закрытые модели, агентские группы, смеси людей и искусственного интеллекта, роботы, бесконечные обезьяны и т. д. - это все справедливые игры; этот механизм не дискриминирует никого.
Этот механизм является открытым. Игроки - нет, но игра - открытая, и это уже довольно хорошо понятная модель (например, партии и рынки работают таким образом)
Механизм прост, поэтому у разработчиков механизмов относительно мало способов закодировать свои собственные предубеждения в дизайне
Этот механизм не изменится, даже если архитектура участников базового уровня будет переработана каждые три месяца с начала до Сингулярности.
Механизм руководства должен точно отражать основные цели участников. Он должен предоставлять минимальное количество информации, но эта информация должна быть высокого качества.
Этот механизм можно рассматривать как использование асимметрии между предложением ответа и его проверкой. Это похоже на судоку, которое трудно решить, но легко проверить правильность решения. Вы (i) создать открытую торговую площадку для игроков, чтобы они могли выступать в качестве «решателей проблем», а затем (ii) поддерживать управляемый человеком механизм для выполнения гораздо более простой задачи проверки предлагаемого решения.
Футархия
Futarchy было первоначально предложено Робином Хэнсоном и означает «голосуй за ценность, но ставь за веру». Механизм голосования выбирает набор целей (которые могут быть любыми, но только в том случае, если они должны быть измеримыми), а затем объединяет их в метрику M. Когда вам нужно принять решение (предположим, что ДА/НЕТ для простоты), вы устанавливаете условный рынок: вы просите людей сделать ставку на то, выберете ли (i) ДА или НЕТ, (ii) если вы выберете ДА, значение М, в противном случае равно нулю, (iii) Значение M, если выбрано NO, в противном случае оно равно нулю. С помощью этих трех переменных вы можете определить, считает ли рынок, что «ДА» или «НЕТ» более благоприятно для значения М.
!
"Цена акций компании" (или, в случае криптовалюты, цена токена) - самый часто используемый показатель, потому что он легко понимается и измеряется, но этот механизм может поддерживать различные показатели: активные пользователи в месяц, медианное самооценка счастья некоторых групп, некоторые измеримые децентрализованные показатели и т. д.
Futarchy был изначально изобретен до эпохи искусственного интеллекта. Однако Futarchy естественным образом соответствует парадигме "сложные решатели, простые проверяющие", описанной в предыдущем разделе, и в Futarchy участниками торгов могут быть как искусственный интеллект (или комбинация человека и искусственного интеллекта). Роль "решателя" (участника прогнозного рынка) заключается в определении, как каждое предложение плана повлияет на будущую стоимость показателей. Это довольно сложно. Если решатель прав, он зарабатывает деньги, если ошибается - теряет. Проверяющие (люди, голосующие за показатели, которые, если замечают, что показатели "манипулируются" или устарели, корректируют их и определяют реальное значение показателей в определенный момент в будущем) должны ответить на более простой вопрос: "Каково текущее значение этого показателя?"
Стимулирование человеческого суждения
Дистилляция человеческих суждений — это класс механизмов, которые работают следующим образом. Есть масса (думаю: 1 миллион) вопросов, на которые нужно ответить. К естественным примерам относятся:
Сколько баллов должен получить каждый человек из этого списка за свой вклад в проект или задачу?
Какие из этих комментариев нарушают правила социальной медиа-платформы (или подсайта)?
Какие из предоставленных адресов Ethereum представляют реальных и уникальных людей?
Какие из этих физических объектов вносят положительный или отрицательный вклад в эстетику своего окружения?
У вас есть команда, которая может ответить на эти вопросы, но за это придется затратить много усилий на каждый ответ. Вы можете попросить команду ответить на небольшое количество вопросов (например, если в общем списке 1 000 000 пунктов, команда может ответить только на 100 из них). Вы даже можете задавать команде косвенные вопросы: не спрашивайте "Какую часть общего кредита должна получить Алиса?", а спрашивайте "Должны ли Алиса или Боб получить больше кредита, и во сколько раз?" При проектировании механизма присяжных вы можете использовать проверенные механизмы из реального мира, такие как комитет по выделению средств, суды (определение стоимости судебного решения), оценка и т. д. Конечно, участники присяжных могут также использовать новаторские инструменты исследований искусственного интеллекта, чтобы помочь им найти ответы.
Затем вы разрешаете любому пользователю представить список числовых ответов на весь набор вопросов (например, предоставить оценку того, сколько баллов должен получить каждый участник за весь список). Участникам предлагается использовать искусственный интеллект для выполнения этой задачи, но они могут использовать любую технологию: искусственный интеллект, человеко-машинный гибрид, искусственный интеллект, который имеет доступ к поиску в Интернете и способен автономно нанимать других людей или работников искусственного интеллекта, кибернетически улучшенных обезьян и т. д.
После того, как и составитель полного списка, и присяжный заседатели представили свои ответы, полный список сверяется с ответами присяжных, и определенная комбинация полного списка, наиболее совместимая с ответами присяжных, используется в качестве окончательного ответа.
Человеческий механизм дистилляции отличается от механизма футархии, но есть некоторые важные сходства:
В футархии «решатель» делает прогнозы, а «реальные данные», на которых основаны его прогнозы (используемые для поощрения или наказания решателя), являются оракулом, который выводит значение индикатора, управляемого жюри.
В человеческом мнении, 'расчетчики' будут предоставлять ответы на большое количество вопросов, и 'истинные данные', на которые они опираются для своих прогнозов, представляют собой лишь небольшую часть высококачественных ответов, предоставленных жюри.
!
Пример игрушечного учебника для распределения кредита на основе человеческого суждения, пожалуйста, ознакомьтесь с кодом Python здесь. Сценарий требует, чтобы вы выступали в качестве присяжного и включали в себя полный список предварительно сгенерированных (и человеческих) ответов, включенных в код. Этот механизм идентифицирует линейную комбинацию полного списка ответов, наилучшим образом соответствующую ответам присяжных. В этом случае победительная комбинация - ответ Клода на 0,199 + ответ Deepseek на 0,801; эта комбинация лучше подходит для ответов присяжных, чем любая отдельная модель. Эти коэффициенты также будут наградой для участников.
В этом примере "победа над Сореном" аспект "человек как руль" проявляется в двух аспектах. Во-первых, каждая проблема решается с использованием высококачественного человеческого суждения, хотя это все еще использует жюри в качестве "технократических" оценщиков производительности. Во-вторых, есть неявный механизм голосования, определяющий, является ли "победа над Сореном" правильной целью (а не, скажем, попытка союза с Сореном или передача ему всей территории к востоку от какой-то ключевой реки в качестве мирного уступка). Существуют и другие примеры человеческого решения, где задачи жюри более прямо связаны со значениями: например, представьте себе децентрализованную социальную платформу (или подсайт), задача жюри которой состоит в том, чтобы пометить случайно выбранные форумные сообщения как соответствующие или не соответствующие правилам сообщества.
В парадигме оценки человеческого суждения существуют некоторые открытые переменные:
Как проводить выборочное обследование? Роль предоставления полного списка ответов состоит в том, чтобы предоставить большое количество ответов; роль жюри - предоставить высококачественные ответы. Нам нужно выбирать жюри таким образом и задавать им вопросы таким образом, чтобы способность модели соответствовать ответам жюри максимально отражала их общую производительность. Некоторые факторы, которые следует учитывать, включают:
Баланс между профессиональными знаниями и предвзятостью: опытные эксперты обычно специализируются в своей области, поэтому если позволить им выбирать контент для оценки, вы получите более качественные данные. С другой стороны, избыток выбора может привести к предвзятости (эксперты могут быть предвзяты в отношении контента, связанного с ними), или к недостаткам выборки (некоторый контент систематически остается без оценки).
Фрэнк Гудхарт: Будет контент, который попытается «играть» с механизмами искусственного интеллекта, например, участники будут создавать огромное количество впечатляющего, но бесполезного кода. Это означает, что жюри сможет обнаружить это, но статические модели искусственного интеллекта не смогут обнаружить это, если они не приложат усилий. Одним из возможных способов выявления такого поведения является добавление вызова, через который люди могут пометить такие попытки, обеспечивая оценку жюри (что мотивирует разработчиков искусственного интеллекта гарантировать их правильное выявление). Если жюри согласится, жалующийся получит награду, если жюри не согласится, придется заплатить штраф.
Какую функцию оценки вы используете? Одна из идей, используемых в текущем пилотном проекте по глубокому финансированию, заключается в том, чтобы спросить у присяжных «A или B должны получить больше кредита и насколько?». Функция оценки имеет вид score(x) = sum((log(x[B]) - log(x[A]) - log(juror_ratio)) ** 2 для (A, B, juror_ratio) в jury_answers): другими словами, для каждого ответа жюри оно будет спрашивать, насколько далеко отношение в полном списке отношений относительно отношения, предоставленного присяжным, и добавлять штраф, пропорциональный квадрату расстояния (в логарифмическом пространстве). Это сделано для того, чтобы показать, что пространство проектирования функции оценки очень обширно, и выбор функции оценки зависит от выбора вопросов, которые вы задаете присяжным.
Как вы награждаете тех, кто предоставляет полные списки? В идеальном случае вы хотели бы часто давать ненулевую награду нескольким участникам, чтобы избежать монопольного механизма, но вы также хотели бы удовлетворить следующие свойства: участники не могут увеличить награду, представляя несколько раз одинаковые (или слегка измененные) наборы ответов. Один из возможных способов - непосредственное вычисление линейной комбинации полного списка ответов, наилучшим образом соответствующих ответам жюри (с коэффициентами, неотрицательными и в сумме равными 1), и использование этих же коэффициентов для разделения награды. Возможны и другие методы.
В целом, цель состоит в том, чтобы взять механизмы человеческих суждений, которые, как известно, работают, сведены к минимуму предвзятости и выдержали испытание временем (например, представьте, что состязательная структура судебной системы включает в себя две стороны спора, которые обладают большим количеством информации, но предвзяты, и судью, который обладает небольшим количеством информации, но может не быть предвзятым), и использовать открытый рынок ИИ в качестве достаточно точного и очень недорогого предиктора этих механизмов (аналогично тому, как работает модель великого пророчества «дистилляция»).
Глубокое финансирование (глубокое финансирование)
Глубокое финансирование - это применение суждения, истолкованного человеком, к проблеме веса на вершине графика, которая заполняет вопрос о том, какой процент кредита X принадлежит Y?
Самым простым способом будет просто привести пример:
!
Пример вывода двухуровневого глубокого финансирования: истоки мысли об Ethereum. Пожалуйста, просмотрите здесь код Python.
Здесь целью является награда за философский вклад в Ethereum. Давайте посмотрим на пример:
Показанный здесь моделируемый раунд глубокого финансирования приписывает 20.5% заслуг киберпанк-движению и 9.2% заслуг технологическому прогрессивизму.
На каждом узле у вас возникает вопрос: насколько это оригинальный вклад (и, следовательно, заслуживающий заслуги), насколько это пересмотр верхнего потока данных? Для киберпанк движения 40% нового, 60% зависимости.
Затем вы можете увидеть влияние этих узлов: либертарианский малый правительственный и анархический подходы приносят криптопанк движению 17.3% заслуг, в то время как прямая демократия Швейцарии получает всего 5%.
Обратите внимание, однако, что либеральное мелкое правительство и анархизм также вдохновили денежную философию Биткойна, поэтому они повлияли на философию Эфириума двумя способами.
Чтобы рассчитать общую долю вклада либерального малого правительства и анархизма в Ethereum, вам нужно перемножить ребра на каждом пути, а затем сложить пути вместе: 0,205 * 0,6 * 0,173 + 0,195 * 0,648 * 0,201 ~= 0,0466. Таким образом, если бы вам пришлось пожертвовать 100 долларов, чтобы вознаградить всех тех, кто внес свой вклад в философию Ethereum, либеральные мелкие правительственники и анархисты получили бы 4,66 доллара в соответствии с этим смоделированным раундом глубокого финансирования.
Этот метод предназначен для областей, где работа ведется на основе предыдущей работы и имеет очень четкую структуру. Академическая среда (подумайте: цитирование графиков) и открытое программное обеспечение (подумайте: зависимости библиотек и ветвления) являются двумя естественными примерами.
Цель хорошо работающей системы глубокого финансирования - создать и поддерживать глобальный график, чтобы любой спонсор, заинтересованный в поддержке определенного проекта, мог отправить средства на адрес, представляющий этот узел, и средства будут автоматически распространяться в соответствии с весом ребра графа до его зависимостей (и рекурсивно до их зависимостей и т. д.).
Вы можете представить себе децентрализованный протокол, который использует встроенное устройство глубокого финансирования для выпуска своих токенов: децентрализованное управление внутри протокола выберет жюри, которое запустит механизм глубокого финансирования, поскольку протокол автоматически выпускает токены и депонирует их в соответствующие ему узлы. Таким образом, протокол программно вознаграждает всех своих прямых и косвенных участников, напоминая о том, как вознаграждение за блок Биткойна или Эфириума вознаграждает один конкретный тип вкладчиков (майнеров). Влияя на вес граней, жюри может постоянно определять, какой вклад оно ценит. Этот механизм может служить децентрализованной и долгосрочной устойчивой альтернативой майнингу, продаже или разовым аирдропам.
Повышенная конфиденциальность
В целом, чтобы правильно судить о вопросах в приведенных выше примерах, вам необходимо иметь доступ к личной информации: внутренним журналам чатов вашей организации, сообщениям, тайно отправленным членами сообщества, и так далее. Одно из преимуществ использования только одного ИИ, особенно в небольших средах, заключается в том, что для одного ИИ более приемлемо получить доступ к информации, чем предоставить ее всем.
Для того чтобы обеспечить действие человеческого усмотрения или глубокой поддержки в этих случаях, мы можем попробовать безопасно использовать криптографические технологии для предоставления искусственному интеллекту доступа к личной информации. Эта идея заключается в использовании многопартийных вычислений (MPC), полностью гомоморфного шифрования (FHE), доверенной исполнительной среды (TEE) или подобных механизмов для предоставления личной информации, однако только в том случае, если единственным результатом является механизм прямого ввода в «полный список подтверждений».
Если вы это сделаете, то вам придется ограничить набор механизмов моделями ИИ (не людьми или комбинациями ИИ + человек, потому что вы не можете заставить людей видеть данные) и специфичными для моделей, которые работают на какой-то конкретной подложке (например, MPC, FHE, доверенное оборудование). Одним из основных направлений исследований является поиск практических вариантов, которые будут достаточно эффективны и значимы в ближайшем будущем.
Преимущества дизайна двигателя + руля
Такой дизайн имеет множество ожидаемых преимуществ. На сегодняшний день самым важным преимуществом является то, что они позволяют создавать DAO, позволяя человеческим избирателям контролировать направление, но их не преследует избыток решений. Они достигли компромисса, где каждому не нужно принимать N решений, но их власть заключается не только в принятии одного решения (как обычно работает делегирование), но и в том, чтобы вызвать сложные предпочтения, которые сложно прямо выразить.
Кроме того, такой механизм, по-видимому, обладает свойством сглаживания поощрений. Под "сглаживанием поощрений" я имею в виду комбинацию двух факторов:
• Распространение: Любое отдельное действие, предпринятое механизмом голосования, не окажет непропорционального воздействия на интересы какого-либо отдельного участника.
Хаос: связь между голосованием и его влиянием на интересы участников становится более сложной и трудно вычислимой.
Термины «обфускация» и «диффузия» взяты из криптографии, которая является ключевым свойством криптографической безопасности и безопасности хеш-функций.
В настоящем мире одним из хороших примеров стимулирования является правовое государство: власти не регулярно предпринимают действия вроде 'дать компании Алисы 200 миллионов долларов', 'оштрафовать компанию Боба на 100 миллионов долларов', а вместо этого применяют правила, которые должны быть равномерно применены к большому количеству участников, после чего они будут интерпретированы другими участниками. Когда этот подход работает, его преимущество заключается в значительном снижении коррупции и других форм коррупции. Когда он нарушается (что происходит часто на практике), эти проблемы быстро усугубляются.
Очевидно, что ИИ станет важной частью будущего, и он неизбежно станет важной частью будущего управления. Однако, если вы вовлекаете ИИ в управление, существуют очевидные риски: ИИ предвзят, его можно намеренно подорвать во время обучения, а технология ИИ развивается так быстро, что «поставить ИИ у власти» на самом деле может означать «поставить на себя ответственность за модернизацию ИИ». Дистиллированное человеческое суждение предлагает альтернативный путь вперед, позволяя нам использовать возможности ИИ в открытой, свободной рыночной манере, сохраняя при этом демократию, контролируемую человеком.
Особая благодарность за обратную связь и рецензии Devansh Mehta, Davide Crapis и Julian Zawistowski, а также за обсуждения с Тиной Чжэн, Шоу Уолтерс и другими.
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Виталик Новый текст: новая парадигма управления будущим «AI двигатель + человеческое рулевое управление»
Оригинальное название: "ИИ как двигатель, люди как руль"
Написал: Виталик, основатель Ethereum
Составитель: Байшуй, Золотые финансы
Если спросить у людей, что им нравится в демократической структуре, будь то правительство, рабочее место или DAO на основе блокчейна, вы часто услышите одинаковые доводы: они избегают централизации власти, они обеспечивают сильные гарантии для пользователей, потому что никто не может произвольно изменить направление системы, и они способны принимать более качественные решения, опираясь на мнения и мудрость многих людей.
Если спросить у людей, что именно им не нравится в демократической структуре, они часто выскажут одни и те же жалобы: обычные избиратели недостаточно опытны, потому что у каждого избирателя есть лишь маленький шанс повлиять на результаты, мало кто избирателей придает высококачественное размышление принятию решений, и часто возникает низкая степень участия (что делает систему уязвимой для атак) или фактическая централизация, потому что каждый по умолчанию доверяет и повторяет точки зрения влиятельных людей.
Цель этой статьи - исследовать парадигму, возможно, с использованием искусственного интеллекта, чтобы мы могли извлечь пользу из демократических структур без отрицательных последствий. "ИИ - это двигатель, а человек - руль". Человек предоставляет системе только небольшое количество информации, возможно, всего несколько сотен, но они все тщательно продуманы и высокого качества. ИИ рассматривает эти данные как "целевую функцию" и беспрестанно принимает множество решений, стараясь максимально достичь этих целей. В частности, в этой статье будет рассмотрен интересный вопрос: можем ли мы сделать это без централизации отдельного ИИ, а полагаясь на конкурентный открытый рынок, в который свободно могут вступать любые ИИ (или гибриды человека и машины)?
!
Содержание
Почему бы просто не позволить ИИ позаботиться об этом?
Самый простой способ внедрить предпочтения людей в механизм на основе искусственного интеллекта - создать модель и позволить людям вводить свои предпочтения каким-либо образом. Существует простой способ сделать это: вам просто нужно поместить текстовый файл с инструкциями для персонала в системное приглашение. Затем вы можете использовать один из множества "фреймворков искусственного интеллекта", чтобы предоставить ИИ доступ к Интернету, передав ему ключи к вашим активам и социальным медиа данным, и вы завершили задачу.
После нескольких итераций это, вероятно, будет достаточно для удовлетворения запросов многих случаев использования, и я полностью ожидаю, что в ближайшем будущем мы увидим множество структур, связанных с AI, которые выполняют команды, предоставленные группой для чтения (даже в реальном времени читая групповой чат) и принимают меры.
Эта структура не является идеальным механизмом управления для долгосрочных учреждений. Одним из ценных свойств, которым должно обладать долгосрочное учреждение, является доверие и нейтралитет. В моей статье, посвященной этому понятию, я перечислил четыре ценных свойства доверия и нейтралитета.
LLM (или AI-агент) удовлетворяет 0/4. Эта модель неизбежно кодирует большое количество конкретных предпочтений людей и результатов в процессе своего обучения. Иногда это может привести к удивительным предпочтениям ИИ, например, недавнее исследование показало, что основной LLM больше ценит жизнь в Пакистане, чем в США (!!!). Он может быть открытым по весу, но это далеко не open source; мы действительно не знаем, что скрывает в себе эта модель глубоко внутри. Она противоположна простоте: Колмогорова сложность LLM составляет несколько миллиардов бит, что примерно равно сумме всех законов США (федеральных + штатов + местных). И из-за быстрого развития ИИ вам придется менять его каждые три месяца.
По этой причине еще один подход, который я бы предпочел изучить во многих случаях использования, заключается в том, чтобы простая механика была правилами игры, а ИИ — игроком. Именно это понимание делает рынок таким эффективным: правила — это относительно глупая система прав собственности, маргинальные дела решаются судебной системой, которая медленно накапливает и корректирует прецеденты, а вся информация исходит от предпринимателей, работающих «на периферии».
!
Отдельным "игроком" может быть LLM, группа LLM, взаимодействующая и вызывающая различные Интернет-сервисы, различные комбинации ИИ + человека и многие другие конструкции; в качестве конструктора механизмов вам не нужно знать. Идеальная цель - иметь механизм, который может работать автоматически - если цель механизма - выбрать, что финансировать, то он должен быть как можно ближе к награде за блок биткойна или эфира.
Преимущества этого метода:
Механизм руководства должен точно отражать основные цели участников. Он должен предоставлять минимальное количество информации, но эта информация должна быть высокого качества.
Этот механизм можно рассматривать как использование асимметрии между предложением ответа и его проверкой. Это похоже на судоку, которое трудно решить, но легко проверить правильность решения. Вы (i) создать открытую торговую площадку для игроков, чтобы они могли выступать в качестве «решателей проблем», а затем (ii) поддерживать управляемый человеком механизм для выполнения гораздо более простой задачи проверки предлагаемого решения.
Футархия
Futarchy было первоначально предложено Робином Хэнсоном и означает «голосуй за ценность, но ставь за веру». Механизм голосования выбирает набор целей (которые могут быть любыми, но только в том случае, если они должны быть измеримыми), а затем объединяет их в метрику M. Когда вам нужно принять решение (предположим, что ДА/НЕТ для простоты), вы устанавливаете условный рынок: вы просите людей сделать ставку на то, выберете ли (i) ДА или НЕТ, (ii) если вы выберете ДА, значение М, в противном случае равно нулю, (iii) Значение M, если выбрано NO, в противном случае оно равно нулю. С помощью этих трех переменных вы можете определить, считает ли рынок, что «ДА» или «НЕТ» более благоприятно для значения М.
!
"Цена акций компании" (или, в случае криптовалюты, цена токена) - самый часто используемый показатель, потому что он легко понимается и измеряется, но этот механизм может поддерживать различные показатели: активные пользователи в месяц, медианное самооценка счастья некоторых групп, некоторые измеримые децентрализованные показатели и т. д.
Futarchy был изначально изобретен до эпохи искусственного интеллекта. Однако Futarchy естественным образом соответствует парадигме "сложные решатели, простые проверяющие", описанной в предыдущем разделе, и в Futarchy участниками торгов могут быть как искусственный интеллект (или комбинация человека и искусственного интеллекта). Роль "решателя" (участника прогнозного рынка) заключается в определении, как каждое предложение плана повлияет на будущую стоимость показателей. Это довольно сложно. Если решатель прав, он зарабатывает деньги, если ошибается - теряет. Проверяющие (люди, голосующие за показатели, которые, если замечают, что показатели "манипулируются" или устарели, корректируют их и определяют реальное значение показателей в определенный момент в будущем) должны ответить на более простой вопрос: "Каково текущее значение этого показателя?"
Стимулирование человеческого суждения
Дистилляция человеческих суждений — это класс механизмов, которые работают следующим образом. Есть масса (думаю: 1 миллион) вопросов, на которые нужно ответить. К естественным примерам относятся:
У вас есть команда, которая может ответить на эти вопросы, но за это придется затратить много усилий на каждый ответ. Вы можете попросить команду ответить на небольшое количество вопросов (например, если в общем списке 1 000 000 пунктов, команда может ответить только на 100 из них). Вы даже можете задавать команде косвенные вопросы: не спрашивайте "Какую часть общего кредита должна получить Алиса?", а спрашивайте "Должны ли Алиса или Боб получить больше кредита, и во сколько раз?" При проектировании механизма присяжных вы можете использовать проверенные механизмы из реального мира, такие как комитет по выделению средств, суды (определение стоимости судебного решения), оценка и т. д. Конечно, участники присяжных могут также использовать новаторские инструменты исследований искусственного интеллекта, чтобы помочь им найти ответы.
Затем вы разрешаете любому пользователю представить список числовых ответов на весь набор вопросов (например, предоставить оценку того, сколько баллов должен получить каждый участник за весь список). Участникам предлагается использовать искусственный интеллект для выполнения этой задачи, но они могут использовать любую технологию: искусственный интеллект, человеко-машинный гибрид, искусственный интеллект, который имеет доступ к поиску в Интернете и способен автономно нанимать других людей или работников искусственного интеллекта, кибернетически улучшенных обезьян и т. д.
После того, как и составитель полного списка, и присяжный заседатели представили свои ответы, полный список сверяется с ответами присяжных, и определенная комбинация полного списка, наиболее совместимая с ответами присяжных, используется в качестве окончательного ответа.
Человеческий механизм дистилляции отличается от механизма футархии, но есть некоторые важные сходства:
!
Пример игрушечного учебника для распределения кредита на основе человеческого суждения, пожалуйста, ознакомьтесь с кодом Python здесь. Сценарий требует, чтобы вы выступали в качестве присяжного и включали в себя полный список предварительно сгенерированных (и человеческих) ответов, включенных в код. Этот механизм идентифицирует линейную комбинацию полного списка ответов, наилучшим образом соответствующую ответам присяжных. В этом случае победительная комбинация - ответ Клода на 0,199 + ответ Deepseek на 0,801; эта комбинация лучше подходит для ответов присяжных, чем любая отдельная модель. Эти коэффициенты также будут наградой для участников.
В этом примере "победа над Сореном" аспект "человек как руль" проявляется в двух аспектах. Во-первых, каждая проблема решается с использованием высококачественного человеческого суждения, хотя это все еще использует жюри в качестве "технократических" оценщиков производительности. Во-вторых, есть неявный механизм голосования, определяющий, является ли "победа над Сореном" правильной целью (а не, скажем, попытка союза с Сореном или передача ему всей территории к востоку от какой-то ключевой реки в качестве мирного уступка). Существуют и другие примеры человеческого решения, где задачи жюри более прямо связаны со значениями: например, представьте себе децентрализованную социальную платформу (или подсайт), задача жюри которой состоит в том, чтобы пометить случайно выбранные форумные сообщения как соответствующие или не соответствующие правилам сообщества.
В парадигме оценки человеческого суждения существуют некоторые открытые переменные:
В целом, цель состоит в том, чтобы взять механизмы человеческих суждений, которые, как известно, работают, сведены к минимуму предвзятости и выдержали испытание временем (например, представьте, что состязательная структура судебной системы включает в себя две стороны спора, которые обладают большим количеством информации, но предвзяты, и судью, который обладает небольшим количеством информации, но может не быть предвзятым), и использовать открытый рынок ИИ в качестве достаточно точного и очень недорогого предиктора этих механизмов (аналогично тому, как работает модель великого пророчества «дистилляция»).
Глубокое финансирование (глубокое финансирование)
Глубокое финансирование - это применение суждения, истолкованного человеком, к проблеме веса на вершине графика, которая заполняет вопрос о том, какой процент кредита X принадлежит Y?
Самым простым способом будет просто привести пример:
!
Пример вывода двухуровневого глубокого финансирования: истоки мысли об Ethereum. Пожалуйста, просмотрите здесь код Python.
Здесь целью является награда за философский вклад в Ethereum. Давайте посмотрим на пример:
Этот метод предназначен для областей, где работа ведется на основе предыдущей работы и имеет очень четкую структуру. Академическая среда (подумайте: цитирование графиков) и открытое программное обеспечение (подумайте: зависимости библиотек и ветвления) являются двумя естественными примерами.
Цель хорошо работающей системы глубокого финансирования - создать и поддерживать глобальный график, чтобы любой спонсор, заинтересованный в поддержке определенного проекта, мог отправить средства на адрес, представляющий этот узел, и средства будут автоматически распространяться в соответствии с весом ребра графа до его зависимостей (и рекурсивно до их зависимостей и т. д.).
Вы можете представить себе децентрализованный протокол, который использует встроенное устройство глубокого финансирования для выпуска своих токенов: децентрализованное управление внутри протокола выберет жюри, которое запустит механизм глубокого финансирования, поскольку протокол автоматически выпускает токены и депонирует их в соответствующие ему узлы. Таким образом, протокол программно вознаграждает всех своих прямых и косвенных участников, напоминая о том, как вознаграждение за блок Биткойна или Эфириума вознаграждает один конкретный тип вкладчиков (майнеров). Влияя на вес граней, жюри может постоянно определять, какой вклад оно ценит. Этот механизм может служить децентрализованной и долгосрочной устойчивой альтернативой майнингу, продаже или разовым аирдропам.
Повышенная конфиденциальность
В целом, чтобы правильно судить о вопросах в приведенных выше примерах, вам необходимо иметь доступ к личной информации: внутренним журналам чатов вашей организации, сообщениям, тайно отправленным членами сообщества, и так далее. Одно из преимуществ использования только одного ИИ, особенно в небольших средах, заключается в том, что для одного ИИ более приемлемо получить доступ к информации, чем предоставить ее всем.
Для того чтобы обеспечить действие человеческого усмотрения или глубокой поддержки в этих случаях, мы можем попробовать безопасно использовать криптографические технологии для предоставления искусственному интеллекту доступа к личной информации. Эта идея заключается в использовании многопартийных вычислений (MPC), полностью гомоморфного шифрования (FHE), доверенной исполнительной среды (TEE) или подобных механизмов для предоставления личной информации, однако только в том случае, если единственным результатом является механизм прямого ввода в «полный список подтверждений».
Если вы это сделаете, то вам придется ограничить набор механизмов моделями ИИ (не людьми или комбинациями ИИ + человек, потому что вы не можете заставить людей видеть данные) и специфичными для моделей, которые работают на какой-то конкретной подложке (например, MPC, FHE, доверенное оборудование). Одним из основных направлений исследований является поиск практических вариантов, которые будут достаточно эффективны и значимы в ближайшем будущем.
Преимущества дизайна двигателя + руля
Такой дизайн имеет множество ожидаемых преимуществ. На сегодняшний день самым важным преимуществом является то, что они позволяют создавать DAO, позволяя человеческим избирателям контролировать направление, но их не преследует избыток решений. Они достигли компромисса, где каждому не нужно принимать N решений, но их власть заключается не только в принятии одного решения (как обычно работает делегирование), но и в том, чтобы вызвать сложные предпочтения, которые сложно прямо выразить.
Кроме того, такой механизм, по-видимому, обладает свойством сглаживания поощрений. Под "сглаживанием поощрений" я имею в виду комбинацию двух факторов:
• Распространение: Любое отдельное действие, предпринятое механизмом голосования, не окажет непропорционального воздействия на интересы какого-либо отдельного участника.
Термины «обфускация» и «диффузия» взяты из криптографии, которая является ключевым свойством криптографической безопасности и безопасности хеш-функций.
В настоящем мире одним из хороших примеров стимулирования является правовое государство: власти не регулярно предпринимают действия вроде 'дать компании Алисы 200 миллионов долларов', 'оштрафовать компанию Боба на 100 миллионов долларов', а вместо этого применяют правила, которые должны быть равномерно применены к большому количеству участников, после чего они будут интерпретированы другими участниками. Когда этот подход работает, его преимущество заключается в значительном снижении коррупции и других форм коррупции. Когда он нарушается (что происходит часто на практике), эти проблемы быстро усугубляются.
Очевидно, что ИИ станет важной частью будущего, и он неизбежно станет важной частью будущего управления. Однако, если вы вовлекаете ИИ в управление, существуют очевидные риски: ИИ предвзят, его можно намеренно подорвать во время обучения, а технология ИИ развивается так быстро, что «поставить ИИ у власти» на самом деле может означать «поставить на себя ответственность за модернизацию ИИ». Дистиллированное человеческое суждение предлагает альтернативный путь вперед, позволяя нам использовать возможности ИИ в открытой, свободной рыночной манере, сохраняя при этом демократию, контролируемую человеком.
Особая благодарность за обратную связь и рецензии Devansh Mehta, Davide Crapis и Julian Zawistowski, а также за обсуждения с Тиной Чжэн, Шоу Уолтерс и другими.