Разработка текущего базового искусственного интеллекта осуществляется несколькими ведущими технологическими компаниями, что приводит к закрытости и отсутствию конкуренции.
Разработка открытого программного обеспечения, хотя и является потенциальным решением, но базовый искусственный интеллект не может функционировать так же, как традиционные проекты с открытым исходным кодом (например, Linux), потому что он сталкивается с «проблемой ресурсов»: разработчики открытого программного обеспечения должны не только тратить время, но и нести вычислительные и затраты на данные, превышающие их индивидуальные возможности.
Технология шифрования может решить эту проблему путем стимулирования участия поставщиков ресурсов в базовом открытом проекте искусственного интеллекта.
Комбинируя открытый исходный код ИИ с криптографическими технологиями, можно поддерживать разработку моделей большего масштаба и стимулировать больше инноваций, что приведет к созданию более передовых систем искусственного интеллекта.
Введение
Согласно проведенному в 2024 году исследованию Пью Рисерч Центр, 64% американцев считают, что влияние социальных медиа на страну более вредно, чем полезно; 78% людей утверждают, что у социальных медиа компаний слишком большая власть и влияние в политике; 83% людей считают, что эти платформы могут умышленно цензурировать политические точки зрения, с которыми они не согласны. Недовольство социальными медиа почти стало одним из немногих общих мнений в американском обществе.
Взглянув на историю развития социальных медиа за последние 20 лет, кажется, что такая ситуация была предрешена. История несложная: несколько крупных технологических компаний захватили внимание пользователей и, что более важно, контроль над их данными. В начале люди надеялись на открытие данных, но эти компании быстро изменили свою стратегию, использовали данные для создания непреодолимого сетевого эффекта и закрыли доступ для внешних пользователей. В результате сегодняшней ситуации: менее 10 крупных технологических компаний контролируют отрасль социальных медиа, образуя олигополию. Из-за выгоды, которую предоставляет им текущая ситуация, эти компании почти не имеют стимула к изменениям. Эта модель закрытая и лишена конкуренции.
Сейчас похоже, что развитие технологии искусственного интеллекта повторяет эту ситуацию, но на этот раз его влияние гораздо более глубокое. Несколько технологических компаний, контролирующих ресурсы графического процессора и данных, создали базовые модели искусственного интеллекта и ограничили доступ к этим моделям. Для новых участников рынка, не располагающих миллиардами долларов, разработка конкурентоспособной модели практически невозможна. Потому что только затраты на обучение базовой модели составляют миллиарды долларов, а компании социальных медиа, получившие выгоду от предыдущей волны технологического прогресса, используют свою власть над собственными данными пользователей, чтобы разработать модели, недоступные конкурентам. Мы идем по пути социальных медиа, двигаясь к закрытому и лишенному конкуренции миру искусственного интеллекта. Если эта тенденция продолжится, несколько технологических компаний получат неограниченный контроль над доступом к информации и возможностям.
Открытый искусственный интеллект и "проблема ресурсов"
Если мы не хотим видеть закрытый мир искусственного интеллекта, то что у нас есть варианты? Очевидный ответ - развивать базовые модели как проекты с открытым исходным кодом. В истории у нас уже есть множество успешных проектов с открытым исходным кодом, на которых строятся программы, от которых мы зависим. Например, успех Linux доказывает, что даже ядро операционной системы можно развивать с открытым исходным кодом. Почему бы тогда не сделать то же самое с LLM (большими языковыми моделями)?
Однако особые ограничения базовых моделей искусственного интеллекта делают их отличными от традиционного программного обеспечения, что значительно ослабляет их жизнеспособность как традиционных проектов с открытым исходным кодом. В частности, базовым моделям искусственного интеллекта требуются огромные вычислительные и данные ресурсы, превышающие возможности отдельных лиц. В отличие от традиционных проектов с открытым исходным кодом, которые полагаются только на добровольное вкладывание времени, открытые модели искусственного интеллекта требуют также вкладывания вычислительных и данных ресурсов, что называется «проблемой ресурсов».
На примере модели LLaMa от Meta мы можем лучше понять эту проблему с ресурсами. В отличие от конкурентов, таких как OpenAI и Google, Meta не скрывает модель за платным API, а предоставляет доступ к весам LLaMa бесплатно (но с некоторыми ограничениями). Эти веса содержат знания, полученные моделью в процессе обучения в Meta, и являются необходимым условием для работы модели. Обладая этими весами, пользователи могут настраивать модель или использовать ее вывод в качестве входных данных для новой модели.
Хотя Meta заслуживает признание за вес LLaMa, это все же нельзя назвать истинным проектом с открытым исходным кодом. Meta контролирует процесс обучения модели, полагаясь на свои вычислительные ресурсы, данные и принятие решений, и самостоятельно определяет, когда открывать эту модель для общественности. Meta не приглашает независимых исследователей или разработчиков участвовать в совместном сообществе, потому что ресурсы, необходимые для обучения или повторного обучения модели, далеко превышают возможности обычного человека. Эти ресурсы включают десятки тысяч мощных GPU, центры данных для хранения этих GPU, сложные системы охлаждения и десятки триллионов токенов (единицы текстовых данных, необходимых для обучения модели). Как отмечается в отчете Университета Стэнфорда по индексу искусственного интеллекта на 2024 год, «резкое увеличение стоимости обучения фактически исключает традиционные университеты, которые традиционно являлись крупными центрами исследований в области искусственного интеллекта, из разработки передовых базовых моделей». Например, Сэм Альтман упоминал, что стоимость обучения GPT-4 составляет до 100 миллионов долларов, и это даже не включает капитальные затраты на оборудование. Кроме того, капитальные затраты Meta во втором квартале 2024 года увеличились на 21 миллиард долларов по сравнению с аналогичным периодом 2023 года и в основном были направлены на серверы, центры данных и сетевую инфраструктуру, связанную с обучением моделей искусственного интеллекта. Таким образом, хотя участники сообщества LLaMa могут обладать техническими навыками для улучшения архитектуры модели, у них недостаточно ресурсов для внедрения этих улучшений.
В целом, в отличие от традиционных проектов с открытым исходным кодом, проекты с открытым искусственным интеллектом требуют не только вклада участников, но и высоких затрат на вычисления и данные. Не реалистично полагаться только на доброжелательность и добровольный дух для мотивации достаточного количества поставщиков ресурсов. Им нужны дополнительные стимулирующие механизмы. Например, взглянем на проект BLOOM, большой открытый языковой модель, объединяющий усилия 1000 добровольных исследователей из более чем 70 стран и более 250 организаций. Хотя успех BLOOM впечатляет (я полностью его поддерживаю), требуется год, чтобы согласовать одну тренировку, и процесс зависит от финансирования в размере 3 миллионов евро, предоставленного французским исследовательским учреждением (не включая капитальные затраты на суперкомпьютер для обучения моделей). Зависеть от нового раунда финансирования для согласования и итерирования BLOOM слишком громоздко и не может соперничать с скоростью разработки крупных технологических лабораторий. С момента выпуска BLOOM прошло уже более двух лет, и на данный момент не поступило сообщений о разработке каких-либо последующих моделей командой.
Для того чтобы сделать возможным открытый искусственный интеллект, нам нужно найти способ стимулировать поставщиков ресурсов, чтобы они вносили свой вклад в области вычислительной мощности и данных, вместо того чтобы общественные контрибуторы несли на себе эти затраты.
Почему технология шифрования может решить проблему «ресурсов» базового открытого искусственного интеллекта
Прорыв в области криптографических технологий заключается в использовании механизма "собственности", что делает возможным создание проектов с открытым исходным кодом с высокими затратами на ресурсы. Он стимулирует потенциальных поставщиков ресурсов участвовать в сети для решения проблемы ресурсов в открытом AI, вместо того чтобы заставлять открытых участников предварительно нести эти затраты на ресурсы.
Биткойн - хороший пример. Как самый первый криптопроект, биткойн является полностью открытым программным проектом, код которого с самого начала был открытым. Тем не менее, сам по себе код не является ключевым аспектом биткойна. Просто скачивание и запуск программного обеспечения узла биткойна для создания локального блокчейна не имеет реального смысла. Реальная ценность этого программного обеспечения проявляется только тогда, когда объем вычислений по добыче блоков превышает возможности любого отдельного участника: поддержание децентрализованной, неконтролируемой учетной книги. Подобно базовому открытому искусственному интеллекту, биткойн также является проектом с открытым исходным кодом, который требует ресурсы, превышающие возможности отдельного человека. Хотя причины потребности в вычислительных ресурсах у них разные - биткойн требует вычислительных ресурсов для обеспечения неизменности сети, а базовый искусственный интеллект требует вычислительных ресурсов для оптимизации и итерации моделей - их общая черта заключается в том, что для них обоих необходимы ресурсы, превышающие возможности отдельного человека.
«Секрет» Биткойна, как и любой другой криптосети, в том, чтобы иметь возможность стимулировать участников вносить ресурсы в проекты программного обеспечения с открытым исходным кодом, заключается в том, чтобы обеспечить владение сетью через токены. Как указано в основополагающей философии Джесси, написанной для Variant в 2020 году, владение обеспечивает сильный стимул для поставщиков ресурсов, чтобы они были готовы вносить ресурсы в обмен на потенциальную прибыль в сети. Этот механизм похож на то, как стартапы решают проблему недофинансирования на ранних стадиях с помощью «потного капитала» — платя сотрудникам на ранних стадиях (например, основателям) в основном в форме владения компанией, стартапы могут привлечь рабочую силу, которую они в противном случае не смогли бы себе позволить. Криптография расширяет концепцию «потного капитала», фокусируясь на временных вкладчиках и поставщиках ресурсов. В результате Variant фокусируется на инвестировании в проекты, использующие механизмы собственности для создания сетевых эффектов, такие как Uniswap, Morpho и World.
Если мы хотим, чтобы открытый искусственный интеллект стал реальностью, механизм собственности, реализованный с помощью шифрования, является ключевым решением проблемы ресурсов. Этот механизм позволяет исследователям свободно вносить свои концепции дизайна моделей в проекты с открытым исходным кодом, поскольку вычислительные и данных ресурсы, необходимые для реализации этих идей, будут предоставлены поставщиками ресурсов, которые в свою очередь получат частичное право собственности на проект в качестве вознаграждения, вместо того чтобы требовать от исследователей самим нести высокие начальные затраты. В открытом искусственном интеллекте собственность может принимать различные формы, но одной из наиболее ожидаемых является собственность на саму модель, которую предлагает Pluralis.
Подход, предложенный Pluralis, известен как модели протоколов. В этой модели поставщик вычислительных ресурсов может предоставить вычислительную мощность для обучения конкретной модели с открытым исходным кодом и, таким образом, получить частичное право собственности на будущий доход от вывода этой модели. Так как это владение привязано к конкретной модели, а его ценность основана на доходе модели от вывода, поставщики вычислительных ресурсов заинтересованы в выборе оптимальной модели для обучения без фальсификации обучающих данных (поскольку предоставление бесполезного обучения напрямую снижает ожидаемую ценность будущего дохода от вывода). Однако ключевой вопрос заключается в следующем: как Pluralis обеспечивает безопасность владения, если процесс обучения требует, чтобы весовые коэффициенты модели отправлялись поставщику вычислений? Ответ заключается в использовании параллелизма моделей для распределения сегментов модели между различными рабочими процессами. Важной особенностью нейронных сетей является то, что даже если известна лишь малая часть весов модели, вычислитель все равно может участвовать в обучении, гарантируя, что полный набор весов не может быть извлечен. Кроме того, из-за того, что на платформе Pluralis одновременно тренируется множество различных моделей, тренер столкнется с большим количеством различных весовых наборов, что крайне затрудняет перестройку полной модели.
Основная идея протокола Protocol Models заключается в том, что эти модели могут быть обучены и использованы, но невозможно полностью извлечь их из протокола (за исключением случаев, когда используется вычислительная мощность, превышающая ресурсы, необходимые для обучения модели с нуля). Этот механизм решает проблему, которую часто поднимают критики открытых ИИ, а именно возможность закрытых конкурентов похищать результаты труда открытых проектов.
Почему шифрование + открытый исходный код = лучшая искусственная интеллект
В начале статьи я анализировал контроль крупных технологических компаний над искусственным интеллектом и обсуждал проблемы замкнутого ИИ на моральном и нормативном уровне. Однако в эпоху интернета, где часто чувствуется беспомощность, я опасаюсь, что такое утверждение может быть сложно осознать для большинства читателей. Поэтому я хочу представить две причины, основанные на практических результатах, почему открытый ИИ, поддерживаемый криптотехнологиями, может действительно принести лучший ИИ.
Во-первых, сочетание криптографических технологий с искусственным интеллектом с открытым исходным кодом может согласовывать больше ресурсов, что способствует развитию следующего поколения базовых моделей (Foundation Models). Исследования показывают, что увеличение как вычислительных возможностей, так и ресурсов данных способствует улучшению производительности модели, что и объясняет постоянное увеличение масштаба базовых моделей. Биткойн продемонстрировал нам потенциал сочетания открытого программного обеспечения с криптографическими технологиями в области вычислительных возможностей. Он стал крупнейшей и самой мощной вычислительной сетью в мире, масштаб которой значительно превосходит вычислительные ресурсы крупных технологических компаний. Уникальность криптографических технологий заключается в их способности преобразовывать изолированную конкуренцию в кооперативную. Через стимулирование поставщиков ресурсов вносить вклад в решение общих проблем вместо изоляции и повторения усилий, криптографические сети обеспечивают эффективное использование ресурсов. С помощью открытого искусственного интеллекта, основанного на криптографических технологиях, можно использовать вычислительные и данных ресурсы по всему миру для создания моделей, масштаб которых значительно превышает модели закрытого искусственного интеллекта. Например, компания Hyperbolic уже продемонстрировала потенциал этой модели. Они через открытый рынок предоставляют возможность арендовать GPU по относительно низкой цене, что позволяет полностью использовать распределенные вычислительные ресурсы.
Во-вторых, сочетание криптографической технологии и искусственного интеллекта с открытым исходным кодом ускорит инновации. Это происходит потому, что после решения проблемы ресурсов исследование машинного обучения может вернуться к своей природе открытого итеративного и инновационного процесса. До появления базовых языковых моделей (LLM), исследователи в области машинного обучения обычно публиковали свои модели и их воспроизводимые проекты. Эти модели обычно используют открытые наборы данных, и требования к вычислениям относительно низкие, поэтому исследователи могут постоянно улучшать и инновировать на их основе. Именно этот открытый итеративный процесс привел к множеству прорывов в области последовательного моделирования, таких как рекуррентные нейронные сети (RNN), долгосрочная память (LSTM) и механизмы внимания (Attention Mechanisms), что в конечном итоге сделало возможной архитектуру модели Transformer. Однако этот открытый подход к исследованиям изменился после выпуска GPT-3. OpenAI с помощью успехов GPT-3 и ChatGPT доказали, что при достаточном количестве вычислительных ресурсов и данных можно обучить большие языковые модели с пониманием языка. Эта тенденция привела к резкому повышению порога ресурсов, что постепенно исключает академическое сообщество, а также заставляет крупные технологические компании не публиковать свои архитектуры моделей, чтобы сохранить конкурентное преимущество. Это ограничивает наши возможности в продвижении передовых технологий искусственного интеллекта.
Открытый искусственный интеллект, основанный на технологии шифрования, может изменить эту ситуацию. Он позволяет исследователям итерировать передовые модели, чтобы найти «следующий трансформатор». Это сочетание не только решает проблему ресурсов, но также возрождает инновационный потенциал в области машинного обучения и открывает более широкие пути для будущего развития искусственного интеллекта.
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Variant 投资合伙人：Открытый исходный код AI 的困境与突破，为什么шифрование技术是最后一块拼图？
Автор: Дэниел Барабандер
Компиляция: Deep Tide TechFlow
Краткое резюме
Разработка текущего базового искусственного интеллекта осуществляется несколькими ведущими технологическими компаниями, что приводит к закрытости и отсутствию конкуренции.
Разработка открытого программного обеспечения, хотя и является потенциальным решением, но базовый искусственный интеллект не может функционировать так же, как традиционные проекты с открытым исходным кодом (например, Linux), потому что он сталкивается с «проблемой ресурсов»: разработчики открытого программного обеспечения должны не только тратить время, но и нести вычислительные и затраты на данные, превышающие их индивидуальные возможности.
Технология шифрования может решить эту проблему путем стимулирования участия поставщиков ресурсов в базовом открытом проекте искусственного интеллекта.
Комбинируя открытый исходный код ИИ с криптографическими технологиями, можно поддерживать разработку моделей большего масштаба и стимулировать больше инноваций, что приведет к созданию более передовых систем искусственного интеллекта.
Введение
Согласно проведенному в 2024 году исследованию Пью Рисерч Центр, 64% американцев считают, что влияние социальных медиа на страну более вредно, чем полезно; 78% людей утверждают, что у социальных медиа компаний слишком большая власть и влияние в политике; 83% людей считают, что эти платформы могут умышленно цензурировать политические точки зрения, с которыми они не согласны. Недовольство социальными медиа почти стало одним из немногих общих мнений в американском обществе.
Взглянув на историю развития социальных медиа за последние 20 лет, кажется, что такая ситуация была предрешена. История несложная: несколько крупных технологических компаний захватили внимание пользователей и, что более важно, контроль над их данными. В начале люди надеялись на открытие данных, но эти компании быстро изменили свою стратегию, использовали данные для создания непреодолимого сетевого эффекта и закрыли доступ для внешних пользователей. В результате сегодняшней ситуации: менее 10 крупных технологических компаний контролируют отрасль социальных медиа, образуя олигополию. Из-за выгоды, которую предоставляет им текущая ситуация, эти компании почти не имеют стимула к изменениям. Эта модель закрытая и лишена конкуренции.
Сейчас похоже, что развитие технологии искусственного интеллекта повторяет эту ситуацию, но на этот раз его влияние гораздо более глубокое. Несколько технологических компаний, контролирующих ресурсы графического процессора и данных, создали базовые модели искусственного интеллекта и ограничили доступ к этим моделям. Для новых участников рынка, не располагающих миллиардами долларов, разработка конкурентоспособной модели практически невозможна. Потому что только затраты на обучение базовой модели составляют миллиарды долларов, а компании социальных медиа, получившие выгоду от предыдущей волны технологического прогресса, используют свою власть над собственными данными пользователей, чтобы разработать модели, недоступные конкурентам. Мы идем по пути социальных медиа, двигаясь к закрытому и лишенному конкуренции миру искусственного интеллекта. Если эта тенденция продолжится, несколько технологических компаний получат неограниченный контроль над доступом к информации и возможностям.
Открытый искусственный интеллект и "проблема ресурсов"
Если мы не хотим видеть закрытый мир искусственного интеллекта, то что у нас есть варианты? Очевидный ответ - развивать базовые модели как проекты с открытым исходным кодом. В истории у нас уже есть множество успешных проектов с открытым исходным кодом, на которых строятся программы, от которых мы зависим. Например, успех Linux доказывает, что даже ядро операционной системы можно развивать с открытым исходным кодом. Почему бы тогда не сделать то же самое с LLM (большими языковыми моделями)?
Однако особые ограничения базовых моделей искусственного интеллекта делают их отличными от традиционного программного обеспечения, что значительно ослабляет их жизнеспособность как традиционных проектов с открытым исходным кодом. В частности, базовым моделям искусственного интеллекта требуются огромные вычислительные и данные ресурсы, превышающие возможности отдельных лиц. В отличие от традиционных проектов с открытым исходным кодом, которые полагаются только на добровольное вкладывание времени, открытые модели искусственного интеллекта требуют также вкладывания вычислительных и данных ресурсов, что называется «проблемой ресурсов».
На примере модели LLaMa от Meta мы можем лучше понять эту проблему с ресурсами. В отличие от конкурентов, таких как OpenAI и Google, Meta не скрывает модель за платным API, а предоставляет доступ к весам LLaMa бесплатно (но с некоторыми ограничениями). Эти веса содержат знания, полученные моделью в процессе обучения в Meta, и являются необходимым условием для работы модели. Обладая этими весами, пользователи могут настраивать модель или использовать ее вывод в качестве входных данных для новой модели.
Хотя Meta заслуживает признание за вес LLaMa, это все же нельзя назвать истинным проектом с открытым исходным кодом. Meta контролирует процесс обучения модели, полагаясь на свои вычислительные ресурсы, данные и принятие решений, и самостоятельно определяет, когда открывать эту модель для общественности. Meta не приглашает независимых исследователей или разработчиков участвовать в совместном сообществе, потому что ресурсы, необходимые для обучения или повторного обучения модели, далеко превышают возможности обычного человека. Эти ресурсы включают десятки тысяч мощных GPU, центры данных для хранения этих GPU, сложные системы охлаждения и десятки триллионов токенов (единицы текстовых данных, необходимых для обучения модели). Как отмечается в отчете Университета Стэнфорда по индексу искусственного интеллекта на 2024 год, «резкое увеличение стоимости обучения фактически исключает традиционные университеты, которые традиционно являлись крупными центрами исследований в области искусственного интеллекта, из разработки передовых базовых моделей». Например, Сэм Альтман упоминал, что стоимость обучения GPT-4 составляет до 100 миллионов долларов, и это даже не включает капитальные затраты на оборудование. Кроме того, капитальные затраты Meta во втором квартале 2024 года увеличились на 21 миллиард долларов по сравнению с аналогичным периодом 2023 года и в основном были направлены на серверы, центры данных и сетевую инфраструктуру, связанную с обучением моделей искусственного интеллекта. Таким образом, хотя участники сообщества LLaMa могут обладать техническими навыками для улучшения архитектуры модели, у них недостаточно ресурсов для внедрения этих улучшений.
В целом, в отличие от традиционных проектов с открытым исходным кодом, проекты с открытым искусственным интеллектом требуют не только вклада участников, но и высоких затрат на вычисления и данные. Не реалистично полагаться только на доброжелательность и добровольный дух для мотивации достаточного количества поставщиков ресурсов. Им нужны дополнительные стимулирующие механизмы. Например, взглянем на проект BLOOM, большой открытый языковой модель, объединяющий усилия 1000 добровольных исследователей из более чем 70 стран и более 250 организаций. Хотя успех BLOOM впечатляет (я полностью его поддерживаю), требуется год, чтобы согласовать одну тренировку, и процесс зависит от финансирования в размере 3 миллионов евро, предоставленного французским исследовательским учреждением (не включая капитальные затраты на суперкомпьютер для обучения моделей). Зависеть от нового раунда финансирования для согласования и итерирования BLOOM слишком громоздко и не может соперничать с скоростью разработки крупных технологических лабораторий. С момента выпуска BLOOM прошло уже более двух лет, и на данный момент не поступило сообщений о разработке каких-либо последующих моделей командой.
Для того чтобы сделать возможным открытый искусственный интеллект, нам нужно найти способ стимулировать поставщиков ресурсов, чтобы они вносили свой вклад в области вычислительной мощности и данных, вместо того чтобы общественные контрибуторы несли на себе эти затраты.
Почему технология шифрования может решить проблему «ресурсов» базового открытого искусственного интеллекта
Прорыв в области криптографических технологий заключается в использовании механизма "собственности", что делает возможным создание проектов с открытым исходным кодом с высокими затратами на ресурсы. Он стимулирует потенциальных поставщиков ресурсов участвовать в сети для решения проблемы ресурсов в открытом AI, вместо того чтобы заставлять открытых участников предварительно нести эти затраты на ресурсы.
Биткойн - хороший пример. Как самый первый криптопроект, биткойн является полностью открытым программным проектом, код которого с самого начала был открытым. Тем не менее, сам по себе код не является ключевым аспектом биткойна. Просто скачивание и запуск программного обеспечения узла биткойна для создания локального блокчейна не имеет реального смысла. Реальная ценность этого программного обеспечения проявляется только тогда, когда объем вычислений по добыче блоков превышает возможности любого отдельного участника: поддержание децентрализованной, неконтролируемой учетной книги. Подобно базовому открытому искусственному интеллекту, биткойн также является проектом с открытым исходным кодом, который требует ресурсы, превышающие возможности отдельного человека. Хотя причины потребности в вычислительных ресурсах у них разные - биткойн требует вычислительных ресурсов для обеспечения неизменности сети, а базовый искусственный интеллект требует вычислительных ресурсов для оптимизации и итерации моделей - их общая черта заключается в том, что для них обоих необходимы ресурсы, превышающие возможности отдельного человека.
«Секрет» Биткойна, как и любой другой криптосети, в том, чтобы иметь возможность стимулировать участников вносить ресурсы в проекты программного обеспечения с открытым исходным кодом, заключается в том, чтобы обеспечить владение сетью через токены. Как указано в основополагающей философии Джесси, написанной для Variant в 2020 году, владение обеспечивает сильный стимул для поставщиков ресурсов, чтобы они были готовы вносить ресурсы в обмен на потенциальную прибыль в сети. Этот механизм похож на то, как стартапы решают проблему недофинансирования на ранних стадиях с помощью «потного капитала» — платя сотрудникам на ранних стадиях (например, основателям) в основном в форме владения компанией, стартапы могут привлечь рабочую силу, которую они в противном случае не смогли бы себе позволить. Криптография расширяет концепцию «потного капитала», фокусируясь на временных вкладчиках и поставщиках ресурсов. В результате Variant фокусируется на инвестировании в проекты, использующие механизмы собственности для создания сетевых эффектов, такие как Uniswap, Morpho и World.
Если мы хотим, чтобы открытый искусственный интеллект стал реальностью, механизм собственности, реализованный с помощью шифрования, является ключевым решением проблемы ресурсов. Этот механизм позволяет исследователям свободно вносить свои концепции дизайна моделей в проекты с открытым исходным кодом, поскольку вычислительные и данных ресурсы, необходимые для реализации этих идей, будут предоставлены поставщиками ресурсов, которые в свою очередь получат частичное право собственности на проект в качестве вознаграждения, вместо того чтобы требовать от исследователей самим нести высокие начальные затраты. В открытом искусственном интеллекте собственность может принимать различные формы, но одной из наиболее ожидаемых является собственность на саму модель, которую предлагает Pluralis.
Подход, предложенный Pluralis, известен как модели протоколов. В этой модели поставщик вычислительных ресурсов может предоставить вычислительную мощность для обучения конкретной модели с открытым исходным кодом и, таким образом, получить частичное право собственности на будущий доход от вывода этой модели. Так как это владение привязано к конкретной модели, а его ценность основана на доходе модели от вывода, поставщики вычислительных ресурсов заинтересованы в выборе оптимальной модели для обучения без фальсификации обучающих данных (поскольку предоставление бесполезного обучения напрямую снижает ожидаемую ценность будущего дохода от вывода). Однако ключевой вопрос заключается в следующем: как Pluralis обеспечивает безопасность владения, если процесс обучения требует, чтобы весовые коэффициенты модели отправлялись поставщику вычислений? Ответ заключается в использовании параллелизма моделей для распределения сегментов модели между различными рабочими процессами. Важной особенностью нейронных сетей является то, что даже если известна лишь малая часть весов модели, вычислитель все равно может участвовать в обучении, гарантируя, что полный набор весов не может быть извлечен. Кроме того, из-за того, что на платформе Pluralis одновременно тренируется множество различных моделей, тренер столкнется с большим количеством различных весовых наборов, что крайне затрудняет перестройку полной модели.
Основная идея протокола Protocol Models заключается в том, что эти модели могут быть обучены и использованы, но невозможно полностью извлечь их из протокола (за исключением случаев, когда используется вычислительная мощность, превышающая ресурсы, необходимые для обучения модели с нуля). Этот механизм решает проблему, которую часто поднимают критики открытых ИИ, а именно возможность закрытых конкурентов похищать результаты труда открытых проектов.
Почему шифрование + открытый исходный код = лучшая искусственная интеллект
В начале статьи я анализировал контроль крупных технологических компаний над искусственным интеллектом и обсуждал проблемы замкнутого ИИ на моральном и нормативном уровне. Однако в эпоху интернета, где часто чувствуется беспомощность, я опасаюсь, что такое утверждение может быть сложно осознать для большинства читателей. Поэтому я хочу представить две причины, основанные на практических результатах, почему открытый ИИ, поддерживаемый криптотехнологиями, может действительно принести лучший ИИ.
Во-первых, сочетание криптографических технологий с искусственным интеллектом с открытым исходным кодом может согласовывать больше ресурсов, что способствует развитию следующего поколения базовых моделей (Foundation Models). Исследования показывают, что увеличение как вычислительных возможностей, так и ресурсов данных способствует улучшению производительности модели, что и объясняет постоянное увеличение масштаба базовых моделей. Биткойн продемонстрировал нам потенциал сочетания открытого программного обеспечения с криптографическими технологиями в области вычислительных возможностей. Он стал крупнейшей и самой мощной вычислительной сетью в мире, масштаб которой значительно превосходит вычислительные ресурсы крупных технологических компаний. Уникальность криптографических технологий заключается в их способности преобразовывать изолированную конкуренцию в кооперативную. Через стимулирование поставщиков ресурсов вносить вклад в решение общих проблем вместо изоляции и повторения усилий, криптографические сети обеспечивают эффективное использование ресурсов. С помощью открытого искусственного интеллекта, основанного на криптографических технологиях, можно использовать вычислительные и данных ресурсы по всему миру для создания моделей, масштаб которых значительно превышает модели закрытого искусственного интеллекта. Например, компания Hyperbolic уже продемонстрировала потенциал этой модели. Они через открытый рынок предоставляют возможность арендовать GPU по относительно низкой цене, что позволяет полностью использовать распределенные вычислительные ресурсы.
Во-вторых, сочетание криптографической технологии и искусственного интеллекта с открытым исходным кодом ускорит инновации. Это происходит потому, что после решения проблемы ресурсов исследование машинного обучения может вернуться к своей природе открытого итеративного и инновационного процесса. До появления базовых языковых моделей (LLM), исследователи в области машинного обучения обычно публиковали свои модели и их воспроизводимые проекты. Эти модели обычно используют открытые наборы данных, и требования к вычислениям относительно низкие, поэтому исследователи могут постоянно улучшать и инновировать на их основе. Именно этот открытый итеративный процесс привел к множеству прорывов в области последовательного моделирования, таких как рекуррентные нейронные сети (RNN), долгосрочная память (LSTM) и механизмы внимания (Attention Mechanisms), что в конечном итоге сделало возможной архитектуру модели Transformer. Однако этот открытый подход к исследованиям изменился после выпуска GPT-3. OpenAI с помощью успехов GPT-3 и ChatGPT доказали, что при достаточном количестве вычислительных ресурсов и данных можно обучить большие языковые модели с пониманием языка. Эта тенденция привела к резкому повышению порога ресурсов, что постепенно исключает академическое сообщество, а также заставляет крупные технологические компании не публиковать свои архитектуры моделей, чтобы сохранить конкурентное преимущество. Это ограничивает наши возможности в продвижении передовых технологий искусственного интеллекта.
Открытый искусственный интеллект, основанный на технологии шифрования, может изменить эту ситуацию. Он позволяет исследователям итерировать передовые модели, чтобы найти «следующий трансформатор». Это сочетание не только решает проблему ресурсов, но также возрождает инновационный потенциал в области машинного обучения и открывает более широкие пути для будущего развития искусственного интеллекта.