Перенаправить оригинальный заголовок: Децентрализованный вычислительный

В статье сегодня рассматривается возникающий, но часто непонятный сектор децентрализованных вычислений в крипто. Мы погружаемся в инфраструктуру искусственного интеллекта, чтобы понять, где децентрализованные альтернативы могут реалистично конкурировать.

Мы исследуем такие вопросы, как: возможно ли обучение ИИ на распределенных сетях? Какие уникальные преимущества предлагают криптосети? И почему разрешенная вычислительная инфраструктура может стать так же важной для ИИ, как Биткойн для финансов.

Один из общих трендов, который вы заметите в этой статье, это экспоненциальный рост всего, что связано с AI - инвестиций, вычислительных мощностей и возможностей. Это совпадает с возрождением криптовалютных рынков и популярности. Мы очень взволнованы пересечением этих двух ключевых технологических волн.

Привет!

В солнечный день в Мемфисе, штат Теннесси, шпионский самолет-винтовка многократно облетал промышленное здание, его пассажиры беспрестанно фотографировали объекты ниже. Это была не сцена из шпионажа времен Холодной войны, а из 2024 года. Целью не было военное учреждение или месторождение обогащения урана, а бывший завод бытовой техники, теперь размещающий один из самых мощных суперкомпьютеров в мире. Пассажиры не были иностранными агентами, а сотрудниками компании-конкурента центра обработки данных.

Раз в несколько десятилетий возникает трансформационная технология с потенциалом несомненно изменить траекторию цивилизации. Впоследствии начинается гонка между самыми мощными сущностями мира, чтобы первыми реализовать эту технологию. Вознаграждение настолько огромно, а последствия неудачи настолько разрушительны, что эти сущности быстро мобилизуют все свои ресурсы: таланты людей и капитал, чтобы овладеть технологией.

В 20 веке этому определению соответствовали две выдающиеся технологии - ядерное оружие и космическое исследование. Гонка за освоение этих технологий включала в себя самые мощные национальные государства. Победы Соединенных Штатов в обеих областях укрепили их статус в качестве доминирующей сверхдержавы мира, введя эру беспрецедентного процветания. Для побежденных - нацистской Германии и Советского Союза последствия были разрушительными, даже терминальными.

Гигантский 44-акровый завод К-25 в Ок-Ридже, Теннесси, США, где был произведен уран для первого атомного оружия (исходный)

Победа Америки обошлась ей огромной ценой. Манхэттенский проект обошелся почти в 2 миллиарда долларов (примерно 30 миллиардов долларов с поправкой на инфляцию) и дал работу более чем 120 000 человек — каждый тысячный американец. Космическая гонка требовала еще больших ресурсов. В 1960-х годах программа «Аполлон» обошлась в 28 миллиардов долларов (примерно 300 миллиардов долларов в сегодняшних деньгах), и в ней участвовало более 400 000 человек — каждый 490-й американец. На пике своего развития в 1966 году на долю НАСА приходилось 4,4% всего федерального бюджета США.

Apollo 11, как раз перед взлетом на Луну ( Источник)

Запуск ChatGPT в 2022 году ознаменовал начало новой эры с цивилизационными пропорциями - стремление к искусственному сверхразуму (ASI). В то время как ИИ уже вплетен в повседневную жизнь - управление лентами социальных сетей, рекомендации Netflix и фильтры спама электронной почты - появление больших языковых моделей (LLM) обещает изменить все: человеческая продуктивность, создание медиа, научные исследования и саму инновацию.

На этот раз соперниками не являются национальные государства (по крайней мере, пока что), а крупнейшие корпорации мира (Microsoft, Google, Meta, Amazon), самые горячие стартапы (OpenAI, Anthropic) и самый богатый человек (Илон Маск). В то время как Большие Технологические Компании направляют беспрецедентный капитал на создание инфраструктуры для обучения все более мощных моделей, стартапы обеспечивают рекордныйвенчурное инвестирование. Элон, ну, делать Элона вещи (данный центр обработки данных находился под наблюдением его компании, xAI).

И затем есть все остальные - предприятия, малые компании и стартапы, которые, возможно, не стремятся создать ИИ, но стремятся использовать передовые возможности, разблокированные с помощью искусственного интеллекта, чтобы оптимизировать свой бизнес, нарушить отрасль или создать совершенно новые. Потенциальные награды настолько велики, что все бросаются за свою долю в этой новой экономике, основанной на машинном интеллекте.

В основе революции в области искусственного интеллекта лежит его наиболее важный компонент: графический процессор (GPU). Изначально разработанный для запуска видеоигр, этот специализированный компьютерный чип стал самым горячим товаром в мире. Спрос на GPU настолько огромен, что компании часто вынуждены переживать...очереди длиной в месяцы Просто для того, чтобы приобрести несколько. Этот спрос вывел NVIDIA, их основного производителя, на позицию самой дорогой компании в мире.

Для компаний, неспособных или не желающих прямо покупать графические процессоры, аренда вычислительной мощности стала следующим лучшим вариантом. Это способствовало появлению провайдеров облачных вычислений ИИ - компаний, управляющих сложными центрами обработки данных, адаптированными для удовлетворения вычислительных потребностей бума искусственного интеллекта. Однако всплеск спроса и его непредсказуемая природа означают, что ни ценообразование, ни наличие не гарантированы.

Яаргументировалчто криптовалюта функционирует как "Коузиан" технология, разработанная для "смазывания колес, укладки дорог и укрепления мостов" для процветания других деструктивных инноваций. По мере того как искусственный интеллект становится трансформационной силой нашей эры, дефицит и чрезмерные затраты на доступ к GPU представляют собой барьер для инноваций. Несколько криптовалютных компаний вступают в игру, нацеливаясь на ликвидацию этих барьеров с помощью блокчейн-основанных стимулов.

В сегодняшней статье мы сначала отходим от криптовалют, чтобы изучить основы современной инфраструктуры искусственного интеллекта - как учатся нейронные сети, почему графические процессоры стали неотъемлемой частью и как сегодняшние центры обработки данных развиваются, чтобы удовлетворить непрецедентные вычислительные требования. Затем мы погружаемся в децентрализованные вычислительные решения, исследуя, где они могут реалистично конкурировать с традиционными поставщиками, уникальные преимущества, которые предлагают криптосети, и почему, хотя они не дадут нам общего искусственного интеллекта, они по-прежнему будут важны для обеспечения доступности преимуществ искусственного интеллекта для всех.

Давайте начнем с того, почему ГПУ так важны в первую очередь.

GPUs

Это Давид, 17-футовая, 6-тонная мраморная скульптура, созданная гениальным итальянским мастером эпохи Возрождения Микеланджело. Она изображает библейского героя из истории о Давиде и Голиафе и считается шедевром благодаря безупречному изображению анатомии человека и великолепному вниманию к перспективе и деталям.

Как и все мраморные скульптуры, Давид начался как огромная грубая плита из мрамора Каррара. Чтобы добиться его конечной величественной формы, Микеланджело методично обрезал камень. Начав с широких, смелых штрихов, чтобы создать основную человеческую форму, он перешел к все более тонким деталям - изгибу мышцы, напряжению в вене, тонкому выражению решимости в глазах. Микеланджело потребовалось три года, чтобы освободить Давида от камня.

Но зачем обсуждать мраморную фигуру, которой 500 лет, в статье о искусственном интеллекте?

Как и Дэвид, каждая нейронная сеть начинается как чистый потенциал - совокупность узлов, инициализированных случайными числами (весами), такая же формообразная, как огромный блок мрамора Каррара.

Эта необработанная модель многократно получает тренировочные данные - бесчисленные примеры входных данных, сопоставленные с правильными выходными данными. Каждая точка данных, проходящая через сеть, вызывает тысячи вычислений. На каждом узле (нейроне) входящие соединения умножают значение входа на вес соединения, суммируют эти произведения и преобразуют результат через «функцию активации», которая определяет силу срабатывания нейрона.

Так же, как Микеланджело отступал, оценивал свою работу и вносил коррективы, нейронные сети проходят процесс усовершенствования. После каждого прямого прохода сеть сравнивает свой вывод с правильным ответом и вычисляет свою погрешность. Через процесс, называемый обратным распространением ошибки, она измеряет, насколько каждое соединение способствовало ошибке и, подобно ударам долота Микеланджело, корректирует свои значения. Если соединение приводит к неправильному предсказанию, его влияние уменьшается. Если оно помогает достичь правильного ответа, его влияние усиливается.

Когда все данные проходят через сеть (завершая один шаг прямого и обратного распространения на каждой точке данных), это означает окончание «эпохи». Этот процесс повторяется несколько раз, и с каждым проходом сеть улучшает свое понимание. В начальные эпохи изменения веса драматические, поскольку сеть делает общие корректировки, наподобие первых ударов долбящего инструмента. В более поздние эпохи изменения становятся более тонкими, тонко настраивая соединения для оптимальной производительности, как тонкие последние штрихи, выявляющие детали Давида.

Наконец-то, после тысяч или миллионов итераций, обученная модель появляется. Как Дэвид, гордо стоящий в своей завершенной форме, нейронная сеть превращается из случайного шума в систему, способную распознавать образцы, делать прогнозы, создавать изображения кошек, катающихся на самокатах, или позволяющую компьютерам понимать и отвечать на человеческий язык.

Почему графические процессоры?

Микеланджело, работая в одиночку над Давидом, мог сделать только один удар долотом за раз, каждый требующий точных расчетов угла, силы и положения. Эта мучительная точность и является причиной того, что ему понадобилось три неутомимых года, чтобы завершить свой шедевр. Но представьте тысячи одинаково опытных скульпторов, работающих над Давидом в идеальной координации - одна команда над кудрями волос, другая над мышцами туловища, и сотни других над замысловатыми деталями лица, рук и ног. Такое параллельное усилие сократило бы эти три года до меры дней.

Точно так же, хотя процессоры мощные и точные, они могут выполнять только одно вычисление за раз. Для обучения нейронной сети не требуется одно сложное вычисление, а сотни миллионов простых - в основном умножение и сложение на каждом узле. Например, образец нейронной сети, упомянутый ранее, с всего 18 узлами и около 100 соединений (параметров), может быть обучен на центральном процессоре в разумные сроки.

Однако самые мощные модели сегодня, такие ​​как GPT-4 от OpenAI, имеют 1,8 трлн параметров! Даже более маленькие современные модели содержат как минимум миллиард параметров. Обучение этих моделей по одному расчету займет века. Именно здесь графические процессоры выдают свои преимущества: они могут выполнять множество простых математических вычислений одновременно, что делает их идеальными для обработки нескольких узлов нейронной сети параллельно.

Современные графические процессоры удивительно мощные. Например, последний GPU B200 от NVIDIA состоит из более чем 200 миллиардов транзисторов и поддерживает 2,250 триллионов параллельных вычислений в секунду (2,250 TFLOPS). Один лишь GPU B200 способен обрабатывать модели с до 740 миллиардами параметров. Эти машины представляют собой достижения современной инженерии, что объясняет, почему NVIDIA, продавая каждую единицу за $40,000, за последние пять лет видела рост цены своих акций более чем на 2,500%.

Дженсен Хуан представляет NVIDIA B200

Тем не менее, даже эти грозные машины не могут обучать модели ИИ в одиночку. Напомним, что во время обучения каждый экземпляр данных должен проходить через модель в прямом и обратном цикле по отдельности. Современные большие языковые модели (LLM) обучаются на наборах данных, охватывающих весь Интернет. GPT-4, например, обработал около 12 триллионов токенов (примерно 9 триллионов слов), а следующее поколение моделей, как ожидается, будет обрабатывать до 100 триллионов токенов. Использование одного графического процессора для такого огромного объема данных все равно заняло бы столетия.

Решение заключается в добавлении еще одного уровня параллелизма - создании кластеров GPU, в которых задачи обучения распределяются между многочисленными GPU, работающими как единая система. Рабочие нагрузки по обучению моделей могут быть параллелизованы тремя способами:

Параллелизм данных: Несколько GPU каждый поддерживает полную копию модели нейронной сети при обработке различных частей тренировочных данных. Каждый GPU обрабатывает свой назначенный пакет данных независимо до периодической синхронизации со всеми другими GPU. В этот период синхронизации GPU взаимодействуют друг с другом, чтобы найти коллективное среднее своих весов, а затем обновить свои индивидуальные веса так, чтобы они были идентичными. Следовательно, они продолжают обучение на своем пакете данных индивидуально, прежде чем снова синхронизироваться.

По мере роста моделей один экземпляр может стать слишком большим, чтобы поместиться на одном GPU. Например, последний GPU B200 может содержать только 740 миллиардов параметров, в то время как модель GPT-4 имеет 1,8 триллиона параметров. В этом случае не работает параллелизм данных между отдельными GPU.

Параллелизм тензоров: Этот подход решает проблему ограничения памяти путем распределения работы и весов каждого слоя модели между несколькими GPU. GPU обмениваются промежуточными вычислениями с целым кластером на каждом шаге прямого и обратного распространения. Эти GPU обычно группируются в серверы из восьми блоков, соединенные через NVLink - высокоскоростной прямой интерконнект GPU-к GPU от NVIDIA. Для этой настройки требуются соединения с высокой пропускной способностью (до 400 Гб/с) и низкой задержкой между GPU. Кластер тензоров эффективно функционирует как один огромный GPU.

Параллелизм конвейера: этот метод разделяет модель между несколькими графическими процессорами, при этом каждый графический процессор обрабатывает определенные слои. Данные проходят через эти графические процессоры последовательно, как в эстафете, где каждый бегун (GPU) управляет своей частью перед передачей эстафетной палочки. Конвейерный параллелизм особенно эффективен для подключения различных серверов с 8 графическими процессорами в центре обработки данных, используя высокоскоростные сети InfiniBand для межсерверного взаимодействия. Несмотря на то, что его требования к обмену данными превышают параллелизм данных, они остаются ниже, чем при интенсивном обмене данными между графическими процессорами тензорного параллелизма.

Масштабы современных кластеров впечатляют. GPT-4 с 1,8 триллионами параметров и 120 слоями потребовал 25 000 графических процессоров A100 для обучения. Процесс занял три месяца и обошелся более чем в 60 миллионов долларов. Возраст A100 составляет два поколения; Использование современных графических процессоров B200 потребовало бы всего около 8 000 устройств и 20 дней обучения. Еще одна демонстрация того, как быстро движется ИИ.

А вот модели класса GPT-4 уже старые игрушки. В настоящее время в центрах обработки данных, оснащенных кластерами из 100 000 графических процессоров B100 или H100 (последний на одно поколение старше), проводится обучение для следующего поколения усовершенствованных моделей. Эти кластеры, на которые приходится более 4 миллиардов долларов капитальных затрат только на графические процессоры, являются самыми мощными суперкомпьютерами человечества, обеспечивающими, по крайней мере, в четыре раза большую вычислительную мощность, чем государственные суперкомпьютеры.

Кроме обеспечения вычислительной мощности, аспиранты ASI сталкиваются с еще одной проблемой при попытке настроить эти кластеры: электричество. Каждый из этих GPU потребляет 700 Вт энергии. Когда вы объединяете 100 000 из них, весь кластер (включая вспомогательное оборудование) потребляет более 150 МВт энергии. Чтобы поставить это в контекст, этот расход равен расходу города с населением в 300 000 человек — сравнимого с Новым Орлеаном или Цюрихом.

Безумие не останавливается здесь. Большинство претендентов на ASI считают, что Законы масштабирования LLM—что говорит о том, что производительность модели предсказуемо улучшается с увеличением размера модели, размера набора данных и вычислительных ресурсов для обучения—будет продолжать оставаться верным. Уже идут планы для тренировок еще более мощных моделей. К 2025 году стоимость каждого тренировочного кластера прогнозируется свыше 10 миллиардов долларов. К 2027 году — более 100 миллиардов. По мере приближения этих цифр к инвестициям правительства США в программу Аполло становится ясно, почему достижение ИИС стало определяющей гонкой нашей эпохи.

Метрики для моделей, начиная с GPT-5, являются оценками

Поскольку потребление электроэнергии растет пропорционально размерам кластеров, в следующем году для проведения учебных запусков потребуется более 1 ГВт электроэнергии. Через год после этого 10 ГВт и более. Поскольку нет никаких признаков замедления этого роста, ожидается, что центры обработки данных будут потреблять примерно 4.5% от мирового объема к 2030 годуСуществующие энергосети, уже борюсь с текущими требованиями модели, не может обеспечить достаточную энергию для будущих кластеров. Это возникает серьезный вопрос: откуда будет браться эта энергия? Большие технологические компании идут по двум путям.

В долгосрочной перспективе единственным жизнеспособным решением для претендентов на АСИ является производство собственной электроэнергии. Учитывая их климатические обязательства, эта энергия должна поступать из возобновляемых источников. Ядерная энергетика выделяется в качестве основного решения. Амазонка недавно купленодата-центр комплекс, питаемый атомной электростанцией стоимостью 650 миллионов долларов. Microsoftнанялглава ядерных технологий ивозрождение исторической атомной электростанции Три-Майл-Айленд. Google имеет приобрел несколько малых ядерных реакторовот Kairos Power в Калифорнии. Сэм Альтман из OpenAI поддерживает стартапы в области энергетики, такие какHelion, Exowatt, и Oklo.

Корпорация Майкрософт вновь открывает атомную электростанцию в Три-Майл-Айленде (источник изображения)

В то время как семена атомной энергетики сеются сейчас, для того, чтобы плоды (или энергетика) принесли плоды, потребуется несколько лет. Как насчет требований к энергии для немедленной генерации моделей? Промежуточное решение включает в себя распределенное обучение в нескольких центрах обработки данных. Вместо того, чтобы концентрировать огромные потребности в электроэнергии в одном месте, такие компании, как Microsoft и Google, распределяют свои учебные кластеры по нескольким площадкам.

Однако вызов состоит в том, чтобы эти распределенные системы работали вместе эффективно. Даже с учетом скорости света, данные занимают примерно 43 мс для полного пути из восточного побережья США на западное - это вечность в терминах вычислений. Кроме того, даже если один чип отстает на, скажем, 10%, это приводит к замедлению всего процесса обучения на ту же величину.

Решение заключается в соединении центров обработки данных на нескольких сайтах с помощью высокоскоростных оптических сетей и применении комбинации ранее обсуждаемых методов параллелизма для синхронизации их работы. Тензорный параллелизм применяется к графическим процессорам в каждом сервере, что позволяет им функционировать как единое целое. Параллелизм конвейера, с его более низкими требованиями к сети, используется для связи серверов в одном центре обработки данных. Наконец, центры обработки данных в разных местах (называемые «островами») периодически синхронизируют свою информацию с помощью параллелизма данных.

Ранее мы отмечали, что параллелизм данных оказывается неэффективным для отдельных графических процессоров, поскольку они не могут независимо работать с большими моделями. Однако эта динамика меняется, когда мы распараллеливаем острова, каждый из которых содержит тысячи графических процессоров, а не отдельные блоки. Обучающие данные распределены по каждому острову, и эти острова периодически синхронизируются по относительно медленным (по сравнению с NVLink и Infiniband) оптоволоконным соединениям.

Центры обработки данных

Давайте сместим свое внимание с обучения и графических процессоров на самые центры обработки данных.

Двадцать лет назад Amazon запустил Amazon Web Services (AWS) - одно из самых трансформационных предприятий в истории и создал всю новую отрасль, известную как облачные вычисления. Нынешние лидеры в области облачных вычислений (Amazon, Microsoft, Google и Oracle) наслаждаются комфортным преимуществом, принося ежегодный доход в размере близком к 300 миллиардам долларов со средними маржами в 30-40%. Теперь появление искусственного интеллекта создало новые возможности на рынке, который на протяжении многих лет оставался в основном олигополистическим.

Физические требования, техническая сложность и экономика центров обработки данных, интенсивно использующих GPU в искусственном интеллекте, существенно отличаются от их традиционных аналогов.

Ранее мы обсуждали, насколько энергоемкими являются графические процессоры. Это приводит к тому, что центры обработки данных с искусственным интеллектом становятся гораздо более энергоемкими и, следовательно, производят больше тепла. В то время как традиционные центры обработки данных используют гигантские вентиляторы (воздушное охлаждение) для рассеивания тепла, такой подход не является ни достаточным, ни финансово жизнеспособным для объектов ИИ. Вместо этого центры обработки данных с искусственным интеллектом внедряют системы жидкостного охлаждения, в которых водяные блоки крепятся непосредственно к графическим процессорам и другим горячим компонентам для более эффективного и бесшумного рассеивания тепла. (Графические процессоры B200 поставляются со встроенной архитектурой). Поддержка систем жидкостного охлаждения требует добавления больших градирен, централизованной системы водоснабжения и трубопроводов для транспортировки воды ко всем графическим процессорам и от них, что является фундаментальной модификацией инфраструктуры центра обработки данных.

Помимо более высокого абсолютного энергопотребления, у центров обработки данных искусственного интеллекта есть особые требования к нагрузке. В то время как у традиционных центров обработки данных поддерживается предсказуемое потребление энергии, уровни энергопотребления при выполнении задач искусственного интеллекта гораздо более изменчивы. Эта изменчивость происходит потому, что графические процессоры периодически перемещаются между работой на 100% мощности и замедлением до близкого к остановке, когда обучение достигает контрольных точек, где веса либо сохраняются в памяти, либо, как мы видели ранее, синхронизируются с другими узлами. У центров обработки данных искусственного интеллекта требуется специализированная инфраструктура для управления этими флуктуациями нагрузки.

Создание кластеров GPU намного сложнее, чем создание обычных компьютерных облаков. Графические процессоры должны очень быстро взаимодействовать друг с другом. Для этого они должны быть упакованы очень близко друг к другу. Типичному объекту ИИ требуется более 200 000 специальных кабелей, называемых соединениями InfiniBand. Эти кабели позволяют графическим процессорам взаимодействовать. Если хотя бы один кабель перестает работать, вся система отключается. Процесс обучения не может продолжаться до тех пор, пока этот кабель не будет закреплен.

Эти требования к инфраструктуре делают почти невозможным модернизацию традиционных центров обработки данных с высокопроизводительными графическими процессорами для подготовки их к использованию в области искусственного интеллекта. Для такого обновления потребовалась бы почти полная структурная перестройка. Вместо этого компании строят новые центры обработки данных, специально разработанные для использования в области искусственного интеллекта с нуля, при этом различные организации реализуют это в разных масштабах.

На переднем плане ведущие технологические компании бросились строить свои собственные центры данных искусственного интеллекта. Meta инвестирует значительные средства в объекты исключительно для собственного развития искусственного интеллекта, рассматривая это как прямые капиталовложения, поскольку не предлагает облачных услуг. Microsoft строит подобные огромные центры для поддержки как собственных проектов по искусственному интеллекту, так и обслуживания ключевых клиентов, таких как OpenAI. Oracle также активно входит в эту сферу, привлекая внимание OpenAI в качестве значимого клиента. Amazon продолжает расширять свою инфраструктуру, особенно для поддержки развивающихся компаний по искусственному интеллекту, таких как Anthropic. xAI Элона Маска, не желая полагаться на другую компанию, выбрал построить собственный кластер из 100 000 GPU.

Внутри 100 000 H100 GPU-центра обработки данных xAI ( источник)

Вместе с предшественниками появляются «неоклауды» - специализированные провайдеры облачных вычислений, сосредоточенные исключительно на вычислениях с использованием GPU для нагрузки искусственного интеллекта. Эти неоклауды разделяются на две отдельные категории, основанные на масштабе.

Крупные провайдеры неоклауда, включая CoreWeave, Крузо, и LLama Labs, управлять кластерами из более чем 2 000 GPU. Они отличаются от традиционных облачных сервисов двумя способами: предлагая индивидуальные инфраструктурные решения вместо стандартизированных пакетов, и требуя долгосрочных обязательств со стороны клиентов вместо оплаты по факту использования.

Их бизнес-модель основана на использовании этих долгосрочных соглашений и кредитоспособности клиентов для обеспечения финансирования инфраструктуры. Доходы получаются от премиальных ставок, взимаемых за специализированные услуги, а также от прибыли от разницы между низкими затратами на финансирование и платежами клиентов.

Вот как обычно работает такая схема: поставщик неооблаков заключает трехлетний контракт с хорошо финансируемым стартапом в области искусственного интеллекта на 10 000 графических процессоров H100 с ежемесячной оплатой 40 миллионов долларов. Используя этот гарантированный поток доходов в размере 1,44 млрд долларов США, провайдер обеспечивает выгодное банковское финансирование (под 6% годовых) для покупки и установки инфраструктуры на сумму 700 млн долларов США. Ежемесячный доход в размере 40 миллионов долларов покрывает 10 миллионов долларов операционных расходов и 20 миллионов долларов в виде платежей по кредитам, генерируя 10 миллионов долларов ежемесячной прибыли, в то время как стартап получает специально разработанные выделенные вычислительные мощности.

Эта модель требует особенно тщательного выбора клиентов. Поставщики обычно ищут компании с большими денежными резервами или сильной поддержкой венчурного капитала - часто оценкой в $500 миллионов или более.

Небольшие облачные сервисы предлагают кластеры GPU в количестве 2 000 или менее и обслуживают отдельный сегмент рынка искусственного интеллекта — малые и средние стартапы. Эти компании либо обучают меньшие модели (до 70 миллиардов параметров), либо настраивают открытые модели. (Настройка — это процесс адаптации базовой модели под конкретные случаи использования.) Оба эти рабочих нагрузки требуют умеренных, но выделенных вычислительных мощностей на более короткие периоды.

Эти провайдеры предлагают вычисления по требованию почасово на фиксированное время, безпрерывный доступ к кластеру. Хотя это стоит дороже, чем долгосрочные контракты, это дает стартапам гибкость для экспериментов без обязательств на многомиллионные соглашения.

И, наконец, помимо облачных гигантов и новых облачных провайдеров, у нас есть посредники в сфере инфраструктуры искусственного интеллекта: платформы и агрегаторы. Эти посредники не владеют инфраструктурой GPU, а вместо этого связывают владельцев вычислительных ресурсов с теми, кто в них нуждается.

Поставщики платформ, такие как HydraHost и Fluidstackвыступать в качестве Shopify вычислений GPU. Точно так же, как Shopify позволяет торговцам запускать интернет-магазины без создания инфраструктуры электронной коммерции, эти платформы позволяют владельцам центров обработки данных и владельцам GPU предоставлять вычислительные услуги без разработки собственных интерфейсов для клиентов. Они предоставляют полный технический пакет для запуска бизнеса по вычислениям на GPU, включая инструменты управления инфраструктурой, системы предоставления услуг клиентам и решения по выставлению счетов.

Агрегаторы маркетплейсов, такие какVast.aiфункционировать как Amazon мира GPU. Они создают рынок, объединяя разнообразные вычислительные возможности от различных поставщиков - от видеокарт RTX для потребителей до профессиональных GPU H100. Владельцы GPU размещают свои ресурсы с подробными метриками производительности и рейтингами надежности, а клиенты приобретают вычислительное время через самообслуживание платформы.

Вывод

До сих пор наша дискуссия сосредоточена на обучении (или настройке) моделей. Однако после обучения модель должна быть развернута для обслуживания конечных пользователей - процесс, называемый выводом. Каждый раз, когда вы общаетесь с ChatGPT, вы используете GPU, запускающие рабочие нагрузки вывода, которые принимают ваш ввод и генерируют ответ модели. Давайте вернемся к обсуждению мраморных статуй на минуту.

Это также Дэвид - не оригинал Микеланджело, а гипсовый литье, заказанный королевой Викторией в 1857 году для Лондонского музея Виктории и Альберта. В то время как Микеланджело провел три утомительных года, тщательно отсекая мрамор, чтобы создать оригинал во Флоренции, этот гипсовый литье был сделан из прямого слепка статуи - идеально воспроизводя каждую кривую, угол и деталь, которые Микеланджело создал. Интенсивная творческая работа происходила один раз. После этого стало вопросом верного воспроизведения этих особенностей. Сегодня реплики Дэвида появляются повсюду, от музейных залов до двориков казино Лас-Вегаса.

Именно так работает инференс в ИИ. Обучение большой языковой модели похоже на оригинальный скульптурный процесс Микеланджело — требующий больших вычислительных ресурсов, времени и ресурсов, поскольку модель постепенно учится правильной «форме» языка с помощью миллионов крошечных корректировок. Но использование обученной модели — логического вывода — больше похоже на создание реплики. Когда вы общаетесь с ChatGPT, вы не учите его языку с нуля, а используете копию модели, параметры которой (например, точные кривые и углы Дэвида) уже доведены до совершенства.

Нагрузки на вывод отличаются от тренировки в корне. В то время как тренировка требует больших плотных кластеров с использованием последних GPU, таких как H100s, для обработки интенсивных вычислений, вывод может выполняться на одиночных GPU-серверах с использованием устаревшего оборудования, такого как A100s или даже видеокарты для потребителей, что делает его значительно более экономичным. Сказанное выше, нагрузки на вывод имеют свои собственные уникальные требования:

• Широкий географический охват: модели должны быть развернуты в нескольких центрах обработки данных по всему миру, чтобы пользователи в Сингапуре получали ответы так же быстро, как пользователи в Сан-Франциско
• Высокое время безотказной работы: в отличие от обучения, которое может быть приостановлено и возобновлено, логические выводы должны быть доступны 24 часа в сутки 7 дней в неделю, потому что пользователи ожидают мгновенных ответов в любое время
• Резервирование: Несколько серверов должны быть готовы к обработке запросов в случае сбоя или перегрузки

Эти характеристики делают рабочие нагрузки вывода идеальными для моделей спотового ценообразования. При спотовом ценообразовании ресурсы GPU доступны со значительными скидками — часто на 30–50 % ниже тарифов по требованию — с пониманием того, что обслуживание может быть приостановлено, когда клиентам с более высоким приоритетом потребуются ресурсы. Эта модель подходит для логических выводов, так как избыточное развертывание позволяет рабочим нагрузкам быстро переключаться на доступные графические процессоры в случае прерывания.

На фоне использования ГПУ и облачных вычислений на основе ИИ мы теперь можем начать исследовать, где во всем этом место занимает криптовалюта. Давайте (наконец) приступим к этому.

Какое место занимает криптовалюта

Проекты и отчеты часто цитируют наблюдение Питера Тиля о том, что «ИИ централизует, крипто-децентрализует», когда обсуждают роль крипто в обучении ИИ. Хотя заявление Тиля безусловно верно, мы только что увидели обильные доказательства явного преимущества Big Tech в обучении мощного ИИ — это часто неправильно используется для того, чтобы предположить, что крипто и децентрализованные компьютеры предлагают основное решение для противодействия влиянию Big Tech.

Такие утверждения эхом предыдущих преувеличений потенциала криптовалюты в революции социальных медиа, игр и бесчисленных других отраслей. Они не только нерациональны, но и, как я скоро укажу, нереалистичны, по крайней мере, в краткосрочной перспективе.

Вместо этого я собираюсь выбрать более прагматичный подход. Я предполагаю, что стартап в области искусственного интеллекта, ищущий вычислительные ресурсы, не интересуется принципами децентрализации или идеологическим противостоянием Big Tech. Они имеют проблему - им нужен доступ к надежным вычислениям с использованием графического процессора по самой низкой возможной цене. Если криптопроект может предложить более эффективное решение этой проблемы по сравнению с не крипто-альтернативами, они будут использовать его.

В этой связи давайте сначала поймем, с кем конкурируют криптопроекты. Ранее мы обсуждали различные категории поставщиков облачных искусственного интеллекта - крупных технологических компаний и гипермасштабных поставщиков, крупных неколоудов, малых неколоудов, поставщиков платформ и маркетплейсов.

Фундаментальный тезис децентрализованных вычислений (как и всех проектов DePIN) заключается в том, что текущий рынок вычислений работает неэффективно. Спрос на графические процессоры остается исключительно высоким, в то время как предложение остается фрагментированным и недостаточно используемым в глобальных центрах обработки данных и отдельных домах. Большинство проектов в этом секторе напрямую конкурируют с маркетплейсами, агрегируя это разрозненное предложение, чтобы уменьшить неэффективность.

После установления этого давайте рассмотрим, как эти проекты (и рынки вычислений в целом) могут помочь с различными нагрузками ИИ - обучение, настройка и вывод.

Обучение

Сначала самое главное. Нет, ASI не будет обучаться на глобальной сети децентрализованных графических процессоров. По крайней мере, не по текущей траектории искусственного интеллекта. Вот почему.

Ранее мы обсуждали, насколько большими становятся кластеры базовых моделей. Для начала конкуренции вам понадобится 100 000 самых мощных видеокарт в мире. Это число только увеличивается с каждым годом. К 2026 году стоимость обучения ожидается превысить 100 миллиардов долларов, возможно, потребуется миллион видеокарт или даже больше.

Только компании Big Tech, поддерживаемые крупными нейросетями и прямыми партнерствами с Nvidia, могут собирать кластеры такого масштаба. Помните, что мы находимся в гонке за ИИ, и все участники одновременно высоко мотивированы и капитализированы. Если бы было дополнительное количество этих многочисленных графических процессоров (чего нет), то они были бы первыми, кто их приобретает.

Даже если криптопроект каким-то образом накопил необходимые вычислительные ресурсы, развитию децентрализованного ASI препятствуют два фундаментальных препятствия:

Во-первых, для эффективной работы все еще необходимо объединять графические процессоры в большие кластеры. Даже если эти кластеры разделены на острова в городах, они должны быть связаны выделенными оптическими волоконными линиями. Ни то, ни другое невозможно в децентрализованной среде. Кроме закупки GPU, создание готовых к использованию AI-центров обработки данных требует тщательного планирования - обычно это процесс продолжительностью от одного до двух лет. (xAI сделали это всего за 122 дня, но маловероятно, что Элон запустит токен в ближайшее время.)

Во-вторых, просто создание центра обработки данных ИИ недостаточно для рождения сверхинтеллектуального ИИ. Как основатель Anthropic Дарио Амодейнедавно объяснил, масштабирование в ИИ аналогично химической реакции. Точно так же, как химическая реакция требует нескольких реагентов в точных пропорциях, успешное масштабирование ИИ зависит от трех основных компонентов, растущих согласованно: больших сетей, более длительного времени обучения и больших наборов данных. Если масштабировать один компонент без других, процесс застопорится.

Даже если нам удастся неким образом накопить как вычислительные, так и кластерные ресурсы и заставить их работать вместе, нам все равно понадобятся терабайты качественных данных, чтобы обученная модель была хорошей. Без собственных источников данных Больших Технологических компаний, возможность заключить сделки на миллионы долларов с онлайн-форумами и медиа-ресурсами или существующих моделей для создания синтетических данных, невозможно обеспечить достаточное количество обучающих данных.

В последнее время появились некоторые предположения, что законы масштабирования могут достигнуть плато, и LLMs могут потенциально достигнуть пределов производительности. Некоторые трактуют это как возможность для развития децентрализованного искусственного интеллекта. Однако это упускает из виду ключевой фактор - концентрацию талантов. Сегодня крупнейшие технологические фирмы и лаборатории по искусственному интеллекту собирают ведущих исследователей мира. Любой прорывной альтернативный путь к искусственному общемировому интеллекту, скорее всего, появится из этих центров. Учитывая конкурентное поле, такие открытия останутся под строгим контролем.

Учитывая все эти аргументы, я на 99,99% уверен, что обучение ASI — или даже самых мощных моделей в мире — не будет обучаться на децентрализованном вычислительном проекте. В таком случае, какие модели криптовалюта действительно может помочь обучить?

Чтобы модели могли быть обучены на отдельных кластерах GPU, расположенных в разных географических местах, нам нужно реализовать параллелизм данных между ними. (Напомним, что параллелизм данных - это то, как различные острова GPU, каждый работающий с отдельными порциями тренировочных данных, синхронизируются друг с другом). Чем больше модель, на которой обучаются, тем больше данных, которые нужно обмениваться между этими островами. Как мы обсудили, для передовых моделей с более чем триллионом параметров требуется достаточно большая пропускная способность, чтобы требовать выделенных оптических волоконных соединений.

Однако для более маленьких моделей требования к пропускной способности уменьшаются пропорционально. Недавние прорывы в алгоритмах обучения с низкой коммуникацией, особенно в отложенной синхронизации, создали перспективные возможности для обучения небольших и средних моделей децентрализованным образом. Две команды ведут эти экспериментальные усилия.

Nous Researchэто компания по ускорению искусственного интеллекта и ведущий участник в разработке открытого искусственного интеллекта. Они наиболее известны своей серией языковых моделей Hermes и инновационными проектами, такими как World Sim. Ранее в этом году они управляли подсетью BitTensor с рейтингом LLM в течение нескольких месяцев. Они окунулись в децентрализованные вычисления, выпустив DisTrOпроект (Distributed Training Over the Internet), где им удалось обучить модель Llama-2 с 1,2 млрд параметров с сокращением требований к интер-GPU пропускной способности в 857 раз.

Отчет DisTrO от Nous Research

Prime Intellect, стартап, развивающий инфраструктуру для масштабного децентрализованного искусственного интеллекта, стремится объединить глобальные вычислительные ресурсы и обеспечить совместное обучение передовых моделей через распределенные системы. Их фреймворк OpenDiLoCo(внедрение DeepMind’сМетод распределенной низкосвязной коммуникацииуспешно обучил модель с миллиардным количеством параметров на двух континентах и трех странах, при этом поддерживая 90-95% использования вычислительных ресурсов.

Но как работают эти децентрализованные тренировочные сессии?

Традиционный параллелизм данных требует, чтобы графические процессоры совместно использовали и усредняли свои веса после каждого шага обучения, что невозможно при подключении к Интернету. Вместо этого эти проекты позволяют каждому «острову» графических процессоров независимо обучаться в течение сотен шагов перед синхронизацией. Думайте об этом как о независимых исследовательских группах, работающих над одним и тем же проектом: вместо того, чтобы постоянно сверяться друг с другом, они добиваются значительного прогресса независимо друг от друга, прежде чем поделиться своими выводами.

DisTrO и OpenDiLoCo синхронизируются только каждые 500 шагов, используя двухфазный подход оптимизации:

• «Внутренняя» оптимизация, которая обрабатывает локальные обновления на каждом графическом процессоре, как команда, делающая локальные открытия
• «Внешний» оптимизатор, управляющий периодической синхронизацией между GPU, действуя в качестве координатора, который объединяет все результаты

Когда они синхронизируются, вместо того, чтобы делиться всеми весами, они делятся «псевдоградиентом» - по сути, разницей между их текущими весами и весами с последней синхронизации. Это замечательно эффективно, похоже на то, что передается только то, что изменилось в документе, а не отправляется весь документ каждый раз.

INTELLECT-1, практическая реализация OpenDiLoCo компанией Prime Intellect, продвигает этот подход еще дальше, обучая модель параметров 10B — крупнейшее на сегодняшний день децентрализованное обучение. Они добавили ключевые оптимизации, такие как:

• Сжатие данных, которые им нужно обменивать, делает коммуникацию намного эффективнее
• Строительство резервных систем, чтобы обучение могло продолжаться даже если некоторые компьютеры выйдут из строя
• Делает процесс синхронизации чрезвычайно быстрым — менее минуты

INTELLECT-1, обученный более чем 20 GPU-кластерами, распределенными по всему миру, недавно завершил свою работупредварительная подготовкаи вскоре будет выпущена в полностью открытом исходном коде.

Обучающая панель INTELLECT-1

Команды, как gateМакрокосмос используют аналогичные алгоритмы для Модели поездов в экосистеме Bittensor.

Если эти децентрализованные алгоритмы обучения продолжат улучшаться, они могут быть способны поддерживать модели до 100 миллиардов параметров с новым поколением графических процессоров. Даже модели такого размера могут быть очень полезны для широкого спектра сценариев использования:

1. Исследования и эксперименты с новыми архитектурами, которые не требуют вычислительных мощностей фронтира
2. Модели общего назначения меньшего размера, оптимизированные по производительности и скорости по сравнению с чистым интеллектом
3. Предметно-ориентированные модели

Тонкая настройка

Тонкая настройка — это процесс взятия предварительно обученной базовой модели (обычно с открытым исходным кодом от Meta, Mistral или Alibaba) и дальнейшего обучения ее на определенном наборе данных, чтобы адаптировать ее для конкретных задач или доменов. Это требует значительно меньше вычислений, чем обучение с нуля, так как модель уже изучила общие языковые шаблоны, и ей нужно только скорректировать свои веса для новой предметной области.

Требования к вычислительным ресурсам для точной настройки масштаба в соответствии с размером модели. При условии обучения на H100:

• Малые модели (параметры 1-7B): один графический процессор, завершение в течение 12 часов
• Средние модели (7-13B): 2-4 кластера графических процессоров, завершение в течение 36 часов
• Большие модели (>30B): до 8 кластеров GPU, завершение в течение 4 дней

Учитывая эти спецификации, точная настройка не требует сложных распределенных алгоритмов обучения, о которых ранее говорилось. Модель по требованию, где разработчики арендуют графические кластеры на короткие, сконцентрированные периоды, обеспечивает достаточную поддержку. Децентрализованные рынки вычислительных мощностей с надежной доступностью графических процессоров идеально подходят для обработки таких рабочих нагрузок.

Вывод

Инференс — это тот случай, когда децентрализованные вычислительные рынки имеют наиболее четкий путь к соответствию продукта рынку. По иронии судьбы, это наименее обсуждаемый рабочий процесс в контексте децентрализованного обучения. Это связано с двумя факторами: логическим выводом не хватает привлекательности 100 000 обучающих запусков «модели бога» на GPU, и отчасти из-за текущей фазы революции ИИ.

На сегодняшний день большая часть вычислительных ресурсов действительно идет на обучение. Гонка за ASI приводит к масштабным первоначальным инвестициям в инфраструктуру обучения. Однако этот баланс неизбежно смещается по мере того, как приложения ИИ переходят от исследований к производству. Чтобы бизнес-модель, основанная на ИИ, была устойчивой, доход, получаемый от логических выводов, должен превышать затраты на обучение и логические выводы вместе взятые. Несмотря на то, что обучение GPT-4 было чрезвычайно дорогим, это были единовременные затраты. Текущие расходы на вычислительные ресурсы — и путь OpenAI к прибыльности — обусловлены обслуживанием миллиардов запросов логических выводов для платящих клиентов.

Рынок вычислений, децентрализованный или иной, по своей природе, объединяя различные модели GPU (старые и новые) со всего мира, находится в уникальном положении для выполнения нагрузки вывода.

Рынки вычислений, будь то децентрализованные или традиционные, естественно преуспевают в нагрузках вывода, агрегируя разнообразные модели GPU (как текущие, так и устаревшие) по всему миру. Их врожденные преимущества идеально соответствуют требованиям вывода: широкое географическое распределение, постоянная работоспособность, системная резервированность и совместимость с поколениями GPU.

Но почему криптовалюта?

Мы обсудили различные рабочие процессы, в которых децентрализованные вычисления могут и не могут помочь. Теперь нам нужно ответить на другой важный вопрос: почему разработчик выберет обеспечение вычислительной мощности у децентрализованного провайдера вместо централизованного? Какие преимущества предлагают децентрализованные решения?

Ценообразование и ассортимент

Стейблкоины достигли соответствия между продуктом и рынком, предлагая превосходную альтернативу традиционным платежам через границу. Одним из главных факторов является то, что стейблкоины гораздо дешевле! Аналогично, самым главным фактором, определяющим выбор облачного провайдера для разработчика искусственного интеллекта, является стоимость. Чтобы конкурировать эффективно с децентрализованными провайдерами вычислений, им необходимо сначала обеспечить превосходную ценовую политику.

Рынок вычислений, как и все торговые площадки, является бизнесом сетевых эффектов. Чем больше предложение графических процессоров на платформе, тем выше ликвидность и доступность для клиентов, что, в свою очередь, привлекает больший спрос. По мере роста спроса это стимулирует все больше владельцев графических процессоров присоединяться к сети, создавая благотворный цикл. Увеличение предложения также обеспечивает более конкурентоспособные цены за счет лучшего соответствия и сокращения времени простоя. Когда клиенты могут постоянно находить необходимые им вычислительные ресурсы по привлекательным ценам, они с большей вероятностью будут создавать долгосрочные технические зависимости от платформы, что еще больше усиливает сетевые эффекты.

Эта динамика особенно мощна в выводе, где географическое распределение предложения фактически может улучшить предложение продукта за счет снижения задержки для конечных пользователей. Первый рынок, который достигнет этого ликвидного маховика в масштабе, получит значительное конкурентное преимущество, поскольку как поставщики, так и клиенты столкнутся с издержками переключения после интеграции с инструментами и рабочими процессами платформы.

Эффекты сетевого колеса рынка графических процессоров

В таких рынках, где победитель забирает все, загрузка сетии достижение скорости сброса - самая критическая фаза. Здесь криптовалюта предоставляет децентрализованным проектам вычислений очень мощный инструмент, которым просто не обладают их централизованные конкуренты: токеновые стимулы.

Механика может быть простой, но мощной. Протокол сначала запустит токен, который включает инфляционный график вознаграждений, возможно, распределяя начальные выделения среди ранних участников через воздушные капли. Эти эмиссии токенов будут служить основным инструментом для инициализации обеих сторон рынка.

Для поставщиков GPU структура вознаграждения должна быть тщательно разработана для формирования поведения со стороны предложения. Поставщики получали бы токены, пропорциональные их вкладу в вычислительные мощности и уровню использования, но система должна выходить за рамки простого линейного вознаграждения. Протокол может реализовать динамические множители вознаграждения для решения географических или типовых несоответствий оборудования, подобно тому, как Uber использует скачки цен для стимулирования водителей в зонах с высоким спросом.

Провайдер может получить награду в 1,5 раза больше за предоставление вычислительных мощностей в недостаточно обслуживаемых регионах или в 2 раза больше за предоставление временно недоступных типов GPU. Дальнейшая классификация системы вознаграждения на основе постоянных уровней использования будет стимулировать провайдеров поддерживать стабильную доступность, а не изменять платформы в зависимости от выгодных возможностей.

Со стороны спроса клиенты получали бы токенные вознаграждения, которые эффективно субсидировали бы их использование. Протокол мог бы предложить увеличенные вознаграждения за долгосрочные вычислительные обязательства, стимулируя пользователей создавать более глубокие технические зависимости от платформы. Эти вознаграждения могут быть дополнительно структурированы, чтобы соответствовать стратегическим приоритетам платформы, таким как захват спроса в определенной географии.

Базовые ставки для вычислений могут быть сохранены на уровне или немного ниже рыночных ставок, с протоколами, использующимиоракулы zkTLSнепрерывно мониторить и сопоставлять цены конкурентов. Затем вознаграждения в виде токенов будут служить дополнительным стимулом поверх этих конкурентных базовых тарифов. Эта двойная модель ценообразования позволит платформе поддерживать конкурентоспособность цен, используя токен-стимулы для стимулирования конкретных поведенческих моделей, укрепляющих сеть.

Распределяя токенные поощрения, как поставщики, так и клиенты начали бы накапливать долю в сети. В то время как некоторые, возможно, большинство, могут продавать эти доли, другие будут держаться за них, фактически становясь заинтересованными сторонами и пропагандистами платформы. Эти заинтересованные участники будут иметь особый интерес в успехе сети, способствуя ее росту и принятию за пределами их прямого использования или предоставления вычислительных ресурсов.

Со временем, по мере того как сеть достигает скорости побега и устанавливает сильные сетевые эффекты, эти токеновые поощрения могут быть постепенно сокращены. Естественные преимущества быть крупнейшим рынком - лучшее сопоставление, более высокая утилизация, более широкое географическое покрытие - станут самоудерживающими двигателями роста.

Как стимулирование токенов может усилить механизм GPU-рынка

Устойчивость к цензуре

При определении выгодности и диапазона важно учитывать ряд факторов, однако вопросы ограничений относятся к наиболее актуальным. Традиционные облачные провайдеры уже продемонстрировали свою готовность приостанавливать или прекращать услуги на основеполитики контента и внешние давления. Эти прецеденты вызывают законные вопросы о том, как подобные политики могут распространяться на разработку и развёртывание моделей искусственного интеллекта.

По мере того как модели искусственного интеллекта становятся более сложными и решают все более разнообразные задачи, существует реальная возможность того, что облачные провайдеры могут ввести ограничения на обучение и обслуживание моделей, аналогичные их существующим подходам к модерации контента. Это может затронуть не только контент для взрослых и спорные темы, но и законные случаи использования в областях, таких как медицинское изображение, научные исследования или творческие искусства, которые могут вызвать чрезмерно осторожные автоматические фильтры.

Децентрализованная сеть предлагает альтернативу, позволяя участникам рынка принимать свои собственные решения об инфраструктуре, потенциально создавая более свободную и непресеченную среду для инноваций.

Обратная сторона безразрешительной архитектуры заключается в том, что конфиденциальность становится более сложной. Когда вычисления распределены по сети поставщиков, а не ограничены центрами данных одного доверенного субъекта, разработчики должны внимательно относиться к безопасности данных. Хотя шифрование и доверенные среды выполнения могут помочь, есть врожденный компромисс между устойчивостью к цензуре и конфиденциальностью, которым разработчики должны управлять в зависимости от своих конкретных требований.

Доверие и обеспечение исполнения контракта

Учитывая огромный спрос на вычисления искусственного интеллекта, поставщики графических процессоров могут использовать свое положение для извлечения максимальной прибыли от успешных клиентов. В пост с прошлого года, знаменитый сольный разработчик Питер Левелс поделился тем, как он и другие разработчики столкнулись с тем, что их провайдеры внезапно увеличили цены на более чем 600% после публичного раскрытия доходов их приложения на базе искусственного интеллекта.

Децентрализованные системы могут предложить контрмеру этой проблеме — принудительное исполнение контрактов без доверия. Когда соглашения закодированы в цепочке, а не скрыты в условиях обслуживания, они становятся прозрачными и неизменными. Поставщик не может произвольно повышать цены или изменять условия посередине контракта без явного согласия через протокол.

В дополнение к ценообразованию, децентрализованные сети могут использоватьдоверенные среды выполнения (TEEs)чтобы обеспечить проверяемый расчет. Это гарантирует, что разработчики действительно получают ресурсы GPU, за которые они платят, как в терминах аппаратных характеристик, так и в отдельном доступе. Например, если разработчик платит за отдельный доступ к восьми GPU H100 для обучения модели, криптографические доказательства могут подтвердить, что их рабочие нагрузки действительно выполняются на H100 с полными 80 ГБ памяти на каждую GPU, а не молча снижаются до карт более низкого уровня или имеют общие ресурсы с другими пользователями.

Без разрешения

Децентрализованные компьютерные сети могут предоставить разработчикам по-настоящему безразрешительные альтернативы. В отличие от традиционных поставщиков, требующих обширных процедур KYC и проверок кредитоспособности, в эти сети может присоединиться любой и начать потреблять или предоставлять вычислительные ресурсы. Это значительно снижает барьеры для входа, особенно для разработчиков в развивающихся рынках или тех, кто работает над экспериментальными проектами.

Важность этой безразрешительной природы становится еще более мощной, когда мы рассматриваем будущее искусственного интеллекта. Искусственные интеллектуальные агенты только начали находить свою опору, свертикально интегрированные агентыожидается, что она превысит размер индустрии SaaS. С учетом подобныхТерминал TruthиZerebro, мы видим первые признаки того, что агенты приобретают автономность и учатся использовать внешние инструменты, такие как социальные сети и генераторы изображений.

По мере того, как эти автономные системы становятся все более сложными, им может потребоваться динамическая подготовка собственных вычислительных ресурсов. Децентрализованная сеть, в которой контракты могут исполняться без доверия с помощью кода, а не посредников, является естественной инфраструктурой для этого будущего. Агенты могут автономно заключать контракты, отслеживать производительность и корректировать использование вычислительных ресурсов в зависимости от спроса — и все это без вмешательства или утверждения человеком.

Ландшафт

Концепция децентрализованных вычислительных сетей не нова - проекты пытаются демократизировать доступ к ограниченным вычислительным ресурсам задолго до текущего бума искусственного интеллекта.Сеть Render работает с 2017 года, агрегируя ресурсы GPU для рендеринга компьютерной графики. Akashзапущенный в 2020 году для создания открытого рынка для общих вычислений. Оба проекта добились умеренного успеха в своих нишах, но теперь сосредотачиваются на рабочей нагрузке искусственного интеллекта.

Аналогично, децентрализованные сети хранения, такие как Filecoin и Arweaveрасширяются в области вычислений. Они понимают, что по мере того как искусственный интеллект становится основным потребителем как хранилищ, так и вычислений, предложение интегрированных решений имеет смысл.

Как и традиционные центры обработки данных, которые борются за конкуренцию с специализированными AI-центрами, эти устоявшиеся сети сталкиваются с трудностями в борьбе с решениями AI-native. Они не обладают необходимыми ресурсами для выполнения сложной оркестрации, требующейся для работы AI. Вместо этого они находят свою нишу, становясь поставщиками вычислительных ресурсов для других AI-специфических сетей. Например, и Render, и Akash теперь предлагают свои GPU на торговой площадке io.net.

Кто эти новые рынки, основанные на искусственном интеллекте?io.netявляется одним из ранних лидеров в сфере агрегации поставок графических процессоров корпоративного уровня, с более чем 300 000 проверенных графических процессоров в своей сети. Они утверждают, что предлагают экономию затрат в размере 90% по сравнению с централизованными старожилами и достигли ежедневного дохода более 25 000 долларов (9 млн долларов в годовом исчислении). Аналогично,Aethirсобирает более 40 000 графических процессоров (включая 4 000+ H100) для обслуживания искусственного интеллекта и облачных вычислений.

Ранее мы обсуждали, как Prime Intellect создает фреймворки для децентрализованного обучения в масштабе. Помимо этих усилий, они также предоставляют Рынок GPUгде пользователи могут арендовать H100 по запросу.Gensynеще один проект, сделанный ставку на децентрализованное обучение с похожим обучающим каркасом плюс подход рынка GPU.

Несмотря на то, что все эти рынки не зависят от рабочей нагрузки (они поддерживают как обучение, так и логический вывод), некоторые проекты сосредоточены только на выводе — децентрализованной вычислительной рабочей нагрузке, которая нас больше всего интересует. Главным из них является Exo Labs, который позволяет пользователям запускать LLM передового уровня на повседневных устройствах. Они разработали платформу с открытым исходным кодом, которая позволяет распределять задачи инференса ИИ на нескольких устройствах, таких как iPhone, Android и Mac. Они недавно продемонстрированоработающая на модели 70-B (масштабируемая до 400-B) распределенная по четырем M4 Pro Mac Mini.

Основная инфраструктура

Когда Сатоши запустил Bitcoin в 2008 году, его преимущества — цифровое золото с жестким предложением и устойчивые к цензуре деньги — были чисто теоретическими. Традиционная финансовая система, несмотря на свои недостатки, функционировала. Центральные банки еще не начали непревзойденное печатание денег. Международные санкции не были направлены против целых экономик. Необходимость в альтернативе казалась академической, а не срочной.

Для того чтобы теоретические преимущества биткоина превратились в конкретную ценность, потребовалось десятилетие количественного смягчения монетарной политики, достигшего своего апогея в период COVID-эры. Сегодня, когда инфляция разрушает сбережения, а геополитические напряжения угрожают доминированию доллара, роль биткоина в качестве «цифрового золота» перешла от мечты киберпанка к активу, принятому институтами и государствами.

Этот шаблон повторялся с стейблкоинами. Как только появилась универсальная блокчейн-платформа в Ethereum, стейблкоины сразу стали одним из самых перспективных случаев использования. Тем не менее, потребовались годы постепенных улучшений в технологиях и экономиках стран, таких как Аргентина и Турция, чтобы стейблкоины превратились из нишевого криптоинноваций в критическую финансовую инфраструктуру, передвигающую трллионы долларов в годовом объеме.

Криптовалюта по своей природе является защитной технологией - инновации, которые кажутся ненужными в хорошие времена, но становятся неотъемлемыми во время кризисов. Необходимость в таких решениях становится очевидной только тогда, когда существующие системы терпят неудачу или показывают свои истинные цвета.

Сегодня мы живем в золотой эпохе искусственного интеллекта. Венчурный капитал свободно течет, компании соревнуются, предлагая самые низкие цены, а ограничения, если они есть, редки. В такой среде децентрализованные альтернативы могут показаться не нужными. Зачем заниматься сложностями токеномики и систем доказательств, когда традиционные поставщики работают прекрасно?

Но, опираясь на крупные технологические волны прошлого, эта благотворность является временной. Мы находимся на ранней стадии революции искусственного интеллекта, которая продолжается всего два года. По мере зрелости технологии и появления победителей в гонке за искусственным интеллектом, их истинная сила станет очевидной. Те же компании, которые сегодня предлагают щедрый доступ, в конечном итоге установят контроль - через ценообразование, политику, разрешения.

Это не просто еще один цикл технологий на кону. ИИ становится новым основанием цивилизации - линзой, через которую мы будем обрабатывать информацию, создавать искусство, принимать решения и в конечном итоге эволюционировать как вид. Вычисление - это не просто ресурс; это валюта самого интеллекта. Те, кто контролируют его поток, будут формировать когнитивный фронтир человечества.

Децентрализованный вычислительный центр не сводится к предложению более дешевых графических процессоров или более гибких вариантов развертывания (хотя для успешного развития он должен обеспечить и то, и другое). Это означает обеспечение доступа к искусственному интеллекту — наиболее трансформационной технологии человечества — без цензуры и власти. Это наш щит от неизбежного будущего, в котором несколько компаний диктуют не только, кто может использовать искусственный интеллект, но и как им можно пользоваться.

Мы строим эти системы сегодня не потому, что они немедленно необходимы, а потому, что они будут неотъемлемы завтра. Когда искусственный интеллект станет так же фундаментальным для общества, как деньги, доступные без разрешения вычисления не будут только альтернативой, они будут так же важными для сопротивления цифровому гегемонизму, как Bitcoin и стейблкоины для сопротивления финансовому контролю.

Гонка за искусственным сверхинтеллектом может быть вне досягаемости децентрализованных систем. Но гарантировать доступность плодов этого интеллекта для всех? В этом стоит участвовать в гонке.

Отказ от ответственности:

1. Эта статья перепечатана из [Decentralised.co]. Forward the Original title: Децентрализованный вычислительный. Все авторские права принадлежат оригинальному автору [Шлок Кхемани]. Если есть возражения против этой публикации, пожалуйста, свяжитесь с Gate Learnкоманда и они оперативно справятся с этим.
2. Отказ от ответственности: Взгляды и мнения, выраженные в этой статье, являются исключительно взглядами автора и не являются инвестиционным советом.
3. Переводы статьи на другие языки выполняются командой gate Learn. Если не указано иное, копирование, распространение или плагиат переведенных статей запрещены.