Статья Ars Technica, опубликованная сегодня, исследует вопрос о способности крупных языковых моделей к нелингвистическому рассуждению и ссылается на исследования, утверждающие, что обработка в "скрытом пространстве" может помочь искусственному интеллекту решать сложные логические проблемы. Давайте продолжим чтение, чтобы разобраться в деталях.
До сих пор крупные языковые модели добились огромного успеха, используя свою трансформаторную архитектуру, чтобы эффективно предсказать следующее слово (то есть языковой токен), необходимое для ответа на запрос. Однако когда речь идет о сложных задачах абстрактного логического рассуждения, некоторые исследователи обнаружили, что попытка объяснить все через этот "языковой пространственный" подход может вызвать определенные проблемы, даже для современных "рассуждающих" моделей.
В настоящее время исследователи пытаются решить эти проблемы, разрабатывая модели, которые могут полностью вычислять потенциальные логические решения в «пространстве потенциала» - скрытом вычислительном слое перед генерацией языка переключателем. Хотя такой подход не приводит к революционным изменениям в способности моделей к рассуждению, он действительно значительно повышает точность некоторых типов логических задач и указывает на интересные направления для новых исследований.
**Минуточку, какое пространство? **
Современные модели рассуждения, такие как o1 в ChatGPT, работают, создавая 'цепочку мыслей'. В этих моделях каждый шаг логического процесса представлен в виде последовательности токенов на естественном языке и обратно связан с моделью.
В новой статье исследователи Meta базовой команды и исследователи из Университета Калифорнии в Сан-Диего рассматривают эту зависимость от естественного языка и "словесных меток" как "основное ограничение" для этих моделей рассуждения. Это связано с тем, что успешное выполнение задачи рассуждения часто требует сложного планирования для определенных ключевых меток, чтобы найти правильный логический путь из множества вариантов.
!
На рисунке показано, что каждый шаг в стандартной модели проходит через преобразователь, в отличие от модели COCONUT, где используется скрытое «потенциальное» состояние. (Источник изображения: Training Large Language Models to Reason in a Continuous Latent Space)
Исследователи отмечают, что в текущей модели цепочки мышления метки слов обычно генерируются для обеспечения «связности текста» и «плавности», в то время как их вклад в фактический процесс рассуждения незначителен. Вместо этого они предлагают «идеальным случаем является возможность свободного рассуждения большими языковыми моделями без каких-либо языковых ограничений, а затем переводить их открытия в язык только при необходимости».
Для реализации этой «идеи» исследователи описали метод «обучения большой языковой модели рассуждать в непрерывном скрытом пространстве», как указано в заголовке статьи. Это «скрытое пространство» по сути состоит из набора «скрытых» весовых маркеров, которые являются человекочитаемыми версиями естественного языка внутреннего состояния модели до генерации этого состояния переходника.
В модели COCONUT (Continuous Cognitive Chain) исследователей скрытое состояние кодируется как "скрытое мышление", которое заменяет отдельные письменные шаги логическим порядком при обучении и обработке запросов. Исследователи отмечают, что это избавляет от необходимости преобразования каждого шага в естественный язык и "освобождает рассуждение из языкового пространства", что приводит к оптимизированному пути рассуждения, который они называют "продолжительное мышление".
Более широкий обзор
Хотя обработка логики в скрытом пространстве имеет определенные преимущества для повышения эффективности модели, более важным является то, что эта модель может «одновременно кодировать несколько последующих шагов». Обработка логики в «скрытом пространстве» позволяет осуществлять мгновенный обратный ход, который исследователи сравнивают с поиском в ширину в графе. Вместо «жадного» процесса, полного и последовательного поиска всех логических вариантов.
Исследователи пишут, что эта внезапная, синхронная особенность обработки будет проявляться при тестировании, даже если модель не обучена явно. «Хотя модель может изначально не принимать правильных решений, она может сохранять множество возможных выборов в непрерывном мышлении под руководством некоторых скрытых ценностных функций и постепенно устранять неправильные пути через рассуждение», - пишут они.
!
Эта карта наглядно демонстрирует различные способы, которыми различные модели могут терпеть неудачу в некоторых видах логического вывода. (Источник изображения: Обучение больших языковых моделей для рассуждения в непрерывном латентном пространстве)
В сравнении с традиционной цепочкой мышления этот многопуть не действительно повышает точность COCONUT в относительно простых математических тестах (GSM8K) или обычных тестах рассуждения (ProntoQA). Однако исследователи обнаружили, что эту модель относительно лучше проявляет себя в наборе случайно сгенерированных запросов в стиле ProntoQA, которые включают сложные и извилистые наборы логических условий (например, «каждое яблоко является фруктом, каждый фрукт является пищей и так далее»).
Для этих задач стандартные модели цепочечного мышления часто застревают в тупике при попытке решить логические цепочки и даже создают полностью вымышленные правила. Предыдущие исследования также показали, что «устно» логические шаги, выходящие из моделей цепочечного мышления, «фактически могут использовать потенциальные процессы рассуждения, отличные от общих процессов рассуждения».
Новое исследование присоединяется к растущему количеству исследований, направленных на понимание и использование того, как большие языковые модели работают на уровне лежащих в их основе нейронных сетей. Несмотря на то, что в этом типе исследований не было сделано никаких серьезных прорывов, исследователи считают, что предварительно обученные модели с таким «непрерывным мышлением» с самого начала могут «позволить моделям более эффективно обобщать в более широком диапазоне сценариев вывода».
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
У больших языковых моделей есть способность к неречевому мышлению?
Источник: Quantum
Статья Ars Technica, опубликованная сегодня, исследует вопрос о способности крупных языковых моделей к нелингвистическому рассуждению и ссылается на исследования, утверждающие, что обработка в "скрытом пространстве" может помочь искусственному интеллекту решать сложные логические проблемы. Давайте продолжим чтение, чтобы разобраться в деталях.
До сих пор крупные языковые модели добились огромного успеха, используя свою трансформаторную архитектуру, чтобы эффективно предсказать следующее слово (то есть языковой токен), необходимое для ответа на запрос. Однако когда речь идет о сложных задачах абстрактного логического рассуждения, некоторые исследователи обнаружили, что попытка объяснить все через этот "языковой пространственный" подход может вызвать определенные проблемы, даже для современных "рассуждающих" моделей.
В настоящее время исследователи пытаются решить эти проблемы, разрабатывая модели, которые могут полностью вычислять потенциальные логические решения в «пространстве потенциала» - скрытом вычислительном слое перед генерацией языка переключателем. Хотя такой подход не приводит к революционным изменениям в способности моделей к рассуждению, он действительно значительно повышает точность некоторых типов логических задач и указывает на интересные направления для новых исследований.
**Минуточку, какое пространство? **
Современные модели рассуждения, такие как o1 в ChatGPT, работают, создавая 'цепочку мыслей'. В этих моделях каждый шаг логического процесса представлен в виде последовательности токенов на естественном языке и обратно связан с моделью.
В новой статье исследователи Meta базовой команды и исследователи из Университета Калифорнии в Сан-Диего рассматривают эту зависимость от естественного языка и "словесных меток" как "основное ограничение" для этих моделей рассуждения. Это связано с тем, что успешное выполнение задачи рассуждения часто требует сложного планирования для определенных ключевых меток, чтобы найти правильный логический путь из множества вариантов.
!
На рисунке показано, что каждый шаг в стандартной модели проходит через преобразователь, в отличие от модели COCONUT, где используется скрытое «потенциальное» состояние. (Источник изображения: Training Large Language Models to Reason in a Continuous Latent Space)
Исследователи отмечают, что в текущей модели цепочки мышления метки слов обычно генерируются для обеспечения «связности текста» и «плавности», в то время как их вклад в фактический процесс рассуждения незначителен. Вместо этого они предлагают «идеальным случаем является возможность свободного рассуждения большими языковыми моделями без каких-либо языковых ограничений, а затем переводить их открытия в язык только при необходимости».
Для реализации этой «идеи» исследователи описали метод «обучения большой языковой модели рассуждать в непрерывном скрытом пространстве», как указано в заголовке статьи. Это «скрытое пространство» по сути состоит из набора «скрытых» весовых маркеров, которые являются человекочитаемыми версиями естественного языка внутреннего состояния модели до генерации этого состояния переходника.
В модели COCONUT (Continuous Cognitive Chain) исследователей скрытое состояние кодируется как "скрытое мышление", которое заменяет отдельные письменные шаги логическим порядком при обучении и обработке запросов. Исследователи отмечают, что это избавляет от необходимости преобразования каждого шага в естественный язык и "освобождает рассуждение из языкового пространства", что приводит к оптимизированному пути рассуждения, который они называют "продолжительное мышление".
Более широкий обзор
Хотя обработка логики в скрытом пространстве имеет определенные преимущества для повышения эффективности модели, более важным является то, что эта модель может «одновременно кодировать несколько последующих шагов». Обработка логики в «скрытом пространстве» позволяет осуществлять мгновенный обратный ход, который исследователи сравнивают с поиском в ширину в графе. Вместо «жадного» процесса, полного и последовательного поиска всех логических вариантов.
Исследователи пишут, что эта внезапная, синхронная особенность обработки будет проявляться при тестировании, даже если модель не обучена явно. «Хотя модель может изначально не принимать правильных решений, она может сохранять множество возможных выборов в непрерывном мышлении под руководством некоторых скрытых ценностных функций и постепенно устранять неправильные пути через рассуждение», - пишут они.
!
Эта карта наглядно демонстрирует различные способы, которыми различные модели могут терпеть неудачу в некоторых видах логического вывода. (Источник изображения: Обучение больших языковых моделей для рассуждения в непрерывном латентном пространстве)
В сравнении с традиционной цепочкой мышления этот многопуть не действительно повышает точность COCONUT в относительно простых математических тестах (GSM8K) или обычных тестах рассуждения (ProntoQA). Однако исследователи обнаружили, что эту модель относительно лучше проявляет себя в наборе случайно сгенерированных запросов в стиле ProntoQA, которые включают сложные и извилистые наборы логических условий (например, «каждое яблоко является фруктом, каждый фрукт является пищей и так далее»).
Для этих задач стандартные модели цепочечного мышления часто застревают в тупике при попытке решить логические цепочки и даже создают полностью вымышленные правила. Предыдущие исследования также показали, что «устно» логические шаги, выходящие из моделей цепочечного мышления, «фактически могут использовать потенциальные процессы рассуждения, отличные от общих процессов рассуждения».
Новое исследование присоединяется к растущему количеству исследований, направленных на понимание и использование того, как большие языковые модели работают на уровне лежащих в их основе нейронных сетей. Несмотря на то, что в этом типе исследований не было сделано никаких серьезных прорывов, исследователи считают, что предварительно обученные модели с таким «непрерывным мышлением» с самого начала могут «позволить моделям более эффективно обобщать в более широком диапазоне сценариев вывода».