Новая функция Claude Code: ИИ напрямую управляет вашим Mac-экраном — от написания кода в терминале до тестирования сценария «под ключ» с кликами

ChainNewsAbmedia

Anthropic представила для своего ИИ-инструмента по управлению кодом Claude Code совершенно новую функцию «Computer Use» («управление компьютером») в формате Research Preview (исследовательского превью), открыв ее для пользователей macOS. Эта функция позволяет Claude напрямую управлять экраном компьютера пользователя: открывать приложения, нажимать кнопки, вводить текст, делать скриншоты и связывать в рамках одного и того же диалога полный рабочий процесс — от написания кода до UI-тестирования — не выходя из терминала.

Что Claude может помочь тебе «нажимать»?

Согласно официальной технической документации, Computer Use в первую очередь предназначена для задач, которые требуют графического интерфейса (GUI), то есть тех вещей, которые обычно приходится отложить терминал и делать самому:

Создание и верификация нативных приложений: попроси Claude написать macOS-приложение с меню-панелью — он сам скомпилирует, запустит и последовательно нажмет все элементы управления, подтверждая, что функции работают; ты даже не успеешь открыть это приложение.

Сквозное UI-тестирование: укажи на локальное приложение Electron и скажи «протестировать новый пользовательский сценарий» — Claude откроет приложение, нажмет шаг регистрации и сделает скриншоты каждого экрана. Не нужно настраивать Playwright, не нужно тестовых фреймворков.

Отладка визуальных и верстальных проблем: скажи Claude «этот Modal обрезается на маленьком окне» — он уменьшит окно, воспроизведет баг, сделает скриншоты, изменит CSS и снова подтвердит, что проблема исправлена — он видит ту же картину, которую видишь ты.

Инструменты только с GUI: дизайнерские инструменты, аппаратные панели управления, iOS Simulator или любое специализированное ПО, где нет CLI или API.

Приоритет выбора инструментов Claude

Computer Use — это «самый распространенный, но и самый медленный» инструмент: Claude выбирает самый точный способ в порядке приоритетов:

Есть соответствующий MCP Server → использовать MCP

Это командная строка Shell → использовать Bash

Это операции в браузере и есть настройка Claude in Chrome → использовать расширение Chrome

Если ничего из этого не подходит → тогда включается Computer Use

То есть управление экраном зарезервировано для сценариев, когда другими способами никак не добраться: нативные приложения, эмуляторы, инструменты без API.

Как включить Computer Use

Computer Use предоставляется в виде встроенного MCP Server (имя:

computer-use

), по умолчанию выключенного; его нужно вручную включить:

В интерактивной сессии Claude Code выполни /mcp, найди в списке computer-use (показано как отключенное)

Выбери Enable, настройки сохраняются персистентно для проекта; для каждого проекта нужно настроить только один раз

При первом предоставлении Claude возможности управлять компьютером macOS запросит два разрешения: Accessibility (Универсальный доступ) и Screen Recording (Запись экрана). После выдачи прав выбери «Попробовать снова»; в некоторых случаях может потребоваться перезапуск Claude Code

Каждый раз для каждой сессии нужно выдавать разрешение приложению по очереди

Включить

computer-use

не означает, что Claude может управлять всеми приложениями на твоем компьютере. Каждый раз, когда в рамках сессии Claude впервые требуется управлять каким-то приложением, терминал покажет подсказку с сообщением:

Какие приложения Claude хочет контролировать

Нужно ли запросить дополнительные права (например, доступ к буферу обмена)

Сколько других приложений будет скрыто во время работы

Выбери «Разрешить для этой сессии» или «Отклонить»; разрешение действительно только в рамках текущей сессии. Для приложений с широкими правами на системный доступ система также дополнительно выведет предупреждение:

Как Claude будет работать на твоем экране

Полная блокировка с эксклюзивным доступом: после запуска Computer Use он получает исключительную блокировку уровня машины; если другая сессия Claude Code уже использует компьютер, новый запрос завершится ошибкой с подсказкой сначала завершить другую сессию.

Временно скрытые другие приложения: когда Claude начинает управлять экраном, видимые неразрешенные приложения будут скрыты, чтобы Claude взаимодействовал только с разрешенными приложениями. Окно терминала остается видимым и не будет снято на скриншот; ты можешь наблюдать в реальном времени, а Claude не сможет видеть свой собственный вывод. После завершения Claude скрытые приложения автоматически восстановятся.

В любой момент можно прервать: после получения блокировки macOS покажет уведомление «Claude is using your computer · press Esc to stop». Нажми в любой момент

Esc

или в терминале Ctrl+C — чтобы немедленно прервать; Claude освободит блокировку, восстановит все приложения и вернет контроль.

Механизмы безопасности и границы доверия

Официальная документация особо подчеркивает: в отличие от сандбоксированной утилиты Bash, Computer Use непосредственно выполняется в твоей среде рабочего стола, поэтому границы доверия другие. Встроенные защитные меры включают:

Разрешение по приложению: Claude может управлять только теми приложениями, которые явно разрешены в рамках текущей сессии

Предупреждение-«сторож»: приложениям, которым предоставляется доступ к Shell, файловой системе или системным настройкам, перед выдачей прав будет поставлена специальная метка

Автоматическая встраиваемая подсказка для обнаружения: Claude проверяет содержимое на экране и помечает потенциальные атаки с внедрением подсказок

Условия и ограничения

Требуется подписка Pro или Max (для Team и Enterprise не подходит)

Нужно Claude Code версии v2.1.85 или выше

В настоящее время поддерживается только macOS (стадия Research Preview)

Требуется использовать в интерактивной сессии; не поддерживается неинтерактивный режим (флаг -p)

Браузеры и торговые платформы и т.п. — только «режим просмотра»; терминал и IDE — «режим кликов»; другие приложения — полный контроль

MacRumors отмечает, что по сравнению с конкурентами Claude’s Computer Use использует более строгую приоритизацию разрешений, и сейчас она ограничена только Mac, тогда как другие решения уже поддержали macOS, Windows и Linux.

Для разработчиков главная ценность этой функции — сократить цикл «написал код → протестировал → исправил баг»; Claude не только пишет код, но и лично смотрит на твой экран, проверяя результат.

Предупреждение о рисках Инвестиции в криптовалюту сопряжены с высокой степенью риска, ее цена может резко колебаться, и вы можете потерять весь вложенный капитал. Пожалуйста, внимательно оцените риски.

Эта статья Новая функция Claude Code: ИИ напрямую управляет твоим Mac-экраном, от написания кода в терминале до кликового тестирования «под ключ» впервые появилась на 链新闻 ABMedia.

Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к Отказу от ответственности.
комментарий
0/400
Нет комментариев