iPhone Use: управление реальным iPhone через USB с использованием Codex

iPhone Use: управление реальным iPhone через USB с использованием Codex

iPhone Use — это инструмент для управления реальным iPhone через USB с использованием Codex, позволяющий устанавливать приложения, автоматизировать задачи и отображать экран устройства в реальном времени.

Он решает задачу взаимодействия с iPhone без необходимости вручную устанавливать приложения или выполнять рутинные действия, что полезно для разработчиков, тестировщиков и пользователей, нуждающихся в автоматизации на устройствах iOS. В отличие от других решений, iPhone Use использует WebDriverAgent для обеспечения устойчивой связи и позволяет взаимодействовать с интерфейсом приложения через простые текстовые команды.

Проект написан на Python и требует macOS с установленным Xcode, а также предварительной установки WebDriverAgent на устройство. Учти, что репозиторий приватный, поэтому потребуется доступ к GitHub или исходный код. Сборка и запуск требуют несколько шагов, указанных в README. Обрати внимание на возможность отключения сборов аналитики, если это важно для твоего проекта.

Проект **iPhone Use** позволяет управлять реальным iPhone через USB, используя такие инструменты, как Codex и WorkBuddy. Основная идея заключается в том, чтобы с помощью естественного языка задавать задачи, которые помощник выполняет, такие как открытие приложений, чтение страниц, ввод текста и взаимодействие с пользовательским интерфейсом, при этом отображая экран устройства в реальном времени.

Для связи с iPhone используется WebDriverAgent (WDA). Проект включает в себя локальный сервис MCP, различные навыки и виджеты для отображения экрана. Позаботьтесь о том, чтобы настройки WDA были выполнены до установки и запуска iPhone Use.

Как установить и запустить

Чтобы установить и настроить iPhone Use, нужно выполнить несколько шагов:

git clone https://github.com/zhongerxin/iPhone-use.git
cd iPhone-use
sh scripts/install.sh

После установки возможно потребуется перезагрузить или открыть новый чат в Codex, чтобы активировать инструменты. Также необходимо установить и запустить WDA на своем iPhone. В этом процессе вам потребуется использовать свой Apple ID для подписи и установки WDA Runner через Xcode.

Зависимости и требования

Проект имеет несколько зависимостей:

  • macOS и инструменты Codex, WorkBuddy или Doubao
  • Полный Xcode, необходим для компиляции и установки WDA
  • Apple ID и команда разработчиков для подписи WDA
  • USB-кабель для подключения iPhone
  • Python версии 3.9 и выше
  • Node.js версии 20.19 или выше

Обратите внимание, что iPhone должен быть разблокирован и находиться в режиме разработчика. Проект не требует джейлбрейка или отдельной установки Appium Server. WDA управляется через процесс, который автоматизирует задачи установки и запуска.

Что проект может делать

Функциональные возможности iPhone Use включают:

  • Навигация и управление приложениями на iPhone
  • Чтение страниц и получение текстов с экрана
  • Ввод текста и работа с длинными сообщениями
  • Группировка действий в "пакеты" для оптимизации работы
  • Отображение экрана устройства с визуальными подсказками для управления

Примеры команд для использования:

用 iPhone Use 打开备忘录,新建一条草稿,输入下面的中文内容,核对文字后保留。

Ограничения и аспекты безопасности

Проект отправляет анонимные статистические данные об использовании, такие как количество запусков и вызовов инструментов. Однако, если тебя это беспокоит, можно отключить сбор данных, установив переменные окружения IPHONE_USE_ANALYTICS=0 или DO_NOT_TRACK=1.

Обратите внимание, что для выполнения некоторых действий может потребоваться ручное подтверждение (например, для ввода паролей или подтверждений на устройстве). Важно следить за состоянием подключения и убедиться, что устройство доверяет твоему компьютеру.

Проект требует определённых ресурсов и настроек перед использованием, поэтому внимательно следуй инструкциям в README для успешной установки и запуска.

Открыть на GitHub: zhongerxin/iPhone-use →

Что нового на GitHub — короткие обзоры на русском Новые обзоры приходят в Telegram. Без спама, по делу.
Подписаться

Похожие статьи

Популярные темы на сайте