ESP32 iPhone Agent: управление устройствами с iPhone через ESP32

15.10.2026 onehumanbeing/esp32-iphone-agent C ★ 2.3k AI и LLM 3 мин

ESP32 iPhone Agent — проект, позволяющий использовать обычный iPhone вместе с недорогой платой ESP32 для управления устройством без необходимости в компьютере или джейлбрейке.

Основная задача — упрощение доступа AI-моделей к iPhone, используя AirPlay для отображения экрана и USB HID для управления. Это решение подойдёт разработчикам, заинтересованным в применении OpenAI-совместимых моделей для автоматизации задач, таких как установка будильников или других взаимодействий с iOS. Модульность и низкая цена в $7 делают проект привлекательным для экспериментов и прототипирования.

Проект написан на C и использует плату ESP32-S3. Стартовать можно просто установив приложение на iPhone и подключив плату по Bluetooth. Учти, что это решение не требует Mac или аккаунта разработчика, но документов по настройке может быть недостаточно, так как проект находится в стадии активной разработки.

Проект ESP32 iPhone Agent позволяет управлять iPhone с помощью ESP32 — платы за $7. Это решение не требует компьютера и взлома телефона. Оно обеспечивает управление iPhone через AirPlay и подключение по Bluetooth без сложности настройки.

Как это работает: Плата ESP32-S3 создает собственную точку доступа Wi-Fi, к которой подключается iPhone для передачи видео в реальном времени. Она выступает в роли AirPlay-приемника и USB HID-устройства, что позволяет использовать ее функции, как мышь и клавиатуру, для управления iPhone. Приложение на iPhone обрабатывает поток, отправляет его в модель OpenAI для анализа и выполняет действия, такие как нажатия или ввод текста.

Как установить и запустить

Процесс установки включает несколько шагов:

Прошивка платы: Установи arduino-cli и необходимые библиотеки, после чего подключи плату к Mac и выполни команду:

hardware/flash.sh

Установка приложения: Скопируй файл конфигурации и открой проект в Xcode:

cp ios/Config/Local.xcconfig.example ios/Config/Local.xcconfig
open ios/IPhoneAgent.xcodeproj

Настройка приложения: Подключи плату к iPhone и открой приложение. Приложение поможет пройти процесс подключения, включая настройку Bluetooth и AirPlay.
Задача: Введи команду для выполнения, например, «Открыть настройки и перейти к Wi-Fi», и нажми **Start**.

Ограничения

Несмотря на удобство, проект имеет некоторые ограничения:

Качество трансляции ограничено — разрешение 480x1040, скорость 300-500 кбит/с и максимальная частота 5 кадров в секунду.
Некоторые экраны, такие как экран ввода пароля или Apple Pay, не могут быть зеркальными.
Во время работы приложение использует мобильные данные для подключения к модели, так как Wi-Fi займет точка доступа от платы.
Поддерживается только ввод ASCII-символов; работа с ландшафтными приложениями пока не доступна.

Краткие итог

Этот проект позволяет использовать ESP32 для управления iPhone без компьютера и jailbreak'а с учетом простоты установки и использования. Он подходит для автоматизации задач, однако ограничения по скорости и виду зеркалирования могут сказываться на функциональности.

Открыть на GitHub: onehumanbeing/esp32-iphone-agent →