Un ESP32 permet à une IA de piloter un iPhone sans jailbreak
Un développeur montre comment un microcontrôleur ESP32-S3, couplé à la diffusion d'écran AirPlay et à un pipeline Gstreamer, permet à un agent d'IA de contrôler un iPhone en émulant souris et clavier USB, sans compte développeur Apple ni Mac.
Faire exécuter des tâches à un agent d'intelligence artificielle sur un iPhone ne nécessite ni jailbreak ni chaîne de développement Apple complète. Le développeur Henry Yuan a présenté une méthode qui combine un microcontrôleur ESP32-S3, la diffusion d'écran AirPlay et un pipeline vidéo pour donner à une IA le contrôle total de l'appareil, rapporte le site spécialisé Hackaday.
Le principe repose sur deux briques distinctes. Pour que l'agent connaisse l'état de l'écran, le téléphone est mis en miroir via AirPlay vers un récepteur logiciel libre, UxPlay. Un pipeline Gstreamer transforme ensuite ce flux en une succession d'images JPEG, transmises à l'agent d'IA choisi. L'agent dispose ainsi en temps réel de ce qui s'affiche sur le téléphone, condition indispensable pour décider des actions à entreprendre.
Le contrôle, lui, passe par un ESP32-S3 configuré en périphérique USB-HID. Le microcontrôleur se fait passer pour une souris et un clavier USB aux yeux de l'iPhone. En activant AssistiveTouch dans iOS, fonction d'accessibilité destinée à l'origine aux utilisateurs ayant des difficultés motrices, l'agent peut déplacer un curseur, cliquer et saisir du texte. C'est ensuite à l'IA de déterminer la séquence d'actions adaptée à l'objectif fixé, une étape forcément dépendante du cas d'usage.
L'approche peut sembler détournée, mais elle présente un avantage de taille : elle ne réclame ni compte développeur Apple, ni Xcode, ni ordinateur Mac. L'ensemble du montage repose sur du matériel et des logiciels accessibles, ce qui abaisse considérablement la barrière à l'expérimentation. Un simple microcontrôleur suffit là où il faudrait normalement des outils propriétaires et une configuration logicielle lourde.
Cette démonstration s'inscrit dans un contexte plus large d'engouement pour le détournement créatif des appareils Apple. Les microcontrôleurs ESP32, bon marché et polyvalents, sont déjà très prisés des makers pour des projets domotiques ou robotiques. Les détourner en pont entre une IA et un smartphone illustre une tendance de fond : l'automatisation d'interfaces conçues pour l'humain, sans passer par les canaux officiels des fabricants.
La méthode soulève néanmoins des questions. Donner à un agent autonome la main sur un téléphone expose à des risques de sécurité et de confidentialité, notamment si l'appareil contient des données sensibles. Elle interroge aussi sur l'usage réel de ce type de montage : au-delà de l'expérimentation technique, les cas d'usage concrets restent à définir, l'agent devant encore interpréter correctement l'écran et enchaîner les bonnes actions sans supervision.
Reste que la démonstration prouve qu'une IA peut interagir physiquement avec un iPhone par des moyens détournés et peu coûteux. Une piste qui pourrait intéresser autant les chercheurs en interaction homme-machine que les amateurs d'automatisation, à condition de mesurer les implications en matière de sécurité et de vie privée.
4
