Дозволити AI-помічнику з програмування безпосередньо керувати робочим столом: нативний CLI-інструмент Zig usecomputer з відкритим кодом, сумісний з Claude Code та Codex

Згідно з моніторингом 1M AI News, відкритий розробник Tommaso De Rossi випустив командний рядок для автоматизації робочого столу usecomputer, написаний на Zig у вигляді нативного двійкового файлу, без залежності від середовища Node.js, що дозволяє AI-помічнику програмування (Claude Code, Codex, OpenCode тощо) безпосередньо керувати мишею, клавіатурою та знімками екрана на робочому столі. Підтримуються macOS та Linux (X11, Wayland через XWayland).

usecomputer надає CLI-команди для знімків екрана, переміщення/клацання/перетягування/прокрутки миші, введення з клавіатури та складання гарячих клавіш, а також має систему відображення координат (coord-map), яка автоматично перетворює піксельні координати знімків у реальні координати екрана. За замовчуванням знімки масштабуються так, щоб найдовша сторона становила 1568 пікселів для кращої інтеграції з контекстом моделі. Інструмент також підтримує Kitty Graphics Protocol: після налаштування змінної середовища знімки можна вставляти безпосередньо у контекст моделі без додаткового зчитування файлів.

De Rossi раніше розробив інструмент автоматизації браузера Playwriter (більше 3200 зірок на GitHub), а usecomputer розширює автоматизацію з браузера до автоматизації робочого столу. Проєкт був виділений з його окремого репозиторію kimaki і пропонує два способи використання — через CLI та бібліотеку Node.js. У README наведені повні приклади інтеграції з OpenAI computer tool та Anthropic computer use.