概要
ScreenClaw（睇虾）は、AIアプリケーションとデスクトップソフトウェアを連携させるためのローカル実行型ミドルウェアです。
スクリーンショットに百分比座標グリッドを重ねることで、あらゆるマルチモーダル大規模言語モデル（LLM）がPC画面上の要素位置を正確に認識し、UIモデルの特別な学習なしに自動操作を可能にします。
主な特徴は、ユーザーの操作を妨げずにバックグラウンドでマウス・キーボード操作を注入できる「無感知操作」や、異なる画面解像度でも再利用可能な「百分比座標グリッド」です。
APIやCLIを持たない従来のデスクトップアプリや、ADB不要でスマートフォン操作の自動化もサポートします。
AIエージェントによるPCの自動操作、RPA、あるいはAIの知能を活用した作業効率化を目指す開発者や高度なユーザーが想定されます。
タスクフローのテンプレート化、セキュリティ機能、自己検査メカニズムなども備えています。
互換性・特徴
- Python
- Windows
- CLI
- HTTP API
- AI Agent対応
- RPA
基本情報
| ライセンス | MIT |
| Stars | 39 |
| Forks | 11 |
| カテゴリ | マルチモーダル |
| アクティビティ | low |
最新リリース: ScreenClaw-v0.1.5 (2026-05-04)