概要
WebDroid Agentは、ブラウザベースのAndroidスマートフォンエージェント実験プロジェクトです。
WebUSB/WebADBを介してAndroidデバイスに接続し、携帯電話の画面をキャプチャし、OpenAI互換のビジョンモデルに送信します。
モデルが返すアクションを解析、検証し、ADB経由で実行します。
純粋なフロントエンドで動作し、バックエンドが不要なため、ローカルでの実験や静的サイトでの展開に適しています。
このツールは、OpenAI互換のビジョンモデルが実際の携帯電話UIを理解できるかどうかの検証、電話エージェントのアクションプロトコルのデバッグ、Android UI自動化のプロトタイプ作成を目的とした開発者に最適です。
互換性・特徴
- Web UI
- WebUSB
- Android ADB
- OpenAI互換API
- ビジョンモデル
- TypeScript
基本情報
| ライセンス | MIT |
| Stars | 13 |
| Forks | 4 |
| カテゴリ | マルチモーダル |
| アクティビティ | low |