製品
AI が、実際のパソコンを
見て、操作するための道具。
PC 操作 AI(computer use)は、画面を通じて作業を行う仕組みです。睦は画面、キーボード、マウス、画面上の項目を使って、既存のウェブサイトやアプリを操作します。使える機能は環境によって異なります。
四十七のツール、八つのグループ
内容の確認日
7見るスクリーンショット、画面の読み取り、対象の検索、表示の待機
capture_screen · read_screen · locate · crop · wait_for10ポインター操作言葉や座標で指定して、クリック、ドラッグ、スクロール
click · drag · scroll · click_at3キーボード文字入力、キー操作、ショートカット
type_text · key · hotkey9画面の構造デスクトップアプリの部品を読み取り、直接操作
ui_tree · ui_find · ui_press · ui_set_value6ウェブChrome と Firefox のタブを正確に読み書き
web_eval · web_list_tabs · web_crop8システムウィンドウ、クリップボード、表の読み取り、ディスプレイ情報
focus_window · read_grid · clipboard_get2スマートフォンAndroid と iOS の端末を検出して操作
mobile_list_devices · mobile_shell2診断と部品の一覧動作環境のセルフチェック、クリックできる部品の洗い出し
diagnose · enumerate_elements画像認識
人と同じように画面を見るので、API のないシステムでも操作できます。ビジョンモデルをつなげば、「右上の保存ボタン」と言うだけで対象が見つかります。つながなくても、画面の構造・ウェブ・座標指定のツールはそのまま使えます。
- オンプレミス
互換性のあるビジョンモデルを、組織内のサーバーに置けます。 - 組み合わせ
クリック位置の特定、画面の説明、領域の認識。用途ごとに合ったモデルを選べます。 - マネージド
自前で用意しない場合は、マネージドのビジョンモデルサービスも選べます。
操作がうまくいったか、その場でわかる
変化の通知をオンにすると、操作のたびに「画面で何が起きたか」が返ってきます。ページの遷移、フォーカスの移動、入力値の変化、ダイアログの表示。スクリーンショットを撮り直さなくても、操作が反映されたことを確かめられます。
MCP で接続
標準プロトコルに対応しているので、15 種類の AI クライアントからそのまま使えます。特定のモデルベンダーに縛られません。
よくあるご質問
- ビジョンモデルは必須ですか?
- 必須ではありません。画面の構造とウェブのツールは、ビジョンモデルなしで動きます。言葉で対象を探すときと、画面を読み取るときに必要です。
- データが組織の外に出ることはありますか?
- 睦はお手元のパソコンで動きます。画面が組織の外に出るかどうかは、接続するモデルによります。クラウドのモデルを使う場合は画面の内容がそのサービスに送られ、ビジョンモデルを組織内のサーバーに置く場合は内部にとどまります。
このツールで、
お使いのシステムを動かしてみます。
翔耀實業股份有限公司 × 賀舟有限公司