產品
一套工具,讓 AI 看懂
並操作真實的電腦。
AI 電腦操作(computer use)讓 AI 透過使用者介面執行工作。睦可用畫面、鍵盤滑鼠或介面控制項操作既有的網頁、桌面軟體與手機。可用操作依環境而定。
四十七個工具,八個家族
內容核對日期
7觀察截圖、讀畫面、找目標、等待畫面就緒
capture_screen · read_screen · locate · crop · wait_for10指向與點擊依描述或座標點擊、拖曳、捲動
click · drag · scroll · click_at3鍵盤輸入文字、按鍵與快捷鍵
type_text · key · hotkey9介面結構讀桌面軟體的控制項並直接操作
ui_tree · ui_find · ui_press · ui_set_value6網頁Chrome 與 Firefox 分頁的精確讀寫
web_eval · web_list_tabs · web_crop8系統視窗、剪貼簿、表格讀取、螢幕資訊
focus_window · read_grid · clipboard_get2手機Android 與 iOS 裝置的列舉與操作
mobile_list_devices · mobile_shell2診斷與元件盤點環境自我檢查、列出畫面上可點的元件
diagnose · enumerate_elements機器視覺
像人一樣看畫面,沒有介面也操作得了。接上視覺模型後,AI 可以用一句描述找到「右上角的存檔按鈕」。沒有接視覺模型時,介面結構、網頁與座標工具照常可用。
- 地端
可接相容的視覺模型,部署在機關自己的機房。 - 組合
點擊定位、畫面描述、區域辨識可以各用最適合的模型。 - 代管
不想自建時,可改用代管的視覺模型服務。
每個動作,都知道有沒有成功
可開啟的變化通知,會在每次操作後附上「畫面上發生了什麼」:頁面跳轉、焦點移動、欄位數值改變、跳出對話框。AI 不必再截一次圖,就能確認動作生效。
透過 MCP 連接
採用標準協定,15 種 AI 用戶端都能直接使用,不綁定單一模型供應商。
常見問題
- 一定要接視覺模型嗎?
- 不一定。介面結構與網頁工具不需要視覺模型;要用描述找目標、讀畫面時才需要。
- 資料會離開機關內部嗎?
- 睦在本機執行。畫面是否離開內部,取決於連接的模型:使用雲端模型時,畫面內容會送到該服務;視覺模型部署在機關自己的機房時,畫面可留在內部。
想看這些工具
操作您的系統?
翔耀實業股份有限公司 × 賀舟有限公司