AI Agent 桌面操控革命：告別傳統 RPA 嘅 97 個理由

你有冇見過公司嘅 RPA 機器人行屍走肉咁行緊——然後某日個網站改咗一粒 CSS class，成條 automation 即刻爛晒？傳統 RPA 嘅核心問題唔係「機械化」，而係佢哋對世界嘅理解停留在像素層面：座標、顏色、DOM 結構。Script 寫死嘅每一行，都係一條脆弱嘅假設。我見過有人用 UiPath 自動化一個 Excel 匯入流程，三個月後 Windows Update 改咗按鈕嘅 tab order，成個 bot 報廢，要成個團隊執返三日。呢種場景，做過自動化嘅人一定笑唔出。

但過去半年，一件事徹底改變咗個 landscape：AI Agent 直接操控桌面 GUI 嘅技術成熟咗。唔係 screenshot → vision model → 估座標嗰種貴價玩法，而係透過 MCP（Model Context Protocol）將 desktop 變成幾十個 callable tool，由 accessibility tree 直接讀取 UI 結構，精準、平價、可驗證。Clawdcursor 呢類工具嘅出現，標誌住傳統 RPA 嘅時代正式完結。以下係 97 個理由當中嘅幾個關鍵。

由「錄製回放」到「理解意圖」：自動化嘅本質位移

傳統 RPA 嘅工作流係咁嘅：你打開 recorder，做一次操作，佢錄低每一步嘅座標同 selector，然後無限 loop。呢個模型喺十年前係 breakthrough，但佢嘅上限好明顯——任何偏離劇本嘅情況（彈窗、網絡延時、A/B test 唔同版本）都會令條 automation 崩潰。維護成本隨住劇本數量指數上升，業界稱之為「RPA 維護地獄」。

AI Agent 嘅做法完全相反。你唔需要錄製，只需要俾一個自然語言指令：「幫我開 Outlook，回覆 Sarah 最新嗰封電郵」。Agent 自己會：call compile_ui 讀取 accessibility tree → 識別 Outlook 嘅 UI 結構 → 用 find_button 定位「Reply」按鈕 → 用 type_text 輸入內容 → 再用 click 送出。每一步都有 verification：Clawdcursor 會重新讀取 screen，比對 action 前後嘅狀態變化，如果個按鈕冇反應（例如 modal dialog 彈咗出嚟），佢會 detect deviation 並自動調整策略。

呢個 shift 嘅意義在於：你由維護「劇本」變成維護「意圖」。劇本係脆弱嘅，意圖係 robust 嘅。當 Outlook 更新 UI，傳統 RPA 爛咗，AI Agent 只需要重新 scan 一次 accessibility tree 就搵到新嘅按鈕位置。

Accessibility Tree + MCP：AI Agent 桌面操控嘅技術底座

講到技術細節，clawdcursor 嘅設計哲學值得每個 developer 留意。佢唔似大部份「AI 操控電腦」嘅方案咁行 vision-first——即係 screenshot → 俾 vision model → 回傳座標——而係行 accessibility-first。

Accessibility tree 係 OS 層用嚟俾輔助技術（screen reader 等）讀取 UI 嘅結構化資料。佢包含晒每個 UI element 嘅 role、name、value、狀態，而且係近乎免費嘅（唔使 call 任何 model）。Clawdcursor 將 a11y tree 同 OCR 融合成一張 unified UI map，每個 element 俾一個穩定嘅 el_NN ID。Agent 操作嘅時候，唔使講像素座標，只需講 el_42，system 就會 handle 實際嘅點擊——而且呢個 ID 喺 DPI 變更、視窗 resize、layout shift 之下都保持穩定。

MCP 層面，clawdcursor 提供 98 個 granular tool，或者 7 個 compact compound tool。Compact surface 已經涵蓋 computer、accessibility、window、system、browser、task、batch 七大範疇。你可以喺 Claude Code、Cursor、Windsurf、Zed 任何一個編輯器入面，直接 call clawdcursor mcp 嘅 stdio server，唔使開 daemon，唔使開 port。成個 setup 只需要 clawdcursor consent + clawdcursor grant（macOS 權限）就搞掂。

Browser 操控方面，Agent360 嘅 Browser MCP 係另一個值得留名嘅工具——佢操控你真正嘅 Chrome（唔係 headless），帶住你全部 cookies 同 session，可以直接處理 2FA、CAPTCHA，甚至讀你 Gmail 嘅 verification code。呢啲嘢傳統 RPA 要用十幾層 workaround 先做到，而家一個 browser_solve_captcha tool 就搞掂。

「97 個理由」背後嘅核心邏輯：成本結構徹底改寫

點解係 97 個理由？唔係真係要逐個數——clawdcursor 嘅 granular surface 有 98 個 tools，減去一個，就係「你唔再需要嘅嘢嘅數目」。

傳統 RPA 嘅成本結構係：前期顧問費（分析流程、寫 script）→ 持續維護費（應付環境變化）→ infrastructure 費（Bot 要行喺 VM 上）→ 每次失敗嘅 troubleshooting 成本。AI Agent 嘅成本結構係：一次 prompt 設計（甚至 prompt 都唔使，直接自然語言）→ 每次執行嘅 inference cost（低到可以忽略，因為 accessibility tree 唔 use vision）→ 零維護費（因為冇劇本可以爛）。

呢個唔係 marginal improvement，而係 order-of-magnitude 嘅 cost reduction。當你嘅 automation 成本由「請一個 consultant team 做三個月」變成「寫一句 prompt 等 30 秒」，你公司嘅 automation 策略會完全唔同——以前「太麻煩唔值得自動化」嘅 long tail 流程，而家全部值得做。

結語：而家就係入場嘅時候

如果你係香港嘅 startup founder 或者獨立開發者，我嘅建議好直接：呢個星期就試下裝 clawdcursor 或者 browser-mcp。唔使買任何 licence，唔使簽任何 contract，全部 open source。揀一個你日常最痛嘅 manual workflow——可能係每個月要入一次某個 legacy system 嘅 data——試下用 AI Agent 嚟做。如果你發現 80% 嘅傳統 RPA 真係可以 retire，唔好驚訝。

自動化嘅下一個十年唔係寫更多 script，而係教 AI 點樣用電腦——同你一樣。