從對話到影片：AI Agent 輸出格式的下一個 Frontier

過去兩年，AI Agent 嘅輸出格式幾乎冇變過。你叫 agent 做 research，佢還你一份 bullet point 摘要。你叫佢分析數據，佢吐出一個 JSON 或者一條 markdown table。你叫佢解釋一個概念，佢幫你寫一段 text —— 最多加句”你可以將以上內容複製去 Notion”。對話式 interface 壟斷咗 agent output 嘅想像力，彷彿文字同結構化數據就係 agent 嘅唯一語言。但現實世界唔係咁運作嘅：人哋 consume content 嘅方式已經係影片主導，而你嘅 agent 仲停留喺「寫畀你睇」嘅階段。

呢個 gap 唔細。當你嘅 LLM agent 可以 access function call、可以 generate code、可以直接操作 database，佢哋嘅 output 格式反而被限制喺最原始嘅 text-in-text-out 範式。問題唔在於能力，在於缺少一個標準化嘅「文字去影片」輸出層。

21 個模板，一條 CLI：html-video 嘅 meta-layer 思維

nexu-io/html-video 嘅做法值得玩味。佢哋冇 reinvent 另一個 video engine —— 市面上已經有 Remotion（React component 驅動影片）、Hyperframes（HTML+CSS+GSAP）、Motion Canvas、Manim，各自有自己嘅 authoring model 同 tradeoff。html-video 做嘅嘢係喺呢啲 engine 上面起一層 agent-native 嘅 abstraction：一個 render(input, ctx) interface，一個 21 個 template 嘅 gallery，一個 content-graph 嘅 storyboarding IR。你嘅 agent 只需要理解 template manifest（YAML 定義 category、inputs schema、license provenance），揀 template，填入 content，然後成個 pipeline 自動行：agent loop → content-graph → per-frame HTML → headless Chromium recording → ffmpeg mux 出 MP4。

呢層 meta-layer 嘅巧妙之處係 engine switching 唔會 leak 上去。今日用 Hyperframes 出片，聽日換 Remotion adapter，你個 content-graph 同 agent 嘅 logic 唔使改。對於獨立開發者或者細團隊嚟講，呢種 pluggable architecture 意味住你唔使一開始就 commit 去一個特定 rendering stack —— 你可以用最快行得通嘅 solution 出片，將來有需要再 swap out。

實用層面，佢嘅 agent 支援 list 都幾誇張：Claude Code、Cursor、Codex CLI、Gemini CLI、Grok Build、OpenCode、Copilot —— 14 個 agent backend auto-detect，studio 嘅 top bar 一鍵切換。換句話說，無論你用緊邊個 coding agent，理論上都塞得入呢個 pipeline。Paste 一條 article link 或者 GitHub repo，studio 會 server-side fetch content，flatten 做 Markdown，然後 agent 自動決定 scene count、生成 content-graph、配對 template。

另一條路：ComfyUI 嘅本地 heavyweight rendering

html-video 行嘅係 lightweight、browser-based、21 個設計 template 嘅路線。但同一個問題 —— agent 嘅影片輸出 —— 仲有另一個 approach，就係 Vincent 嘅 comfyui-ltx 嗰條線。ComfyUI + LTX-2.3（22B distilled Q4KM GGUF）喺 RTX 3090 上行到 190-240s 出一條 1440×768 嘅 text-to-video，或者用 Image Audio to Video workflow 做到 talking head / digital human lip sync。呢個係 heavyweight 嘅路線：唔係 template-driven，而係 generative model-driven，output 嘅多樣性同 realistic 程度高好多，但 latency 同 compute requirement 都高好多。

呢兩條路線嘅分野其實反映咗一個更深嘅問題：AI agent output 嘅 frontier 唔係「點樣整條片」，而係「點樣根據 use case 揀啱嘅 rendering modality」。對於一個需要快速出 product demo、social short、或者 data explainer 嘅 content creator，html-video 嘅 21 個 template + agent loop 可能係更 practical 嘅選擇 —— 你描述一個 concept，agent 幫你揀 template，你 edit per-frame text，然後出 MP4。但如果你要做嘅係 digital human、電影級 motion、或者 real-time interactive video，咁 local generative model（ComfyUI/LTX）先係答案。

有趣嘅係呢兩者唔係 mutually exclusive。html-video 嘅 pluggable engine architecture 理論上可以加一個 ComfyUI adapter —— 將 content-graph 嘅 frame 唔用 Hyperframes render，而係 feed 去 ComfyUI 做 generative video synthesis。咁你就得到 template 嘅結構性 + generative model 嘅視覺質量。呢個方向暫時未有人做，但 spec 已經開咗。

點解呢個 gap 之前冇人 fill 到？

一個好嘅問題。AI agent 生態入面有大量工具 handle text output、code execution、tool calling，但 programmatic video output 一直係 missing piece。我諗有幾個原因。第一，video 嘅 rendering pipeline 本身複雜：你要 handle animation timing、frame composition、audio mixing、encoding —— 呢啲唔係 agent 擅長嘅事。第二，現有嘅 video engine（Remotion、Motion Canvas 等）都係寫畀人用嘅，唔係寫畀 agent 用嘅 —— 佢哋嘅 API design 假設 developer 親手寫 code，唔係假設一個 LLM 讀 manifest 然後自動填入 content。html-video 嘅 template manifest 有 JSON schema、有 best_for tag、有 SPDX license 標記 —— 呢啲全部係 agent-readable，唔係 human-readable。

第三個原因係 licensing 嘅問題。好多 open source 嘅動畫 template 或者 motion design asset，license 唔清唔楚，agent 揀咗會出事。html-video 每個 template 嘅 manifest 都強制標明 provenance：origin 係邊個 studio、via_skill 係邊個 upstream、transformation 做咗咩改動、commercial use 允唔允許。呢種 license-first 嘅設計對 agent 生態特別重要 —— agent 唔識睇 license text，但佢讀到 commercial_use: true 呢個 field 就可以做 decision。

對讀者嘅建議

如果你係開發者或者 indie maker，而家係時候諗：你嘅 agent output 可唔可以唔係 text？唔係話要將每一條 agent response 都變成影片 —— 但對於內容創作、產品營銷、教育、數據 storytelling 呢啲場景，text-only output 係一個 artificial limitation。html-video 嘅 21 個 template gallery 同內容萃取（article→content-graph→video）似乎係最快上手嘅切入點：clone 個 repo，pnpm install && pnpm -r build，開 studio，然後試一次 paste 一條 link 睇下 agent 點樣自動 build 一條片出嚟。唔使畫 storyboard，唔使寫 CSS animation，唔使搞 rendering pipeline —— agent 幫你搞掂。

而如果你已經有 ComfyUI 或者 local GPU，可以諗下點樣將你嘅 agent workflow 駁入 generative video pipeline。html-video 嘅 engine adapter spec 係 Apache-2.0，加一個 adapter 唔難。呢個領域嘅窗口仲好窄——而家入場，你仲有時間 build 一個 differentiation。