看到 Claude Opus 5.5 製作的《I'm Upping My P(doom)》後,我開始測試一件事:讓 coding agent 組織畫面、動作、配音與剪輯,能否做出一支完整影片。

這輪已完成兩支片:《雨夜送藥》150 秒,採用素材複用與二維角色動作;《垃圾車來了!》160 秒,把人物、物件與環境一起生成。兩支片呈現不同的製作取捨,也讓我把工作流整理成三個方向。

從 Opus 5.5 的作品開始

Claude Pop - I'm Upping My P(Doom)

此媒體由 YouTube 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

作者公開了 PDoomVideo 原始碼。專案說明中,Opus 5.5 負責分鏡與動畫程式,畫面用 p5.js、p5.brush、無頭 Chrome 與 FFmpeg 渲染,音樂採用既有歌曲。

我接著探索的是 Agent 如何組織製作過程。畫面路線改用 ImageGen:生成素材、審看動作與空間,再把選用畫面、聲音與字幕編成影片。

第一條:動圖與動作庫

動作庫保存人物 ID、姿態、動作時間與預覽。下方是八個生成姿態組成的揮劍動圖,動作結束後回到起點,循環有明確的重置接點。

八個生成姿態組成的揮劍動圖

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

這一層的價值是複用。之後要讓同一角色站立、轉頭或揮手,可以引用已審看的動作,不必每次從人物設定重新開始。原創形象的參考圖、表情、服裝與動作索引也已預留,後續從這裡接入。

第二條:有限動畫與低成本靜態影片流

《雨夜送藥》:素材複用與二維角色動作。

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

《雨夜送藥》已通過成片驗收。它從下班收到消息、雨夜走到候車處,一直講到回家送藥。辦公室、街口、候車、車內與回家等鏡頭,用完整插畫、停留與輕微運鏡推進;74–84 秒的繞行段,在同一背景上用二維骨骼驅動角色紋理。

回看整片,特點很清楚:場景穩定,少量畫面就能承載完整故事。角色移動由程式持續計算,旁白與字幕連接鏡頭。候車和辦公室畫面停留較長,觀感偏插畫敘事;繞行段有明顯二維紙片感。它已完成有限動畫的目標,接下來要加強人物與場景互動。

素材如何複用

我把有限動畫(素材複用)分成兩種鏡頭。第一種直接複用完整插畫,適合聽消息、看遠處、車內休息與收尾。第二種保留背景,複用透明人物姿態或角色紋理,用於站立、短步與簡單動作。

同一街區可換成店外、人行道或候車空地。以鏡頭為單位複用,不必整片鎖在同一背景。人物要拿東西、坐下、跨台階或被前景遮住時,先判斷接觸能否靠現有素材表達;複雜部分轉到第三條整場景流程。

具體順序是:

  1. 定義鏡頭起點、終點、動作與道具狀態,先標出需要接觸環境的部分。
  2. 審看場景母圖,確認地面、開放路線、障礙端點與機位。
  3. 選同一人物、服裝與道具狀態的素材,保留鞋底與完整輪廓。
  4. 匹配人物比例、光線、落腳與影子,安排保持、移動、換腳與收勢。
  5. 按實際旁白長度安排鏡頭與字幕,檢查完整音畫與前後狀態。

提示詞也從構圖階段限制互動,例如:

角色在平坦開放的人行空地站立或短步,身體與鞋底完整可見。牆、車輛、桌椅與欄杆都在路線之外。人物不走到物件後方,不扶欄、不倚靠、不拿背景物件、不跨台階。既有提袋保持同一隻手,起點與終點在同一高度的地面。

成本節省來自複用背景、人物素材與剪輯流程,減少重複生成整張場景。切圖、綁定與審看仍是製作工作,所以要按鏡頭選方案;複雜互動一直修合成,反而增加返工。

把滑腳單獨量測

支撐腳對照:保留與取消落腳約束。

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

相同紋理與路線做兩個版本:一個固定支撐腳,另一個讓鞋底在支撐期間跟著人物前移。程式讀取編碼後畫面,用鞋底紋理匹配檢查 0.25 秒內位移。

條件 可見量測窗口 中位位移 95 分位
固定落腳 27 0px 3px
取消約束 18 20px 約 21px

對照把滑腳問題顯示出來,也提供可重用的動作庫檢查。人物是否繞過護欄、碰到物件,另看整段畫面的空間關係。

第三條:參與環境互動的影片流

《垃圾車來了!》:人物、道具與背景整場景生成。

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

《垃圾車來了!》專門測試接觸與狀態變化。剛搬來的以安聽見垃圾車音樂,提起分類好的垃圾與回收物下樓;鄰居的袋子勾到扶手,瓶罐掉落,她停下幫忙。倒完垃圾一起走回公寓,陌生巷子也熟悉了一點。

每張圖把人物、物件、背景、光線與接觸影子一起生成。下一步上傳上一完整影格,提供人物與場景參考,說明接下來的小動作。同一巷弄可延伸門口、人行道與收運點,背景不要求像素固定。

回看片子,最有用的改善在拿取與交付:先放下自己的袋子,蹲下拿瓶罐、放回鄰居提袋;到了收運處,交付垃圾和回收後,手上的狀態跟著變化。動作與物件關係直接畫在場景裡,比在固定底板上移動人物更適合這些事件。

全片選用 76 張整場景姿態,配 11 段臺灣中文旁白與 43 條字幕。步行等部分仍看得到姿態停留與切接,但故事中的具體接觸比前一條路線更完整。生成原圖為 836×470 與 1672×941,成片輸出 1080p;遷移前網頁以 540p 副本播放,現在改由 ishare 提供自適應串流。

幾次錯誤如何改變製作方法

繞行變成翻越護欄

早期反例:要求繞行,畫面卻出現扶欄與翻越姿態。

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

早期實驗寫的是從障礙旁繞過,生成末段卻伸手扶欄,腿也抬到護欄附近,讓動作讀成翻越。這是具體的路線與動作錯誤。後來低成本片改用明確開放路線與二維控制;整場景路線也把人物與欄杆的複雜遮擋列為構圖限制。

先把端點與可走空地放入鏡頭,手保持身旁,再看整段是否沿該路線移動。只看腳底固定或人物朝前,容易漏掉人與護欄的關係。

樓梯修正版仍有台階異常

G09R 樓梯修正版,台階、平台與扶手坡度不連貫

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

垃圾車故事的 G09、G10、G11 出現樓梯空間混亂。首次重做後,G09R 更像公寓,但我在成片中又指出台階異常。最後整組撤出,換門鎖近景,再接鞋部與二樓平台,把下樓這件事講清楚。

最後選用的門鎖近景

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

處理直接改變了鏡頭設計:近景避開複雜梯段,平坦平台承擔拾瓶動作,敘事繼續成立。後續遇到同類空間問題,也先考慮機位與動作拆分。

道具數量與左右手跳變

地上還有罐子,袋口卻出現另一只罐子的棄用畫面

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

撿物段曾出現地上罐子仍在、袋口卻多出一只;門鎖新組也有鑰匙與袋把突然換手。前者按庫存重選,後者棄第三格、留第 1、2、4 格。自己的垃圾袋要先放牆邊才進入蹲下,不能提前消失。

這些錯誤讓提示詞具體起來:先握住再拿起,接住後放手;寫明每隻手與每件物品的位置。失敗圖單獨存放,正式時間線只引用審看後的影格。

聲音與敘事一起調整

初版持續低頻與重複高音鈴聲讓畫面顯得詭異。後來移除低鳴,把垃圾車音樂縮成短提示,加入稀疏鋼琴,旁白時壓低背景音。

配音改第三人稱畫外旁白,字幕跟著旁白走。故事能展開,也避免嘴型牽制台詞。Edge 語音原路徑遇到 403 後,改用我提供的 wangwangit/tts,透過本地 Microsoft REST 路徑完成臺灣中文旁白。

把雨夜花店做成連續影片

後續試播按這張六格圖考慮情節:路過花店、發現倒盆、蹲下接觸、扶正花盆、與店員致意,最後繼續前行。

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

這張圖負責故事與構圖。它不是影片抽格,也不能證明扶正和致意已經發生。製作時仍把動作拆成可觀察的狀態,先走近、停下,再蹲下觸盆,確認接觸後才進入扶正。

我在 gemini.google.com 生成了第一條連續片段,記錄中的模型名稱是「Gemini 4」;底層影片模型版本沒有獨立核實,不把它寫成已確認的 Veo 對照實驗。

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

片段為 10 秒、1280×720、24fps,240 格都能完整解碼。它保留同一家花店、同一人物和一只倒地目標盆,呈現走近、停步、下蹲與伸手。這至少說明,從場景參考組織一段連續動作的路線有可行性,值得繼續做下去。

接觸還沒有完成。女主蹲下的位置離盆沿太遠,手伸向散落葉片;9 秒證據格和最後一格都看得到手與陶器之間的間隔。

ishare

此媒體由 ishare 提供。你同意此服務並要求查看後才會載入,目前尚未連接平台。

因此這條保留為可行性試播,審片結論仍是 NEEDS_REVIEW。沒有可觀察的觸盆完成點,就不剪成「已經扶起」的片段,也不為填滿輸出長度安排空動作。下一輪只改停步位置:走到外露盆沿旁,略彎肘就能觸及後再蹲下。接觸通過後,才繼續扶正、與店員致意和離開。

Codex 在這裡負責核對母圖雜湊、解碼抽格、檢查物件數量、落腳與接觸狀態。媒體技術檢查通過和劇情動作通過分開記錄。實際網頁附件與提交提示詞沒有留證,參考綁定保持未驗證;不能只憑畫面相似就宣布參考圖已正確綁定,也不能把這個缺口歸咎於模型。

這輪研究留下什麼

三條流程各有任務:動作庫保存可引用的人物動作;低成本流程複用素材,完成插畫敘事與簡單移動;整場景流程負責人與道具、環境的接觸事件。

兩支成片給出實際結果,花店試播補上連續生成影片的初步可行性與接觸缺口。下一步加入原創形象時,我會沿用角色參考、表情、服裝與動作索引,讓同一形象進入三種流程,再看動作與環境如何配合。

原始碼、提示詞、審查結果和媒體清單整理在倉庫 video/:動作庫、有限動畫、整場景敘事和花店試播各一個目錄。圖片與影片遷到 ishare,倉庫按連結引用;重建時按需下載原圖並校驗雜湊,串流版不冒充原始下載檔案。實際使用的 MIT 語音依賴已納入 third_party/tts/,保留上游版本和授權。

查看開源工作流

《垃圾車來了!》完整 1080p 成片

《雨夜送藥》完整 720p 成片