Gemini 3.5 Omni 與 Omni Flash:多模態追蹤指南
Google 推出了 Gemini Omni 作為多模態世界模型。以下是開發者可以驗證的內容,以及多模態生成領域值得關注的動態。
一份關於 Google 實際發布了什麼、什麼仍是展示,以及開發者本週應該怎麼做的工作筆記。
我花了一個下午試圖弄清楚能否從程式碼呼叫 Gemini 3.5 Omni。結果是不行,至少現在還不行。Gemini 應用程式向我展示了 Omni Flash 從一張照片加一行提示詞生成影片的過程,效果很好——但我真正需要的,一個可以接入流水線的 API 端點,並不存在。這個落差就是整個故事的核心。本文記錄了截至 2026 年 6 月初 Omni 的真實狀況,以及對任何在生產環境中運行影片生成的人來說,什麼改變了(什麼沒有)。
如果你趕時間,簡短版本:Omni 是一個真實的影片生成模型,已向消費者上線,而開發者 API 存取仍處於「即將到來的幾週內」。現在不要基於它進行開發。以下是詳細說明。
Google 將什麼介紹為「Gemini Omni」
定位:用於影片、圖像和模擬生成的多模態世界模型
Google 自身的描述是,Gemini Omni 可以從任何輸入創建任何內容,從影片開始。關鍵詞在於開始。目前 Omni 公開只做一件事:接收文字、圖像、音訊和現有影片片段,然後輸出影片。
使其超越純文字轉影片的原因在於它能夠跨這些輸入進行推理,而不是將它們拼湊在一起。Omni 對所有這些輸入進行整體推理以產生一致的輸出。Google 也重點強調了物理特性——TechCrunch 對 I/O 發布的報導指出,輸出旨在反映對運動、重力和流體行為的理解。在展示中,這意味著更少的肢體扭曲和背景融化。等我親自跑過四十個片段,而不是九個,再相信這個一致性的說法。
Omni 與 Gemini 3.5 Flash / Pro 的差異(輸出模態)
這是大多數報導說不清楚的部分,我直說了。Omni 和 3.5 系列不是同一類模型。
| 模型 | 輸入 | 輸出 | 用途 |
|---|---|---|---|
| Gemini Omni / Omni Flash | 文字、圖像、音訊、影片 | 影片 | 生成和編輯影像 |
| Gemini 3.5 Flash | 文字、圖像、音訊、影片 | 文字、程式碼 | 代理任務、推理、UI 生成 |
| Gemini 3.5 Pro | 文字、圖像、音訊、影片 | 文字、程式碼 | 同上,上限更高(仍在推廣中) |
3.5 Flash 是輸入多模態——它理解你的影片並給你一個答案。Omni 是輸出多模態——它理解你的輸入並返回一段影片。Google 的部落格說得很清楚:Gemini Omni 是我們的新模型,可以從任何輸入創建任何內容,從影片開始;而 3.5 是將前沿智能與代理工作行動相結合的系列。如果你一直將「Gemini 3.5 能做影片」視為一種能力,請把它拆成兩種。它們存在於你架構的不同部分。
Omni Flash 定位與完整 Omni 的比較
Omni Flash 是實際發布的變體。它是更快、更便宜的層級,報導指出其片段上限約為 10 秒——被描述為部署選擇而非硬性模型限制,這暗示後續會延長。一個更高保真度、支援更長片段的 Omni 層級位於其上方,但那個版本大多仍停留在展示片段中。所以當有人說「Omni 已上線」,他們指的是 Omni Flash,在消費者應用程式中。
I/O 2026 確認的內容
面向公眾的公告與開發者存取時間的差距
I/O 於 2026 年 5 月 19-20 日舉行。Google 確認了 Omni、3.5 系列,以及一堆代理功能。重要的分野是:消費者存取已上線,開發者存取還沒有。Gemini Omni Flash 正在向全球所有 Google AI Plus、Pro 和 Ultra 訂閱用戶透過 Gemini 應用程式和 Google Flow 推廣,YouTube Shorts 也有免費存取。然後是每個開發者都應該標記的那句話:在接下來的幾週內,我們也將透過 API 向開發者和企業客戶推廣。
「接下來的幾週內。」沒有日期。沒有模型 ID。沒有定價表。
Omni 在哪裡展示以及展示了什麼
展示的是對話式影片編輯——改變一個元素、改變整個場景、在多輪對話中保持角色一致。其中一個例子:輸入一段小提琴手的片段,然後發出「將小提琴手帶到新環境」和「讓小提琴消失」等編輯指令,每次都在上一次的基礎上繼續。這是一個以編輯為主的產品定位,與純文字轉影片相比是一個截然不同的賭注。Google 也確認了每個 Omni 輸出都帶有 SynthID 水印,如果你的下游使用有來源要求,這一點很重要。
展示與開發者可用性之間的落差
這裡是我停下來思考的地方。消費者推廣和 API 是兩個不同的產品,有兩個不同的可靠性故事。這不是悲觀主義,只是「我看到它在應用程式裡運作」和「我可以在凌晨三點批次作業觸發時依賴它」之間的差距。
這對多模態開發者意味著什麼
影片生成是與多模態理解不同的問題
如果你的產品已經呼叫 Gemini 3.5 來理解上傳的媒體,Omni 不會取代這個功能。它是一個額外的能力——生成——你會把它加上去,而不是直接替換。在架構圖中將它們視為同一項目,就是讓自己日後措手不及的方式。
Omni 在現有影片模型(如 Veo 等)中的位置
這是實際的問題。Google 已經透過有文件記載的 Gemini API 和 Vertex AI 路徑提供 Veo 3.1,所以今天 Veo 是你實際上可以整合的 Google 影片模型。Omni 在 API 層面目前還不是 Veo 的替代品——沒有遷移文件說每個 Veo 路由都換成 Omni,Veo 頁面仍然有效。不過,在意圖上的差異是真實的:Veo 圍繞文字轉影片構建,而 Omni 的核心是多輸入推理和對話式編輯。對開發者而言,這意味著 Omni 的定位是將一條鏈條——轉錄、圖像理解、生成——整合成一次呼叫。這是否值得重新構建,完全取決於它是否真的推出了 API。
如果 Omni 實現開發者存取,什麼會改變
如果——當——API 到來時,吸引力不在於節省原始成本。而在於減少介面。一個接受混合媒體並返回編輯後影片的模型,意味著更少的 SDK 需要維護、更少的錯誤分類需要處理、更少的 SLA 需要追蹤。這才是我真正在意的那種摩擦力降低。但「如果它上線」在那句話中承擔了很多份量。
目前尚未確認的內容
我特別標記這些,因為把它們當作已定論來寫,就是讓團隊踩坑的方式。
- API 可用性和時間 — 需要核實。「接下來的幾週內」是唯一的官方信號。截至 2026 年 6 月初,Google 的開發者文件中沒有端點、沒有模型 ID。
- 影片工作負載的定價 — 未知。消費者存取已捆綁入Google AI 訂閱層級(Plus、Pro、Ultra),但按次計費的 API 定價尚未公布。影片幀數會快速推高 token 計數,不要假設與文字模型相同的經濟邏輯。
- 輸出規格 — Omni Flash 片段上限似乎接近 10 秒;API 層級的完整解析度、最大長度和精確控制輸入尚未有文件記載。
- 商業使用權 — 對開發者使用尚未說明。SynthID 水印已確認;透過 API 生成輸出的授權條款尚未確認。
如果某個廠商或部落格告訴你 Omni API「已對所有人開放」,他們的說法超出了現有證據。我查過了。
今天如何圍繞 Omni 做規劃
不要在展示的基礎上遷移生產工作負載
顯而易見,但值得說出來,因為展示確實令人印象深刻,而這正是團隊犯錯的時候。展示是在受控條件下的最佳情況。生產是在兩倍流量下的最差情況。在有具備文件記載的延遲和限制的端點出現之前,Omni 留在你的「觀察中」欄,而不是「依賴」欄。
跨多個影片生成模型測試備用路徑
我對同一個生成任務跑多個模型,正是為了不讓這樣的發布讓我陷入困境。如果 Omni 的 API 下個月上線,很好——我希望能夠把它插進來,與我已經在用的東西對比,而不是重建我的流水線後才發現它對我的特定場景更差。從每次模型發布中得到的教訓:在別人的展示中「非常好」毫無意義,直到它在你的工作流程以你的頻率下表現良好。
以模型聚合作為對抗廠商特定推廣的對沖
這是與我工作方式相關的部分。當一個模型先向消費者發布,開發者「在接下來的幾週內」才能存取時,那些不手忙腳亂的開發者,是那些從未將自己綁定在單一提供商發布行程上的人。透過像 WaveSpeedAI 這樣的統一多模型存取層運行影片生成,意味著新模型是你在準備好時進行測試和採用的東西,而不是被迫進行的遷移。我不是說這對所有人都適用——如果你只使用一個模型,這個抽象層就是額外開銷。但以我的切換頻率,對多個模型的一個存取層,勝過為每個廠商維護一個整合。價值不在於「更多模型」,而在於不必在每次格局改變時重新構建。而這個月,格局改變了。
常見問題
Gemini Omni 今天可以透過 API 存取嗎? 不行。截至 2026 年 6 月初,Omni Flash 在 Gemini 應用程式、Google Flow 和 YouTube Shorts 中對 AI Plus/Pro/Ultra 訂閱用戶開放。Google 表示開發者和企業 API 存取「在接下來的幾週內」,但目前沒有已公布的模型 ID、端點或定價。
Gemini Omni 和 Gemini 3.5 Pro 有什麼區別? 輸出模態。Omni 生成影片(輸出多模態)。Gemini 3.5 Pro 理解文字、圖像、音訊和影片,但輸出文字和程式碼(輸入多模態)。不同的工作,你架構的不同部分。
Gemini Omni 能生成影片嗎? 是的——這是它的核心功能。它接受文字、圖像、音訊和影片片段作為輸入並生成影片,支援多輪對話式編輯。所有輸出都帶有 SynthID 水印。
開發者何時可以期待存取 Omni? 未確認。Google 唯一的公開措辭是「在接下來的幾週內」。在 Google 發布 API 文件之前,將你在其他地方看到的任何具體日期視為推測。
Omni 與 Veo 等其他影片生成模型相比如何? Veo 3.1 是你今天可以透過 Gemini API 和 Vertex AI 實際呼叫的模型。Omni 的特點是多輸入推理和以編輯為主的設計,而非純文字轉影片。但在 Omni 的 API 上線之前,Veo 仍然是生產影片生成的實際 Google 基準。
結論
對我來說,結論是這樣的:Omni 是真實的,編輯式方法是一個不同且有趣的賭注,Gemini 3.5 Omni 值得密切關注。但本週不值得基於它進行開發。消費者已上線、開發者待定、規格未知——這是一個觀察項目,而非依賴項。
所以,行動方案是無聊但正確的:保持你的影片生成靈活性,在應用程式中測試 Omni 以形成自己的判斷,在有你可以真正指向的端點之前,不要重新整理你的生產流水線。當 API 出現時,我會把它與我現在使用的東西對比,報告哪個經得住考驗。
待核實。文件上線後會有更多更新。
往期文章:
