Sam3 Video RleがWaveSpeedAIに登場

SAM3 Video RLEの紹介：RLEエンコード出力対応のプロフェッショナルグレード動画セグメンテーション

動画セグメンテーション技術の風景は根本的に変わりました。熟練したアーティストチームがフレームごとのロトスコーピングに無数の時間をかけることが必要だったことは、今ではAI駆動ツールにより数秒で実現できます。本日、SAM3 Video RLEがWaveSpeedAIで利用可能になったことをお知らせします。Metaの革新的なSegment Anything Model 3技術をあなたの動画制作とコンピュータビジョンワークフローにもたらし、プログラムによる処理のために最適化されたRLEエンコード出力を提供します。

SAM3 Video RLEとは？

SAM3 Video RLEは、Metaの革新的なSegment Anything Model 3とRun-Length Encoded（RLE）出力フォーマットを組み合わせた、プロンプトベースの動画セグメンテーションのための統合基盤モデルです。2025年後半にMetaのSegment Anything Collectionの一部としてリリースされた、SAM 3はセグメンテーション技術にパラダイムシフトをもたらしました：手動クリックやバウンディングボックスではなく、自然言語説明を使用してオブジェクトを検出、セグメント化、追跡する能力です。

追跡したい各オブジェクトをクリックする必要があった以前のセグメンテーションモデルとは異なり、SAM3はプロンプト可能な概念セグメンテーション（PCS）を実現します。「赤いシャツを着ている人」または「シーン内のすべての車」のようなテキストで説明するだけで、モデルは動画全体にわたってすべてのマッチングインスタンスを検出して追跡します。

SAM3 Video RLEの「RLE」は出力フォーマットを指しています：Run-Length Encoding、セグメンテーションマスクを完全な画像ファイルではなくコンパクトなデータとして保存するロスレス圧縮方式です。これは自動パイプライン、コンピュータビジョンアプリケーション、およびフレームごとのマスクデータへのプログラムによるアクセスが必要なワークフローに理想的です。

主な機能

マルチモーダルプロンプティング

• テキストプロンプト：自然に説明できます。「青いジャケットを着ている人」、「すべての車」、「公園で遊んでいる犬」
• ポイントプロンプト：クリック座標で特定のターゲットを識別
• ボックスプロンプト：バウンディングボックスを描画して正確なオブジェクト選択
• 複合プロンプト：テキスト、ポイント、ボックスを組み合わせて最大精度を実現

マルチオブジェクト追跡

カンマ区切りのプロンプトを使用して複数のオブジェクトを同時に追跡します。同じ動画で「人、車、犬」をセグメント化する必要があります？単にすべてをリストアップすれば、SAM3は各オブジェクトを独立して処理しながら、フレーム間で一貫したアイデンティティを維持します。

効率的なRLE出力

RLEエンコーディングは画像の寸法ではなくオブジェクト境界の数に応じてスケーリングされます。オブジェクトが通常連続領域を形成する動画セグメンテーションでは、生のマスクと比較して劇的に小さいファイルサイズが得られます。長い動画の処理やダウンストリームシステムとの統合に最適です。

組み込みプロンプト拡張機能

説明方法がわからない場合は？統合されたプロンプト拡張機能が自動的にテキスト説明を改善して、より良いセグメンテーション結果を提供します。

オプションのマスク表示

apply_maskパラメータを切り替えて、セグメンテーションオーバーレイを動画上で直接プレビューします。結果を完全処理にコミットする前に簡単に検証できます。

実用的なユースケース

動画アノテーションと学習データ生成

機械学習用の高品質な学習データセットの作成は、悪名高く時間がかかります。SAM3 Video RLEは自動的にフレームごとのセグメンテーションマスクを生成することで、このワークフローを変革します。RLEフォーマットはCVATなどの人気のあるMLフレームワークおよびアノテーションツールと直接互換性があり、既にSAM 3を合理化されたラベリングワークフローのために統合しています。以前は広範な手動アノテーションが必要だったことは、数秒で事前ラベリングでき、人間のレビュアーは品質管理とエッジケースにのみ焦点を当てることができます。

VFXとロトスコーピング

VFX業界はSAM 3の能力によって革新されています。伝統的なロトスコーピング、つまり対象をフレームごとに手動で追跡する困難なプロセスは、AI支援セグメンテーションによって根本的に転換されました。デモンストレーションは、かつて「数十人のチーム」が必要だったタスクが「数秒」でAI支援セグメンテーションで実現できることを示しています。VFXアーティストはSAM3 Video RLEを使用してコンポジティング用のマスクを生成したり、分離されたサブジェクトにエフェクトを適用したり、複雑なモーションシーケンスを通して背景を除去できます。

自動動画処理パイプライン

動画処理システムを構築する開発者にとって、RLEエンコードマスクは自動ワークフローにシームレスに統合されます。JSON出力フォーマットはpycocotoolsおよび同様のライブラリで直接動作します：

from pycocotools import mask as mask_utils

rle_data = {"counts": "146301 3 147834 11 ...", "size": [height, width]}
binary_mask = mask_utils.decode(rle_data)  # Returns numpy array

スポーツ分析と監視

プレイヤー、車両、または関心のあるオブジェクトをフレーム間で追跡しながら、独自のアイデンティティを維持します。SAM 3のトラッキングの時間的一貫性は、従来のトラッキングシステムに困難をもたらす遮蔽、混雑シーン、外観の変化に対応します。

ロボティクスとAR/VRアプリケーション

ロボティクス知覚のためのリアルタイムシーン理解、拡張現実オーバーレイ、および仮想環境との相互作用はすべて、高速で正確なセグメンテーションとプログラムによる出力の恩恵を受けます。

WaveSpeedAIを使い始める

WaveSpeedAIでSAM3 Video RLEを使用するのは簡単です。動画をアップロードして、セグメント化したいものを説明するだけです：

import json
import os
import time
from urllib.request import Request, urlopen

api_key = os.environ["WAVESPEED_API_KEY"]
headers = {"Authorization": f"Bearer {api_key}", "Content-Type": "application/json"}
payload = {
    "prompt": "A cinematic ocean wave at sunrise, highly detailed",
    "video": "https://interactive-examples.mdn.mozilla.net/media/cc0-videos/flower.mp4",
    "apply_mask": True
}

def request_json(url, data=None):
    request = Request(url, data=data, headers=headers, method="POST" if data else "GET")
    with urlopen(request) as response:
        return json.load(response)

# 1. Submit the prediction.
submit_body = request_json("https://api.wavespeed.ai/api/v3/wavespeed-ai/sam3-video-rle", json.dumps(payload).encode())
task = submit_body.get("data", submit_body)
prediction_id = task.get("id")
if not prediction_id:
    raise RuntimeError("Submission response did not contain a prediction id")
result_url = task.get("urls", {}).get("get") or f"https://api.wavespeed.ai/api/v3/predictions/{prediction_id}/result"

# 2. Poll until the prediction finishes.
while True:
    body = request_json(result_url)
    result = body.get("data", body)
    status = result.get("status")
    if status == "completed":
        print(result.get("outputs", []))
        break
    if status in {"failed", "cancelled", "timeout"}:
        raise RuntimeError(result)
    if status not in {"created", "processing"}:
        raise RuntimeError(f"Unexpected status: {status}")
    time.sleep(2)

より正確な制御については、ポイントまたはボックスプロンプトを追加してセグメンテーションをガイドします：

import json
import os
import time
from urllib.request import Request, urlopen

api_key = os.environ["WAVESPEED_API_KEY"]
headers = {"Authorization": f"Bearer {api_key}", "Content-Type": "application/json"}
payload = {
    "prompt": "A futuristic city at blue hour with soft volumetric light",
    "video": "https://interactive-examples.mdn.mozilla.net/media/cc0-videos/flower.mp4",
    "apply_mask": True
}

def request_json(url, data=None):
    request = Request(url, data=data, headers=headers, method="POST" if data else "GET")
    with urlopen(request) as response:
        return json.load(response)

# 1. Submit the prediction.
submit_body = request_json("https://api.wavespeed.ai/api/v3/wavespeed-ai/sam3-video-rle", json.dumps(payload).encode())
task = submit_body.get("data", submit_body)
prediction_id = task.get("id")
if not prediction_id:
    raise RuntimeError("Submission response did not contain a prediction id")
result_url = task.get("urls", {}).get("get") or f"https://api.wavespeed.ai/api/v3/predictions/{prediction_id}/result"

# 2. Poll until the prediction finishes.
while True:
    body = request_json(result_url)
    result = body.get("data", body)
    status = result.get("status")
    if status == "completed":
        print(result.get("outputs", []))
        break
    if status in {"failed", "cancelled", "timeout"}:
        raise RuntimeError(result)
    if status not in {"created", "processing"}:
        raise RuntimeError(f"Unexpected status: {status}")
    time.sleep(2)

合理的な価格設定

WaveSpeedAIはSAM3 Video RLEの透明性のある使用量ベースの価格設定を提供します：

期間	コスト
5秒ごと	$0.05
1分	$0.60
5分	$3.00
10分	$6.00

動画は5秒単位で課金され、ジョブあたりの最大期間は10分です。より長いコンテンツの場合は、セグメントに分割して個別に処理するだけです。

WaveSpeedAIを選ぶ理由

高度な動画セグメンテーションモデルの実行には、かなりの計算リソースが必要です。WaveSpeedAIはこれらの障壁を以下で除去します：

• コールドスタートなし：ジョブはモデルの初期化を待たずにすぐに処理を開始します
• 最適化された推論：品質を損なうことなく最大スループットのためにSAM3をチューニングしました
• シンプルなREST API：数行のコードで動画セグメンテーションをあらゆるアプリケーションに統合します
• 手頃な価格：使用した分だけ支払い、事前のコミットメントはありません

今日からセグメンテーションを開始

SAM3 Video RLEは動画セグメンテーション技術における根本的な飛躍を表しています。コンピュータビジョンモデルのための学習データを生成しているか、VFXワークフローを自動化しているか、次世代の動画理解アプリケーションを構築しているかに関わらず、このモデルは前例のない容易さでプロフェッショナルグレードの結果を提供します。

動画ワークフローを変革する準備ができていますか？WaveSpeedAIでSAM3 Video RLEを試すして、動画セグメンテーションの未来を体験してください。