OmniHuman-1.5:Toward Virtual Humans with “Soul”

Haben Sie jemals Videos mit sanft animierten digitalen Menschen gesehen, aber gefunden, dass ihnen echte Emotionen fehlen? Um diese Einschränkung zu überwinden, stellen wir OmniHuman-1.5 vor, entwickelt von ByteDance – ein bahnbrechendes Framework, das dazu konzipiert ist, Charakteranimationen zu generieren, die oberflächliche Nachahmung übertreffen. Es bringt nicht nur virtuelle Avatare zum Leben, sondern ermöglicht ihnen auch, Emotionen auszudrücken.

Von der Nachahmung zum Ausdruck: Ein technischer Durchbruch

OmniHuman-1.5 nutzt ein duales Simulationsframework.

Zunächst nutzt diese Methode multimodale große Sprachmodelle, um strukturierte semantische Darstellungen zu generieren, die fortgeschrittene semantische Anleitung bieten und es der Bewegungsgenerierung ermöglichen, bloße Rhythmussynchronisation zu transzendieren und besser mit Kontext und Emotion übereinzustimmen.

Zweitens nutzt es durch eine speziell gestaltete multimodale DiT-Architektur und einen Pseudo-End-Frame-Mechanismus multimodale Informationen effizient, während es Konflikte mindert und dadurch Aktionen generiert, die tief mit Charakteren, Szenen und Sprache übereinstimmen.

Was kann OmniHuman-1.5 tun?

🎶Musikalische Auftritte

Mit nur einem Foto und einem Lied kann OmniHuman-1.5 einen „digitalen Sänger” erstellen, der die Pausen, Atemzüge und den Rhythmus des Künstlers präzise imitiert.

🎭Emotionales Schauspiel

OmniHuman-1.5 kann nicht nur digitale Sänger erstellen, sondern auch emotionale digitale Schauspieler produzieren.

🗣️Kontextbewusste Gesten

Anstelle wiederholter Gesten sind Animationen mit der Bedeutung abgestimmt. Wenn die Audiodatei beispielsweise „Herz” erwähnt, legt die Figur natürlicherweise eine Hand auf ihre Brust.

✍️Textgesteuerte Animation

OmniHuman-1.5 unterstützt Prompt-Steuerung. Beispiele sind:

1. Kamerabewegungen: „Die Kamera umkreist den Charakter langsam für eine Arthouse-Stimmung.”
2. Objektgenerierung: „Der Avatar greift zur Linse und beginnt dann zu sprechen.”
3. Spezifische Aktionen: „Ein Pinguin tanzt, trägt Sonnenbrille und tritt auf der Bühne auf.”

👥Multi-Charakter- und stilisierte Szenarien

Im Gegensatz zu früheren digitalen Menschen kann OmniHuman-1.5 an Gruppenkonversationen teilnehmen und Ensemble-Auftritte durchführen.

Es funktioniert auch mit Menschen, Tieren, anthropomorphen Figuren und stilisierten Cartoons und zeigt bemerkenswerte Vielseitigkeit.

Fazit: Hin zu virtuellen Menschen mit „Seele”

Die Technologie virtueller Menschen hat einen neuen Durchbruch erreicht. Das Aufkommen von OmniHuman-1.5 signalisiert eine neue Ära, in der sich virtuelle Menschen von oberflächlicher Nachahmung zu tiefem Ausdruck entwickelt haben. Es kann verstehen, was Sie sagen, und mit Ihnen in echter, herzlicher Kommunikation engagieren. Lassen Sie uns uns auf den Start des OmniHuman-1.5-Modells freuen!

Melden Sie sich jetzt bei WaveSpeedAI an. Darüber hinaus können Sie uns in den sozialen Medien unten kontaktieren.

Discord: Discord