Einführung von WaveSpeedAI Heartmula Musikgenerierung auf WaveSpeedAI

HeartMuLa ist jetzt auf WaveSpeedAI verfügbar: Verwandelt eure Lyrics mit KI in vollständige Songs

Originale Musik zu erschaffen, war lange Zeit eines der zeitaufwendigsten kreativen Vorhaben – bis jetzt. WaveSpeedAI freut sich, die Verfügbarkeit von HeartMuLa bekanntzugeben, einem hochmodernen Open-Source-Musik-Grundlagenmodell, das hochwertige, vollständige Songs aus euren Lyrics und Style-Tags generiert. Ob ihr als Songwriter Ideen prototypisiert, als Content Creator einen individuellen Soundtrack sucht oder als Entwickler die nächste musikbasierte Anwendung baut – HeartMuLa bringt professionelle Musikproduktion in einen einfachen API-Aufruf.

Was ist HeartMuLa?

HeartMuLa ist eine Familie von Open-Source-Musik-Grundlagenmodellen, die auf einer ausgeklügelten Vier-Komponenten-Architektur aufbaut: HeartCLAP für die Audio-Text-Ausrichtung, HeartTranscriptor für die Lyrikanerkennung, HeartCodec für hochwertige Musiktokenisierung und das HeartMuLa-Sprachmodell selbst für die Songgenerierung. Zusammen erzeugen diese Komponenten vollständige Songs – Vocals, Melodien, Harmonien und vollständige Instrumentalarrangements – aus nichts weiter als strukturierten Lyrics und einigen Style-Tags.

Was HeartMuLa besonders macht, ist die Klarheit der Lyrics. In Benchmark-Tests erreicht HeartMuLa die niedrigste Phonem-Fehlerrate (PER) in jeder getesteten Sprache und übertrifft damit führende kommerzielle Modelle wie Suno v5 und MiniMax Music 2.0. Im Englischen erreicht HeartMuLa eine PER von nur 0,09, im Chinesischen 0,12 – das bedeutet, jedes Wort, das ihr schreibt, kommt glaskllar im finalen Song durch. Das Modell wurde zusätzlich mit Direct Preference Optimization (DPO) verfeinert, einer Reinforcement-Learning-Technik, die eine präzise Kontrolle über Stile, Tags und die allgemeine musikalische Qualität sicherstellt.

Zum ersten Mal wurde ein kommerziell nutzbares Musikgenerierungssystem in akademischem Maßstab reproduziert und als Open Source unter der Apache-2.0-Lizenz veröffentlicht – und jetzt ist es auf WaveSpeedAI ohne jegliches Setup verfügbar.

Wichtigste Funktionen

Vollständige Songgenerierung: Erzeugt komplette Songs mit Vocals, Instrumentals, Intros, Bridges und Outros – keine bloßen Loops oder kurze Clips
Mehrsprachige Lyrics: Unterstützt Englisch, Chinesisch, Japanisch, Koreanisch und Spanisch – ideal für Creator, die globale Zielgruppen ansprechen
Strukturierte Songkomposition: Verwendet Abschnittsmarkierungen wie [Verse], [Chorus], [Bridge], [intro-short] und [outro-medium], um das Arrangement und den Ablauf eures Songs präzise zu steuern
Flexible Style-Kontrolle: Definiert Genre, Stimmung, Tempo, Instrumente und Vokal-Charakteristika durch einfache kommagetrennte Tags wie "r&b, smooth, male vocals, soulful, 85bpm"
Instrumentalabschnitte: Fügt Intros, Outros und instrumentale Pausen mit konfigurierbaren Dauermarkierungen hinzu – für diese Abschnitte sind keine Lyrics erforderlich
Branchenführende Lyricklarheit: Niedrigste Phonem-Fehlerrate in allen getesteten Sprachen, sodass eure Lyrics genau so gesungen werden, wie ihr sie geschrieben habt

Praxisnahe Anwendungsfälle

Originale Musikkreation

Songwriter und Musiker können ihre Lyrics sofort zum Leben erwecken. Schreibt eure Verse und Refrains, wählt einen Stil und hört innerhalb von Sekunden eine vollständig produzierte Version eures Songs. Das ist der schnellste Weg von der Idee zum Demo.

Content-Soundtracks

Video-Creator, Podcaster und Social-Media-Produzenten können individuelle Hintergrundmusik generieren, die perfekt zu ihrem Content passt. Anstatt durch generische Bibliotheken mit lizenzfreier Musik zu stöbern, erstellt für jedes Projekt etwas Einzigartiges.

Mehrsprachige Content-Produktion

Marken und Creator, die internationale Zielgruppen bedienen, können Songs in fünf Sprachen aus einem einzigen Modell produzieren. Startet eine Marketingkampagne mit einem japanischen Pop-Track, einer spanischen Ballade und einer englischen Hymne – alles über dieselbe API generiert.

Demo-Produktion & Songwriting-Unterstützung

Professionelle Songwriter können HeartMuLa als Rapid-Prototyping-Werkzeug nutzen. Testet, wie Lyrics in verschiedenen Genres und Tempi klingen, bevor ihr euch auf teure Studiosessions festlegt. Experimentiert mit Arrangements, indem ihr Abschnittsmarkierungen umsortiert und in Sekunden neu generiert.

Spiel- & App-Entwicklung

Spieleentwickler können originale Titelmelodien, Menümusik und In-Game-Soundtracks mit Vocals erstellen, die auf die Erzählung ihres Spiels zugeschnitten sind. App-Entwickler können die Musikgenerierung direkt über die WaveSpeedAI-API in ihre Produkte integrieren.

Erste Schritte auf WaveSpeedAI

Musik mit HeartMuLa auf WaveSpeedAI zu generieren, ist einfach. Alles, was ihr braucht, sind Lyrics – der Rest ist optional.

Die API verwenden

import wavespeed

output = wavespeed.run(
    "wavespeed-ai/heartmula/generate-music",
    {
        "lyrics": """[intro-short]
[Verse]
Your voice like velvet, I'm never alone
The way you say my name, it pulls me in
A love like ours is more than skin
[Chorus]
Stay with me until the morning light
Hold me close and never let me go
[outro-short]""",
        "tags": "r&b, smooth, male vocals, soulful, slow jam, romantic, 85bpm"
    },
)

print(output["outputs"][0])

Eure Lyrics gestalten

Strukturiert eure Lyrics mit Abschnittsmarkierungen für die besten Ergebnisse:

[Verse], [Chorus], [Bridge] — Vokalabschnitte, die Lyrics erfordern
[intro-short], [intro-medium] — Instrumentale Intros (0–10 Sek. oder 10–20 Sek.)
[inst-short], [inst-medium] — Instrumentale Pausen zwischen Abschnitten
[outro-short], [outro-medium] — Instrumentale Abschlüsse

Den Stil definieren

Kombiniert Tags, um genau den gewünschten Sound zu beschreiben:

"female, bright, pop, happy, piano, 130bpm" — Fröhliche Pop-Hymne
"male, dark, rock, guitar, drums, energetic" — Treibender Rock-Track
"piano, happy, wedding, synthesizer, romantic" — Romantischer Hochzeitssong
"jazz, smooth, saxophone, soft, 90bpm" — Spätnächtliches Jazz-Feeling

Profi-Tipps:

Haltet eure Lyrics gut strukturiert mit klaren Abschnittsmarkierungen für beste Arrangementqualität
Kombiniert mehrere Style-Tags für spezifischere Ergebnisse – Genre, Stimmung, Instrumente, Tempo und Vokal-Charakteristika wirken zusammen
Verwendet [inst-short] oder [inst-medium] zwischen Vokalabschnitten, um eurem Song Atemraum zu geben
Setzt einen bestimmten Seed-Wert, um identische Ergebnisse zu reproduzieren, wenn ihr eine Generation gefunden habt, die ihr liebt

Warum WaveSpeedAI wählen?

HeartMuLa auf WaveSpeedAI zu betreiben, bietet euch das Beste aus beiden Welten – ein Open-Source-Modell mit kommerzieller Infrastruktur:

Keine Cold Starts: Eure Musikgenerierung beginnt sofort, ohne Wartezeit für das Hochfahren von Instanzen
Schnelle Inferenz: Optimierte Infrastruktur liefert eure vollständigen Songs schnell, sodass ihr frei iterieren und experimentieren könnt
Erschwingliche Preise: Generiert vollständige Songs für nur 0,10 $ pro Song – ein Bruchteil dessen, was abonnementbasierte Musikgenerierungsplattformen verlangen
Einfache REST API: Integriert KI-Musikgenerierung in eure Anwendungen mit einer unkomplizierten API, die keinerlei ML-Expertise oder GPU-Management erfordert

Fangt noch heute an, eure Musik zu erschaffen

HeartMuLa stellt einen Meilenstein in der KI-Musikgenerierung dar: ein Open-Source-Modell, das kommerzielle Angebote in der Qualität rivaliert, sie in der Lyricklarheit übertrifft und echte mehrsprachige Songkreation unterstützt. Kombiniert mit WaveSpeedAIs schneller, zuverlässiger Infrastruktur ist es die zugänglichste Möglichkeit, eure Worte in Musik zu verwandeln.

Ob ihr einen Film vertont, einen Hit prototypisiert, Content-Soundtracks erstellt oder eine musikbasierte Anwendung baut – HeartMuLa auf WaveSpeedAI liefert professionelle Ergebnisse zu einem Preis, der kreative Möglichkeiten für alle erschließt.

Bereit, eure Lyrics lebendig werden zu hören? Probiert HeartMuLa auf WaveSpeedAI noch heute aus und fangt an, vollständige Songs aus euren Worten zu generieren.