ACE-Step.

Was Sie vor der Generierung vorgeben

ACE-Step erzeugt Audio aus einer Musikbeschreibung und einem Liedtext. In der Oberfläche beschreibt Caption den Charakter der Komposition: Genre, Instrumente, Stimmung und Tempogefühl. Der Liedtext wird separat in Lyrics eingegeben. So lassen sich verschiedene Arrangements für denselben Text vergleichen oder die Worte ändern, während die Musikbeschreibung gleich bleibt. Dauer, Tempo, Tonart und Taktart können ebenfalls über eigene Parameter festgelegt werden.

Für Instrumentalstücke gibt es den Schalter Instrumental. Wählen Sie vor der Erstellung eines Songs mit Gesang die Sprache aus und prüfen Sie Wörter, Endungen und Übergänge zwischen den Teilen. Die Autoren des Zweigs 1.5 geben an, Liedtexte in mehr als 50 Sprachen zu unterstützen. Gleich gute Aussprache und Gesangsqualität für jede Sprache und jedes Genre sind damit nicht garantiert.

Der Modus hängt vom gewählten Modell ab

Im Modus Custom können Sie Beschreibung und Liedtext selbst eingeben. Eine Audioreferenz hilft, Stil und Klangfarbe vorzugeben. Remix überarbeitet eine Ausgangsaufnahme, während sich mit Repaint ein Abschnitt für die neue Generierung auswählen lässt. Hören Sie nach einer solchen Bearbeitung besonders auf den Übergang zum erhaltenen Teil: Der ersetzte Abschnitt kann hörbar abweichen oder den Klangcharakter verändern.

Die Familie umfasst mehrere Modellvarianten mit unterschiedlichen Fähigkeiten. Für Base nennt die Anleitung Extract, Lego und Complete: eine Stimme oder Instrumentalspur herauslösen, ein Instrument hinzufügen und ein unvollständiges Arrangement ergänzen. Turbo und SFT bieten diese Modi nicht. Prüfen Sie vor der Vorbereitung des Ausgangsmaterials den gewünschten Modus in der Funktionstabelle der jeweiligen Variante. Die Versionen 1.5 und XL gehören zu derselben Familie, stellen aber unterschiedliche Anforderungen an die Hardware.

Beispiel für eine kurze Hintergrundmusik

Angenommen, Sie benötigen für ein eigenes Reparaturvideo 30 Sekunden ruhige Hintergrundmusik. Beschreiben Sie zum Beispiel weiche Keyboardklänge, sparsame Percussion und eine gleichmäßige Dynamik und aktivieren Sie anschließend Instrumental. Die Dauer stellen Sie separat über Audio Duration ein. Erzeugen Sie zunächst einen kurzen Entwurf und hören Sie ihn zusammen mit der Sprachspur an. Entscheiden Sie erst dann, ob die gewählten Instrumente dazu passen.

Lassen Sie beim Vergleich von Varianten Beschreibung und Dauer unverändert und ändern Sie nur den seed. Hören Sie Anfang, Übergänge und Ende an. Achten Sie darauf, dass die Musik nicht mit der Sprache konkurriert und keinen unerwünschten Gesang enthält. Speichern Sie Audio und Parameter einer gelungenen Variante für die weitere Arbeit. In der Oberfläche stehen unter anderem MP3, FLAC und WAV zur Verfügung. Das Dateiformat allein sagt noch nichts über die Qualität der Komposition aus.

Installation und Nutzung des Ergebnisses

Code, Gewichte und Anleitungen stehen für den eigenen Betrieb bereit. Zur Auswahl stehen eine Browseroberfläche, eine Python-Bibliothek und ein eigener REST-API-Server. Wählen Sie vor der Installation eine kompatible Umgebung und Modellvariante aus. Berücksichtigen Sie dabei Speicherbedarf, Abhängigkeiten und die Grenzen Ihres Geräts. Eine eigene API setzt einen laufenden Server und Rechenressourcen voraus. Daraus folgt nicht, dass die Entwickler für jedes Projekt einen sofort nutzbaren Cloud-Endpunkt bereitstellen.

Code und Gewichte des aktuellen Zweigs 1.5 sind unter MIT veröffentlicht. Kosten für Hardware, Hosting und die Pflege der Umgebung fallen separat an. Die Modelllizenz ersetzt nicht die nötigen Rechte an hochgeladenen Aufnahmen, Liedtexten oder anderem Ausgangsmaterial. Prüfen Sie vor der Verbreitung eines Ergebnisses die verwendeten Materialien und die Aufnahme selbst. Forschungsvergleiche und Geschwindigkeitsangaben auf der Projektseite lassen sich ohne eigene Prüfung nicht auf Ihren Computer übertragen.

Für welche Aufgaben geeignet

• Kurze instrumentale Entwürfe für eigene Videos erstellen
• Eine musikalische Idee mit einem eigenen Liedtext ausprobieren
• In einem unterstützten Modus Varianten eigener Aufnahmen erstellen