FlowDirector ist ein schulungsfreies Videobearbeitungs-Framework, das vom Westlake University AGI Lab und der Central South University entwickelt wurde. Es basiert auf einer durch gewöhnliche Differentialgleichungen (ODE) gesteuerten Bearbeitungsfluss-Generierungstechnologie in Kombination mit Mechanismen zur räumlichen Aufmerksamkeitsflusskorrektur (SAFC) und Differential Average Guidance (DAG), um eine hochpräzise Bearbeitung von Videoinhalten auf semantischer Ebene zu erreichen. Unterstützt Aufgaben wie Objektersetzung, Texturkonvertierung, Attributänderung usw. und kann ohne zusätzliche Schulung mit dem vorab trainierten T2V-Modell bearbeitet werden.

FlowDirector

Kernparameter und Statistiken

Projekte	Informationen
Werkzeugname	FlowDirector
Entwicklungsteam	AGI-Labor der Westlake University / Central South University
Kerneingang	GitHub: github.com/Westlake-AGI-Lab/FlowDirector
Lieferform	Open-Source-Forschungsframework (Python)
Kerntechnologie	ODE-gesteuerter Bearbeitungsablauf (Editing Flow), SAFC, DAG
Lizenz	Open Source (spezifische Lizenz finden Sie im GitHub-Repository)
Erforderliches Pre-Training-Modell	Kompatibel mit dem Mainstream-Text-to-Video-Modell (T2V)
Bearbeitungstyp	Objektersetzung, Texturkonvertierung, Attributänderung, Hinzufügen/Löschen von Objekten

Der Hauptbeitrag von FlowDirector besteht darin, zwei seit langem bestehende Probleme bei der Videobearbeitung zu lösen: Timing-Inkonsistenz und strukturelle Verzerrung. Herkömmliche Methoden basieren auf der Umkehrung des latenten Raums, die während des Prozesses der Kodierung des Videos in den latenten Raum und der anschließenden Dekodierung anfällig für zeitliches Flackern und Inhaltsverzerrungen ist. FlowDirector modelliert den Bearbeitungsprozess direkt im Datenraum und verwendet ODE-gesteuerte sanfte Übergangspfade, um Informationsverluste durch inverse Zuordnung zu vermeiden.

Benutzer- und Markterkennung

• Akademische Wirkung: Das Papier wurde auf arXiv (2506.05046) veröffentlicht, gemeinsam erstellt vom Westlake University AGI Lab und der Central South University. In mehreren Benchmark-Tests zur Videobearbeitung schnitt FlowDirector bei drei Schlüsselindikatoren hervorragend ab: Befolgung der Anweisungen, zeitliche Konsistenz und Erhaltung des Hintergrunds.
• Open-Source-Ökosystem: Der Code wurde als Open-Source-Code auf GitHub bereitgestellt, und Community-Entwickler können Experimente und Sekundärentwicklung reproduzieren und die Auswirkungen auf ihre eigenen Datensätze überprüfen. Open Source senkt den Schwellenwert für die technische Verifizierung und andere Forschungsteams können die Ergebnisse von FlowDirector direkt für den Basisvergleich verwenden.
• Vergleich mit ähnlichen Frameworks: Im Vergleich zu bestehenden Videobearbeitungsmethoden wie InstructVideo, Video-P2P und TokenFlow sind die Hauptvorteile von FlowDirector kein Training (keine Notwendigkeit, das Modell für jedes Video fein abzustimmen) und die Strukturerhaltung (ODE-Flow ist natürlich stabiler als inverse Mapping). Der Nachteil besteht darin, dass es sich derzeit stärker auf Forschungsprototypen konzentriert und noch weit von sofort einsatzbereiten Tools auf Produktebene entfernt ist.

Kostenvorteil

• Vollständig Open Source und kostenlos: Code- und Modellgewichte sind bei GitHub verfügbar, ohne API-Aufrufgebühren. Die erforderlichen Rechenressourcen hängen von den GPU-Spezifikationen des laufenden Geräts ab – je größer der Speicher, desto höher die Auflösung und Bildrate, die es verarbeiten kann.
• Vergleichsreferenz: Kommerzielle Videobearbeitungstools (wie Runway Gen-2, Pika Labs, Topaz Video AI) werden sekunden- oder monatsweise abgerechnet, und die Kosten für eine 30-Sekunden-Bearbeitungsaufgabe liegen zwischen einigen Yuan und Dutzenden Yuan. Für FlowDirector fallen keine direkten Nutzungskosten an, Sie müssen jedoch den Overhead für die GPU-Rechenleistung tragen. Wenn Sie bereits über ein GPU-Gerät (RTX 4090 oder höher) verfügen, sind die Stromkosten für die Ausführung einer einzelnen Bearbeitung vernachlässigbar; Wenn Sie sich auf die Vermietung von Cloud-GPUs (AutoDL und andere Plattformen) verlassen, betragen die Kosten für eine einzelne Bearbeitung etwa ein paar Yuan pro Stunde. – Geeignet für Teams, die kostensensibel sind, aber über GPU-Ressourcen verfügen, oder für Benutzer, die die Grenzkosten in Stapelbearbeitungsszenarien kontrollieren müssen.

Hauptfunktionen

• Präzise semantische Bearbeitung: Nehmen Sie Änderungen auf semantischer Ebene an Videoinhalten basierend auf Anweisungen in natürlicher Sprache vor. Ersetzen Sie beispielsweise „Bär“ im Video durch „Dinosaurier“ oder ändern Sie „Tag“ in „Nacht“. Der Bearbeitungsprozess erfordert keine manuelle Keyframe-Anmerkung oder Einzelbildverarbeitung.
• Schutz der räumlichen und zeitlichen Konsistenz: Behalten Sie die zeitliche Kohärenz und die Integrität der räumlichen Struktur des Videos während des Bearbeitungsprozesses bei. Dies ist der Kern der Wettbewerbsfähigkeit von FlowDirector – andere Methoden sind anfällig für Bildschirmflimmern oder eine Fehlausrichtung von Inhalten bei der Bearbeitung langer Videos. FlowDirector mildert dieses Problem bis zu einem gewissen Grad durch ODE-Streaming.
• Lokale Bearbeitung und globaler Schutz: Basierend auf dem SAFC-Mechanismus (Spatial Attention Flow Correction) wird nur der Zielbereich bearbeitet, der sich auf die Bearbeitungsanweisung bezieht, und der ursprüngliche Inhalt und Bewegungsstatus von Nichtzielbereichen wird eingefroren. Benutzer können genau steuern, „wo geändert werden soll“ und „wo nicht geändert werden soll“, anstatt die KI Vermutungen anstellen zu lassen.
• Trainingslose Bearbeitung: Verwenden Sie vorab trainierte Text-to-Video-Modelle (T2V) direkt, ohne dass zusätzliches Modelltraining oder Feinabstimmung für jedes Video oder jede Bearbeitungsaufgabe erforderlich ist. Die Verarbeitung eines neuen Videos erfordert nur einen Vorwärtsdurchlauf, und die Zeit- und Rechenleistungskosten sind deutlich geringer als bei Methoden, die eine Feinabstimmung Video für Video erfordern.
• Mehrere Arten der Bearbeitungsunterstützung: Deckt verschiedene Bearbeitungsaufgaben ab, wie Objektersetzung (Auto→Drache), Texturkonvertierung (Leder→Metallic), lokale Attributänderung (Änderung der Haarfarbe), Hinzufügen/Löschen von Objekten (Hinzufügen eines Hutes, Entfernen einer Person) usw.

Modell- und Versionsentwicklung

• arXiv-Papierveröffentlichung (Juni 2025): Die FlowDirector-Technologielösung wird zum ersten Mal vorgestellt, einschließlich dreier Kerninnovationen: Editing Flow Generation, SAFC und DAG. Veröffentlichte Bewertungsdaten zu mehreren Benchmarks.
• GitHub Open Source: Das Open-Source-Code-Repository wird mit dem Papier synchronisiert, einschließlich Inferenzcode, Beispielskripten und Schnittstellen zum Aufrufen von Gewichten vor dem Training.
• Die aktuelle Version befindet sich im Forschungsprototypenstadium und es gibt keinen Fahrplan für die Kommerzialisierung. Nachfolgende Iterationsrichtungen können Folgendes umfassen: Unterstützung höherer Auflösungen (derzeit durch GPU-Speicher begrenzt), Integration weiterer T2V-Modellbasen, Reduzierung der Anforderungen an Rechenressourcen usw.

Technische Vorteile

• Datenraum-Bearbeitungsablauf: Verlässt sich nicht auf die inverse Zuordnung des latenten Raums, berechnet direkt die Geschwindigkeitsfelddifferenz zwischen dem Quellvideo und dem Zielvideo im ursprünglichen Pixelraum und generiert einen reibungslosen Bearbeitungspfad. Dadurch wird grundsätzlich die bei der inversen Mapping-Methode übliche strukturelle Verzerrung vermieden – erstere wird beispielsweise direkt am Originalbild geändert, während letztere in eine Miniaturansicht komprimiert und dann dekomprimiert und wieder modifiziert wird. Entscheidend ist der Unterschied im Informationsverlust.
• Spatial Attention Flow Correction (SAFC): Extrahieren Sie Aufmerksamkeitskarten, die für die Bearbeitungsaufgabe relevant sind, und generieren Sie genaue räumliche Masken. Während des ODE-gesteuerten Bearbeitungsprozesses wird dem Geschwindigkeitsfeld eine Maske überlagert, die die Geschwindigkeitsfeldkomponenten in Nichtzielbereichen einfriert und den ursprünglichen Zustand des Hintergrunds und irrelevanter Bereiche schützt. Intuitives Verständnis von SAFC: Das Modell weiß, worauf es seine Aufmerksamkeit richten muss, und ändert nur den „fokussierten“ Bereich.
• Differential Average Guidance (DAG): Inspiriert von Classifier-Free Guidance generiert es mehrere Kandidaten-Editierströme und berechnet das Differenzsignal zwischen ihnen, wobei das Differenzsignal verwendet wird, um die Genauigkeit der semantischen Ausrichtung zu verbessern. Erläuterung: Anstatt den Ergebnissen einer einzelnen Bearbeitung zu vertrauen, ist es besser, die „Konsensrichtung“ zwischen mehreren Kandidatenlösungen zu finden, um zufällige Verzerrungen zu reduzieren.

Wie man es benutzt

Die Verwendung von FlowDirector ist auf Forschung und technische Überprüfung ausgerichtet und nicht in eine Webanwendung gepackt.

CODE ERHALTEN: „ Git-Klon https://github.com/Westlake-AGI-Lab/FlowDirector.git „

Abhängig von der Umgebung: -Python 3.8+

• PyTorch (2.0 oder höher empfohlen)
• CUDA (11,8 oder höher empfohlen)
• Vortrainierte T2V-Modellgewichte

Typische Schritte:

1. Konfigurieren Sie die Python-Umgebung und installieren Sie Abhängigkeiten gemäß der Warehouse-README-Datei.
2. Laden Sie den kompatiblen vorab trainierten T2V-Modellprüfpunkt herunter.
3. Bereiten Sie die Videoeingabe und die Bearbeitung des Anweisungstextes vor.
4. Führen Sie das Bearbeitungsskript aus: Geben Sie den Eingabevideopfad, die Bearbeitungsaufforderung, den Ausgabepfad und die Parameterkonfiguration an.
5. Warten Sie, bis die Inferenz abgeschlossen ist, und sehen Sie sich die Bearbeitungsergebnisse im Ausgabeverzeichnis an.

Beschreibung der technischen Schwelle: FlowDirector richtet sich derzeit an Forscher und Ingenieure mit Deep-Learning-Hintergrund. Wenn Sie es praktisch gestalten möchten, können Sie darüber nachdenken, es in eine Streamlit- oder Gradio-Weboberfläche zu kapseln oder es in das ComfyUI-Knoten-Ökosystem zu integrieren.

Produktpreise

Projekt	Beschreibung
Softwarelizenz	Völlig Open Source und kostenlos
Computerressourcen	Sie müssen Ihre eigene GPU mitbringen (RTX 4090 oder höher empfohlen)
Cloud-GPU-Lösung	Die Mietkosten betragen etwa 2–8 Yuan/Stunde (abhängig von den Instanzspezifikationen), und eine einzelne Bearbeitung dauert mehrere Minuten bis Dutzende Minuten
Kommerzielle Lizenz	Bitte überprüfen Sie die spezifischen Open-Source-Lizenzbedingungen des GitHub-Repositorys

Im Vergleich zu kommerziellen Videobearbeitungs-APIs (z. B. der sekundengenauen Abrechnung von Runway) bietet FlowDirector in Stapel- und Hochfrequenzbearbeitungsszenarien einen geringfügigen Kostenvorteil – nach einer festen Investition in Rechenleistung gehen die zusätzlichen Kosten für zusätzliche Bearbeitung gegen Null.

Anwendungsszenarien

• Video-Spezialeffektproduktion: Verwenden Sie Textbefehle, um gewöhnliche Objekte im Video durch Spezialeffektelemente zu ersetzen. In der frühen Proof-of-Concept-Phase der Film- und Fernsehbranche kann FlowDirector zur schnellen Generierung von Beispielen zur Bewertung von Bearbeitungseffekten verwendet werden, ohne dass Spezialeffektkünstler jede einzelne Version der Beispiele stundenlang bearbeiten müssen.
• Schnelle Wiederholung von Werbevideos: Passen Sie den Videoinhalt schnell an Änderungen im Text an – ersetzen Sie das Erscheinungsbild des Produkts, ändern Sie den Hintergrundkontext. Werbeagenturen können Vergleichsstichproben mehrerer Bearbeitungspläne gleichzeitig durchführen, den besten Plan auswählen und dann in die Feinproduktionsphase eintreten.
• Animations- und Spielmaterialien: Ändern Sie schnell das Erscheinungsbild von Charakteren oder den Szenenstil in animierten Kurzfilmen und reduzieren Sie so den Arbeitsaufwand für die manuelle Anpassung Bild für Bild. Geeignet für unabhängige Animatoren und kleine Spielestudios, um visuelle Lösungen in der frühen Prototyping-Phase schnell zu überprüfen.
• Produktion kurzer Videoinhalte: Inhaltsersteller nehmen sekundäre kreative Bearbeitungen an vorhandenen Videomaterialien vor – sie verwandeln gewöhnliche Szenen in einen Cyberpunk-Stil und fügen Fantasy-Elemente zu realen Videos hinzu. Eine Bearbeitung dauert mehrere Minuten bis zehn Minuten, was ein bis zwei Größenordnungen schneller ist als die herkömmliche Bild-für-Bild-Verarbeitung.
• Personalisierte Videobearbeitung: Einzelne Benutzer können Elemente in Haustiervideos und Reisekurzfilmen nach ihren eigenen kreativen Ideen ändern, um sie interessanter zu machen. GPU-Geräteunterstützung ist erforderlich, für den Bearbeitungsprozess sind jedoch keine Fachkenntnisse erforderlich.

Anwendbare Personen

• KI-Forscher und Computer-Vision-Ingenieure: Die Zielgruppe von FlowDirector. Sie können die Ergebnisse der Arbeit reproduzieren, den Algorithmus basierend auf dem Quellcode verbessern und den Bearbeitungseffekt an Ihrem eigenen Datensatz überprüfen.
• Spezialeffektkünstler für Film- und Fernsehpostproduktion: Technisches Spezialeffektpersonal, das sich für KI-Videobearbeitungstechnologie interessiert und diese in seinen Arbeitsablauf integrieren möchte. Für die Konfiguration und Verwendung ist eine gewisse Python-Grundlage erforderlich, die Bearbeitungseffekte können jedoch in frühe kreative Vorschläge integriert werden.
• Ersteller von KI-Inhalten und unabhängige Entwickler: Personen, die über GPU-Ressourcen verfügen und bereit sind, modernste Videobearbeitungstechnologie auszuprobieren. Die Bearbeitungsqualität von FlowerDirector liegt auf dem Spitzenniveau vergleichbarer schulungsfreier Methoden und eignet sich als Grundkomponente von Batch-Videoverarbeitungspipelines.

Grenzen nicht anwendbar: – Szenarien, die eine Verarbeitungsgeschwindigkeit in Echtzeit oder nahezu in Echtzeit erfordern – Die FlowDirector-Inferenz dauert Minuten und ist nicht für Live-Übertragungen oder Echtzeitbearbeitung geeignet.

• Es gelten extreme Anforderungen an die Bildqualität von 4K und höher – derzeit durch den GPU-Speicher begrenzt, die Ausgabeauflösung ist begrenzt. – Nicht technisch versierte Benutzer – Derzeit ist es nicht als Webprodukt verpackt und der Schwellenwert für Befehlszeilenvorgänge und Python-gebundene Konfiguration ist hoch.
• Projekte, die strenge Anforderungen an das kommerzielle Urheberrecht an Ausgabeergebnissen stellen – das Urheberrecht an KI-generierten/bearbeiteten Inhalten ist immer noch eine rechtliche Grauzone.

Zusammenfassung und Ausblick

FlowDirector schlägt eine einfache und effektive technische Lösung im Bereich der Videobearbeitung vor – die Verwendung des Datenraum-ODE-Flusses als Ersatz für die inverse Zuordnung des latenten Raums, wodurch die Probleme der zeitlichen Inkonsistenz und strukturellen Verzerrung auf architektonischer Ebene gelöst werden. Sowohl SAFC als auch DAG verbessern die Zuverlässigkeit in den beiden Dimensionen „präzise Positionierung des Bearbeitungsbereichs“ bzw. „verbesserte semantische Ausrichtung“. Für Forscher ist dies ein grundlegender Rahmen mit klaren Vorstellungen; Für Teams, die Videobearbeitungsfunktionen in tatsächliche Projekte implementieren möchten, beweist es, dass die Qualität der Videobearbeitung ohne Schulung ein praktisches Niveau erreichen kann.

Aktuelle Einschränkungen:

• Es handelt sich immer noch um einen Forschungsprototyp und wurde noch nicht in eine Produktform verpackt, die kommerziell eingesetzt werden kann.
• Die Anforderungen an den GPU-Speicher sind hoch, was die Videoauflösung und die Anzahl der verarbeitbaren Bilder begrenzt.
• Benutzer müssen ihre eigenen technischen Fähigkeiten mitbringen, um die Umgebung zu konfigurieren, Parameter anzupassen und Probleme zu beheben.

Folgebeobachtungspunkte:

• Ob ein Team es als ComfyUI-Knoten oder Webservice kapselt – dies bestimmt direkt den Grad der Praktikabilität.
• Ob eine höhere Auflösung und längere Videos unterstützt werden sollen – dies bestimmt, ob es in den Film- und Fernsehproduktionsprozess aufgenommen werden kann. – Die Anzahl der Community-Beiträge und Forks – spiegelt den Zustand des Open-Source-Ökosystems wider.

Verwandte Tools: runway, pika

Versionsinfo

• Erstveröffentlichung ：Die erste öffentliche Version unterstützt die präzise semantische Videobearbeitung, den lokalen SAFC-Schutzmechanismus und die semantische DAG-Erweiterung basierend auf dem ODE-Bearbeitungsablauf. （~2025-06）
• Papierfreigabe ：Das arXiv-Papier wird veröffentlicht und enthält technische Details und Benchmark-Ergebnisse. （~2025-06）