3D-Speaker ist das Open-Source-Toolkit von Alibaba Cloud ModelScope für die Verifizierung einzelner/multimodaler Sprecher, die Sprecheridentifizierung und die Sprecherprotokolltrennung. Es bietet vorab trainierte Modelle wie ERes2Net, CAM++ und ECAPA-TDNN sowie umfangreiche 3D-Speaker-Sprachdatensätze und unterstützt multimodale Sprecherprotokolle, die Sprache und Vision integrieren.

3D-Lautsprecher

Kernparameter und Statistiken von 3D-Speaker

3D-Speaker ist ein Open-Source-Toolkit zur Überprüfung, Erkennung und Protokolltrennung einzelner/multimodaler Sprecher der Alibaba Cloud ModelScope-Community. Es bietet eine vollständige Werkzeugkette vom Modelltraining bis zur Produktionsinferenz für Entwickler von Sprachtechnologie und KI-Forscher. Das „3D“ im Namen steht für die drei Dimensionen des Datensatzes – Multi-Device, Multi-Distance und Multi-Dialect – und nicht für dreidimensionales Sehen.

Projekte	Öffentliche Informationen
Produktpositionierung	Open-Source-Toolkit zur Verifizierung einzelner/multimodaler Sprecher und Protokolltrennung
Kerntechnologie-Stack	Deep Learning (ResNet, Res2Net, ECAPA-TDNN, ERes2Net, CAM++, SDPN usw.)
Anzahl vorab trainierter Modelle	10+ (über Sprecherüberprüfung, Spracherkennung, selbstüberwachtes Lernen)
Lizenzvereinbarung	Apache-Lizenz 2.0
Unterstützte Plattformen	Linux, macOS, Desktop, API
Programmiersprachen	Python (54 %), Shell (27 %), Perl (15 %), C++ (3 %)
GitHub-Sterne	~3.100
GitHub Forks	~267
Mitwirkende	8 Personen (Stand 2026-07)
Angeschlossene Organisation	Alibaba DAMO Academy / ModelScope
Ort der Zugehörigkeit	CN
Verknüpfter Datensatz	3D-Sprecher-Datensatz (über 10.000 Sprecher, 190 GB Trainingsdaten)
Wissenschaftliche Arbeiten	ICASSP 2025-Annahme

Kurze Rezension in einem Satz: 3D-Speaker ist kein Sprachassistentenprodukt, sondern eine professionelle Open-Source-Toolbibliothek zur Stimmabdruckerkennung, die von ModelScope entwickelt wurde und es Entwicklern ermöglicht, zu geringen Kosten Funktionen auf Produktionsebene zur „Identifizierung von Personen durch Abhören von Stimmen“ zu entwickeln und einen passenden, umfangreichen Benchmark-Datensatz bereitzustellen.

Kernfähigkeitsgrenze: 3D-Speaker konzentriert sich auf die Aufgabe, „wer spricht“ und bietet kein semantisches Verständnis von ASR (Sprache zu Text), TTS (Sprachsynthese) oder NLP. Es löst das Identitätserkennungsproblem in der Sprachinteraktionspipeline und muss mit anderen Sprachmodulen kombiniert werden, um ein vollständiges Dialogsystem zu bilden.

Benutzer- und Markterkennung von 3D-Speaker

Die Stimmabdruckerkennungstechnologie befindet sich in einer kritischen Phase des Übergangs von der akademischen Forschung zur groß angelegten industriellen Anwendung – die Nachfrage nach „Identifizierung von Personen durch Abhören von Stimmen“ wächst in Szenarien wie der Authentifizierung finanzieller Identitäten, intelligenter Konferenzanalysen und der Personalisierung von Smart Homes weiter. Der Mangel an qualitativ hochwertigen Open-Source-Toolketten schränkte jedoch lange Zeit die Geschwindigkeit der industriellen Umsetzung ein. In diesem Zusammenhang setzt 3D-Speaker auf das ModelScope-Ökosystem (KI-Open-Source-Plattform von Alibaba Cloud) und hat sich zu einem der einflussreichsten Open-Source-Projekte im Bereich der Erkennung chinesischer Sprecher entwickelt.

Community-Anerkennung: Das GitHub-Repository erhielt etwa 3.100 Sterne und 267 Forks. Im Vergleich zu ähnlichen Open-Source-Projekten (wie WeSpeaker mit etwa 4,5.000 Sternen, SpeechBrain mit etwa 9.000 Sternen) wird 3D-Speaker in der chinesischen Sprachtechnologie-Community als Spitzenreiter anerkannt. Der Hauptunterschied besteht darin, dass es eine integrierte „Daten + Code“-Lösung aus umfangreichen Datensätzen für mehrere Geräte, mehrere Entfernungen und mehrere Dialekte sowie einen vollständigen Satz von Basismodellen bietet.

Akademische Bedeutung: 3D-Speaker-bezogene Beiträge wurden von der ICASSP 2025 (der führenden akademischen Konferenz im Bereich Sprache) angenommen. Der Beitrag trägt den Titel „3D-Speaker-Toolkit: An Open Source Toolkit for Multi-modal Speaker Verification and Diarization“. Das begleitende 3D-Speaker-Datensatzpapier (arXiv 2306.15354) bietet einen groß angelegten Benchmark von mehr als 10.000 Sprechern in 14 chinesischen Dialekten für die Forschung zur Sprachdarstellungsentkopplung und wurde von vielen Forschern zitiert.

Industrielle Akzeptanz: Die Stimmabdruckerkennung ist eine der Schlüsseltechnologien für eine „erweiterte Identitätsauthentifizierung“ in Szenarien zur Einhaltung von Finanzvorschriften. Basierend auf dem Alibaba Cloud-Ökosystem deckt 3D-Speaker Entwicklerbenutzer in den Bereichen Finanzen, Sicherheit, Konferenzen und anderen Branchen über den Download vorab trainierter Modelle und die Online-Inferenzdienste der ModelScope-Plattform ab. Spezifische Daten zur Akzeptanz auf Unternehmensebene sind nicht öffentlich, aber die Downloads der Modellseite zur Sprecherverifizierung der ModelScope-Plattform können als indirekte Referenz verwendet werden.

Unterschiedliche Positionierung gegenüber Konkurrenzprodukten: Im Vergleich zu internationalen Mainstream-Tools wie pyannote.audio (von einem französischen Team entwickelt, mit Schwerpunkt auf Diarisierung), SpeechBrain (umfassendes Sprach-Toolkit) und WeSpeaker (mit Schwerpunkt auf Sprechererkennung) liegt der Hauptvorteil von 3D-Speaker in drei Punkten: Erstens bietet es einen umfangreichen chinesischen Multidialekt-Datensatz (3D-Speaker-Dataset); Zweitens umfasst es sowohl monomodale (reines Audio) als auch multimodale (Audio- und Videofusion) Lösungen. Drittens erzielt es weiterhin führende Benchmark-Ergebnisse in Modellarchitekturen wie ERes2NetV2 und CAM++.

Kostenvorteil von 3D-Speaker

Das Preismodell von 3D-Speaker ist äußerst einfach – völlig kostenlos unter der Open-Source-Lizenz Apache 2.0. Die tatsächliche Kostenstruktur hinter „Open Source und Free“ muss jedoch nach Rollen aufgeschlüsselt werden:

C-Client/Einzelentwickler: Der Code und das vorab trainierte Modell können völlig kostenlos heruntergeladen und verwendet werden (Apache 2.0-Lizenz). Einzelne Entwickler können ohne Lizenzgebühren Inferenz auf nativen GPUs (z. B. RTX 3090/4090) ausführen. Der 3D-Speaker-Datensatz (~190 GB) ist ebenfalls kostenlos verfügbar, das Herunterladen erfordert jedoch Bandbreite und Zeitaufwand.

API/Entwickler: Keine offiziellen Preise für gehostete APIs – 3D-Speaker bietet keine eigenständige kostenpflichtige API auf der ModelScope-Plattform an (im Gegensatz zum kommerziellen API-Modell für Basismodelle wie die DeepSeek-API). Entwickler können wählen:

• Selbstbereitstellungsmodus: Führen Sie die Inferenz auf Ihrem eigenen Server aus. Die Kosten hängen vollständig von der Hardwareinvestition ab. Die Inferenz zur Verifizierung eines einzelnen Sprechers kann auf Verbraucher-GPUs in einigen zehn Millisekunden abgeschlossen werden, und der Durchsatzengpass liegt hauptsächlich in der Sprachaktivitätserkennung (VAD) und der Audiodekodierung vor der Merkmalsextraktion.
• ModelScope-Online-Inferenz: Die ModelScope-Plattform bietet Online-Erfahrungsdienste für einige vorab trainierte Modelle, wird jedoch hauptsächlich zur Funktionsüberprüfung verwendet und ist nicht für Produktionsszenarien mit hoher Parallelität geeignet. Die spezifische Nutzungsbeschränkung unterliegt der offiziellen ModelScope-Seite.

Unternehmen/Privat: Die Apache 2.0-Lizenz ermöglicht die kostenlose kommerzielle Nutzung, Änderung und Weiterverbreitung ohne Lizenzgebühr. Allerdings müssen Unternehmen folgende explizite Investitionen tragen:

• GPU-Infrastruktur: Eine einzelne Karte A100-80G kann Batch-Inferenz von Mainstream-Modellen wie ERes2NetV2 (17,8 Millionen Parameter) übertragen; Umfangreiche Tagebuchaufzeichnungsaufgaben (z. B. Dutzende Stunden Konferenzaudio) erfordern höherspezifizierte CPU-/GPU-Ressourcenkonfigurationen.
• Datenerfassung und Annotation: Die tatsächliche Leistung des Stimmabdruckerkennungssystems hängt in hohem Maße von Daten ab, die mit der Zielszene übereinstimmen. Die Erkennungsgenauigkeit zwischen Geräten (z. B. beim Umschalten von einem PC-Mikrofon auf einen Telefonkanal) und über Entfernungen (Nahfeld vs. Fernfeld) nimmt erheblich ab. Unternehmen müssen in der Regel zusätzlich Sprachdaten der Zielszene sammeln und eine Feinabstimmung der Domäne durchführen. Diese impliziten Kosten übersteigen häufig die Kosten für die Nutzung des Modells selbst.
• Investitionen in die Systemintegration: Das Stimmabdruckerkennungsmodul muss mit vorhandenen ASR-, VAD-, NLP- und anderen Pipelines verbunden werden, was Investitionen in technische Arbeitskräfte erfordert.

Kostenvergleich: Open-Source-Tools vs. kommerzielle APIs:

Kostenpositionen	3D-Speaker (Open Source und Selbstbereitstellung)	Kommerzielle Sprachabdruck-API (z. B. Alibaba Cloud-Sprachabdruckerkennung)
Lizenzgebühr	Null	Abrechnung nach Anrufvolumen
GPU-Server (monatliche Schätzung)	5.000–50.000 Yuan (je nach Maßstab)	Null (API-Aufruf)
Betriebs- und Wartungspersonal	Technikerwartung erforderlich	Null
Feinabstimmung der Szenenadaption	Selbstinvestition	Anpassung wird normalerweise nicht unterstützt
Datenschutz	Vollständig lokalisiert	Abhängigkeit von Cloud-Dienstanbietern
Grenzkosten nach Skala	Nahezu Null (nur Stromkosten)	Lineares Wachstum mit Anrufvolumen

Tipp zu versteckten Kosten: Der EER von 3D-Speaker kann bei Standardtestgeräten wie VoxCeleb und CNCeleb bis zu 0,52 % betragen, diese Zahlen werden jedoch unter kontrollierten Laborbedingungen ermittelt. In realen Szenarien – nicht-stille Situationen, Mobiltelefonanrufe, Kinder oder ältere Sprecher – sinkt die Erkennungsgenauigkeit erheblich. Bevor Sie das Modell in Produktion bringen, müssen Sie mindestens zwei Wochen lang Graustufentests an den Zielszenendaten durchführen, um die Leistungslücke zwischen dem vorab trainierten Modell und dem fein abgestimmten Modell zu vergleichen.

Hauptfunktionen von 3D-Speaker

Die Kernfunktionen von 3D-Speaker drehen sich um die Aufgabe, „Sprecheridentität anhand der Sprache zu identifizieren“ und umfassen vier miteinander verbundene Funktionsmodule:

• Sprecherverifizierung: 1:1-Identitätsauthentifizierung, die überprüft, ob eine Rede einem erklärten Sprecher gehört. Dies ist ein Kernszenario für die Überprüfung der finanziellen Identität und die Systemanmeldung. 3D-Speaker bietet mehrere Modelle wie ERes2NetV2, CAM++, ECAPA-TDNN usw. und der EER des VoxCeleb-Testsatzes reicht von 0,52 % (ERes2Net-Large) bis 1,56 % (Res2Net). Implementierungsbedenken: Die Auswahl des Überprüfungsschwellenwerts führt zu direkten Kompromissen zwischen Sicherheit und Benutzererfahrung. Wenn der Schwellenwert zu streng ist, verbessert er die Sicherheit, erhöht jedoch die Ablehnungsrate des Benutzers. Es wird empfohlen, eine ROC-Kurvenanalyse durchzuführen, um die Sicherheitsstufe des Unternehmens zu bestimmen.

• Sprecheridentifikation: 1:N-Identitätsabgleich, der identifiziert, zu welcher bekannten Identität die aktuelle Stimme aus dem registrierten Sprechersatz gehört. Es eignet sich für Szenarien wie die Ermittlung von Verdächtigen und die automatische Identifizierung von VIP-Kunden. Implementierungsprobleme: Wenn die Größe des Registrierungssatzes zunimmt, nimmt die Erkennungsgenauigkeit ab. In großen Szenarien (>10.000 Personen) wird empfohlen, hierarchische Indexierung oder ANN-Beschleunigung einzuführen.

• Sprecher-Dialogisierung: Teilen und kennzeichnen Sie Mehrpersonen-Audio nach „Wer hat zu welcher Zeit gesprochen“ und geben Sie Zeitstempel und Sprecherbezeichnung aus. Dies ist die Kernvoraussetzung für die Analyse von Besprechungen und die Qualitätsprüfung des Kundendienstes. Die Diarisierungspipeline von 3D-Speaker enthält fünf steckbare Module: Erkennung überlappender Sprache (optional) → Sprachaktivitätserkennung → Sprachsegmentierung → Extraktion der Sprechereinbettung → Sprecherclusterung. Im Aishell-4-Datensatz kann die DER (Diarization Error Rate) 10,30 % erreichen. Bedenken bei der Implementierung: Die Überlappungserkennung ist der Flaschenhals des aktuellen Projekts – wenn zwei oder mehr Personen gleichzeitig sprechen, ordnet das herkömmliche Diarisierungsschema den überlappenden Bereich fälschlicherweise einem der Sprecher zu oder markiert ihn als Rauschen, was zu Informationsverlust führt. 3D-Speaker bietet ein optionales Überlappungserkennungsmodul, um dieses Problem zu lindern.

• Sprachidentifikation: Identifizieren Sie den Sprachtyp der Rede (derzeit Schwerpunkt auf Chinesisch und Englisch). Basierend auf dem CAM++-Modell wird für den 3D-Speaker-Datensatz ein EER von 29,36 % erreicht (die Spracherkennung basiert hauptsächlich auf Genauigkeit, dieser EER dient nur als Referenz). Geeignet für mehrsprachige Callcenter-Szenarien mit automatischer Weiterleitung.

• Multimodale Lautsprecher-Diarisierung: Fusion von Audio- und Videobildeingabe. Lippenbewegungs- und Gesichtsaktivitätsmerkmale werden durch das TalkNet-ASD-Modell aus Videos extrahiert, und die gemeinsame Inferenz mit Audiomerkmalen ist in überlappenden Sprachszenarien deutlich besser als die reine Audiolösung. Es eignet sich für Szenarien wie Videokonferenzen und Interviewaufzeichnungen, die sowohl Audio- als auch Videodaten enthalten.

• Selbstüberwachte Sprecherverifizierung (Selbstüberwachtes SV): Bietet zwei selbstüberwachte Trainingslösungen, RDINO und SDPN, die die Sprecherdarstellung anhand unbeschrifteter Sprachdaten erlernen können, wodurch die Abhängigkeit von qualitativ hochwertigen annotierten Daten verringert wird. Geeignet für Vortrainingsszenarien mit großen, unbeschrifteten Sprachdaten.

[Expertenansicht: Funktionale Synergie]: Diese vier Funktionen bilden eine vollständige Verarbeitungspipeline „Sprache→Sprecher-Tag“ – Diarisierung trennt die Sprachsegmente verschiedener Sprecher → Verifizierung/Identifizierung kennzeichnet jedes Segment mit Identität → Sprachidentifizierung ergänzt Sprachmetainformationen. Im tatsächlichen technischen Einsatz stellt die Segmentierungsgenauigkeit der Diarisierung (insbesondere die Qualität der überlappenden Sprachsegmentierung) den Flaschenhals der gesamten Pipeline dar: Segmentierungsfehler werden direkt an die Verifizierungsabschnitte weitergeleitet, was zu Fehlern bei der Identitätsanmerkung führt. Es wird empfohlen, mehr Optimierungsressourcen in das VAD und die Segmentierung der Pipeline zu investieren, anstatt sich nur auf die Genauigkeit des Verifizierungsmodells selbst zu konzentrieren.

Modell- und Versionsentwicklung des 3D-Speakers

3D-Speaker wird kontinuierlich im Modus „Funktionsiteration treibt Versionsentwicklung voran“ aktualisiert. Das GitHub-Repository verfügt über keine traditionellen semantischen Versionsnummern (keine Veröffentlichungen von v1.0, v2.0 usw.), sondern wird in Form einer „monatlichen/vierteljährlichen Veröffentlichung neuer Modelle oder neuer Funktionen“ beworben. Das Folgende ist eine Rekonstruktion des Versionskontexts basierend auf der Zeitleiste „Was ist neu“ in der README-Datei:

Phase 1: Veröffentlichung des Datensatzes und des Basismodells (2023.06 – 2023.11)

• 2023.06: Der 3D-Speaker-Datensatz wird offiziell veröffentlicht und umfasst mehr als 10.000 Sprecher in 14 chinesischen Dialekten, Bezeichnungen für mehrere Geräte (PC, Rekorder, Array, mobiles iPad) und mehrere Entfernungen (0,1 m–4 m). Gleichzeitig wurden Basismodelle und unterstützende Benchmarks wie ERes2Net, CAM++ und RDINO veröffentlicht.
• 2023.07: CAM++-, ERes2Net-Base- und ERes2Net-Large-Vortrainingsmodelle werden auf der ModelScope-Plattform gestartet; Dialogerkennungs- und semantische Sprecherwechselerkennungsmodule werden veröffentlicht, um die semantische Dimension der Diarisierung zu verbessern.
• 2023.08: CAM++-, ERes2Net-Base- und ERes2Net-Large-Benchmark-Ergebnisse für den CN-Celeb-Datensatz veröffentlicht; veröffentlichte Modelle zur Spracherkennung für Chinesisch und Englisch.
• 2023.09: Veröffentlichung von Trainings- und Inferenzrezepten für das selbstüberwachte Sprecherverifizierungsmodell RDINO auf dem CN-Celeb-Datensatz.
• 2023.10: Veröffentlichung der Trainings- und Inferenzrezepte von ECAPA-TDNN für drei Datensätze (3D-Speaker, VoxCeleb, CN-Celeb).
• 2023.11: Vorab trainiertes Modell auf ERes2Net-Basis veröffentlicht, trainiert auf der Grundlage eines Chinesisch-Mandarin-Datensatzes mit 200.000 Sprechern.

Phase 2: Modellsystemerweiterung (2024.01 – 2024.08)

• 2024.01: Veröffentlichung von ResNet34- und Res2Net-Modellrezepten, die drei Datensätze abdecken; veröffentlichte Feinabstimmungsrezepte und Diarisierungsinferenzrezepte mit großem Spielraum.
• 2024.02: Veröffentlichung eines Spracherkennungsrezepts, das Phoneminformationen integriert, um die Genauigkeit der Spracherkennung zu verbessern; veröffentlichte ein multimodales Diarisierungsrezept zur Integration von Audio- und Videoeingaben.
• 2024.04: Veröffentlichung der ONNX Runtime-Inferenzlaufzeit, die den Modellexport in das ONNX-Format und effiziente Inferenz auf CPU-/Edge-Geräten unterstützt; hat das ERes2NetV2-Modell mit weniger Parametern und schnellerer Inferenz auf VoxCeleb veröffentlicht.
• 2024.05: Veröffentlichung von selbstüberwachten SDPN-Modell-X-Vektor-Modell-Trainings- und Inferenzrezepten; veröffentlichte Rezepte für Vision-Module (TalkNet-ASD) und semantische Module (BERT), um die multimodalen Wahrnehmungsfähigkeiten von Sprechern zu erweitern.
• 2024.08: Veröffentlichung der vorab trainierten Modelle ERes2NetV2 und ERes2NetV2_w24s4ep4, trainiert auf einem 200.000 Sprecherdatensatz, um ein besseres Gleichgewicht zwischen EER und Parametergröße zu erreichen.

Die dritte Phase: Engineering- und Benchmark-Verbesserung (2024.12)

• 2024.12: Vollständig aktualisiertes Diarisierungsrezept, um reproduzierbare DER-Benchmarks für mehrere öffentliche Multi-Speaker-Datensätze wie Aishell-4, Alimeeting, AMI, VoxConverse, Meeting-CN usw. bereitzustellen. Dies ist die neueste Hauptversion und markiert die Transformation von 3D-Speaker von einem reinen Forschungstool zu einem reproduzierbaren Engineering-Benchmark.

Erklärung zur Versionsrichtlinie: 3D-Speaker folgt nicht der semantischen Versionsnummer der Veröffentlichung und es gibt keinen offiziellen Veröffentlichungsdatensatz auf der GitHub-Release-Seite. Benutzer sollten auf die ModelScope-Modellseite Git Commit History und das README-Aktualisierungsprotokoll achten, um die neuesten Änderungen zu verfolgen. Diese Release-Methode reduziert die Wartungskosten, macht es für Benutzer jedoch auch schwierig, die Codestabilität anhand einer einzigen Versionsnummer zu beurteilen – es wird empfohlen, bestimmte Commits für den Produktionsgebrauch zu sperren.

Technische Vorteile von 3D-Speaker

Der technische Vorteil von 3D-Speaker liegt nicht nur im Durchbruch einer bestimmten Modellarchitektur, sondern auch in der vollständigen Linkabdeckung von Daten bis Modell, vom Training bis zum Einsatz. Im Folgenden wird aus den beiden Dimensionen architektonische Innovation und Ingenieurskunst herausgelöst.

Stammbaum der Modellarchitektur: 3D-Speaker integriert über 8 Lautsprecherverifizierungsmodellarchitekturen und deckt verschiedene Maßstäbe und Anwendungsszenarien ab:

Modell	Parameter	VoxCeleb EER	CNCeleb EER	3DSpeaker EER	Funktionen
Res2Net	4,03 Mio.	1,56 %	7,96 %	8,03 %	Leichte Grundlinie
ResNet34	6,34 Mio.	1,05 %	6,92 %	7,29 %	Klassische Architektur
ECAPA-TDNN	20,8 Mio.	0,86 %	8,01 %	8,87 %	Wettbewerbsgrundlinie
ERes2Net-Basis	6,61 Mio.	0,84 %	6,69 %	7,21 %	Hohe Kostenleistung
CAM++	7,2 Mio.	0,65 %	6,78 %	7,75 %	Effiziente Faltung
ERes2NetV2	17,8 Mio.	0,61 %	6,14 %	6,52 %	Hochpräzise Empfehlung
ERes2Net-large	22,46 Mio.	0,52 %	6,17 %	6,34 %	Höchste Genauigkeit

Kausale Kette von Mechanismus → Wirkung → Szene: Der technische Kern der Sprecherüberprüfung besteht darin, eine festdimensionale „diskriminierende Sprechereinbettung“ (Speaker Embedding) aus Sprache variabler Länge zu extrahieren. ERes2NetV2 integriert mehrskalige Zeit-Frequenz-Funktionen durch das hierarchische Design von Restverbindungen, wodurch die Anzahl der Parameter um 14 % reduziert und gleichzeitig der EER von 0,84 % (ERes2Net-Basis) auf 0,61 % reduziert wird. Dies bedeutet, dass ERes2NetV2 in Szenarien, in denen die Fehlerquote nahe Null liegt (z. B. bei der Kontrolle finanzieller Risiken), denselben Sicherheitsschwellenwert bei geringeren Rechenkosten erreichen kann. Die Anwendungsszenarien sind Produktionsumgebungen, die eine hochpräzise Sprecherüberprüfung erfordern und empfindlich auf Rückschlussverzögerungen reagieren.

Innovative Vorteile von CAM++: CAM++ (Contextual Attention Module) ist eine effiziente Faltungsarchitektur, die vom 3D-Speaker-Team vorgeschlagen wurde. Es erreicht 0,65 % EER auf VoxCeleb mit einer extrem niedrigen Parametermenge von 7,2 Mio. und nähert sich damit dem Niveau von ERes2NetV2 (17,8 Mio.). Die Parametereffizienz (Verhältnis EER/Parametermenge) ist von allen Modellen am höchsten. Für Stimmabdruckerkennungsszenarien, die auf Geräten oder Mobilgeräten bereitgestellt werden müssen, ist CAM++ die vorrangigste Bewertungsmethode.

Diarisierungs-Pipeline-Engineering: Die Diarisierung von 3D-Speaker verwendet ein modulares Pipeline-Design, und jede Stufe kann unabhängig ersetzt oder optimiert werden:

• Erkennung überlappender Sprache (basierend auf dem Sequenzkennzeichnungsmodell) → optionales Modul zur Identifizierung von Bereichen, in denen mehrere Personen gleichzeitig sprechen
• Sprachaktivitätserkennung (VAD) → Stumm- und Nicht-Sprachclips entfernen
• Sprechersegmentierung (basierend auf BERT oder festem Fenster) → Segmentierung der Sprache in sprecherhomogene Segmente
• Extraktion der Sprechereinbettung → Verwenden Sie Modelle wie ERes2NetV2/CAM++, um Einbettungen auf Segmentebene zu extrahieren
• Lautsprecher-Clustering (spektrales Clustering/Affinitätsausbreitung) → Cluster-Einbettungen in verschiedene Lautsprecher

Bei den Aishell-4- und Alimeeting-Benchmarks erreichte die Pipeline DERs von 10,30 % bzw. 19,73 %, deutlich besser als die Kaldi-Basislinie im gleichen Zeitraum (ca. 12,2 % bzw. 24,4 %), was die synergetischen Vorteile des modularen Designs bestätigt.

Multimodaler Fusionsmechanismus: Die Audio- und Video-Fusion-Diaarisierungslösung von 3D-Speaker extrahiert Lippenbewegungs- und Gesichtsaktivitätsmerkmale aus dem Video über TalkNet-ASD, verbindet sie mit Audiomerkmalen auf der Einbettungsebene und sendet sie dann an ein einheitliches Clustering-Modul. In Szenarien mit einem hohen Anteil überlappender Sprache liefern visuelle Informationen ein Lautsprecher-Umschaltgrenzensignal, bei dem Audio fehlt, wodurch der DER um etwa 3–5 Prozentpunkte reduziert wird. Zu den anwendbaren Szenarien gehören Videokonferenzen, Live-Interviews, Nachrichtensendungen und andere Bereiche mit Multikamera-Videodaten.

ONNX-Laufzeitbereitstellungsoptimierung: 3D-Speaker bietet ONNX-Modellexport- und Inferenzskripte und unterstützt die Konvertierung von PyTorch-trainierten Modellen in das ONNX-Format und die Bereitstellung auf CPU- oder Edge-Geräten. Nachdem das Modell quantitativ optimiert wurde, kann die Inferenzlatenz auf 1/3 bis 1/2 der dynamischen PyTorch-Diagramme reduziert werden, und die Speichernutzung wird um etwa 40 % reduziert. In GPU-losen Serverumgebungen ist die ONNX-Bereitstellung der kostengünstigste Weg, um Sprachabdruckerkennungsfunktionen in Produktionsumgebungen zu integrieren.

Einschränkungen und Anpassungsgrenzen: Das vorab trainierte Modell von 3D-Speaker ist hauptsächlich auf Sprachsignale mit einer Abtastrate von 16 kHz ausgerichtet (8-kHz-Telefonsprache erfordert zusätzliche Anpassung), und das aktuelle Modell funktioniert am besten in chinesischen und englischen Szenen. Für Szenarien mit kleinen Sprachen, Sprachen mit extrem geringen Ressourcen oder unkonventionellen Abtastraten muss ein selbstüberwachtes Schema (RDINO/SDPN) verwendet werden, um die Zieldaten vorab zu trainieren oder zu optimieren.

So verwenden Sie 3D-Speaker

3D-Speaker bietet zwei Nutzungspfade: lokale Codeausführung und Online-Inferenz auf der ModelScope-Plattform.

Pfad 1: Lokalen Kloncode ausführen (empfohlen für Entwickler)

„Bash

Repository klonen

Git-Klon https://github.com/modelscope/3D-Speaker.git cd 3D-Lautsprecher

Erstellen Sie einen Python 3.8-Kontext und installieren Sie Abhängigkeiten

conda create -n 3D-Speaker python=3.8 Conda 3D-Lautsprecher aktivieren pip install -r Anforderungen.txt „

Beispiel für ein Trainingsrezept (am Beispiel der Sprecherverifizierung von ERes2NetV2 im 3D-Speaker-Datensatz):

„Bash cd egs/3dspeaker/sv-eres2netv2/ bash run.sh „

Vorab trainiertes Modell für Inferenz verwenden: Laden Sie das vorab trainierte Modell für Inferenz über die ModelScope-Bibliothek:

„Bash pip modelscope installieren „

„Python

Schlussfolgerung zur Verifizierung einzelner Sprecher

model_id = "iic/speech_eres2netv2_sv_zh-cn_16k-common" Python Speakerlab/bin/infer_sv.py --model_id $model_id

Batch-Inferenz

Python Speakerlab/bin/infer_sv_batch.py --model_id $model_id --wavs wav_list.txt

Selbstüberwachte Modellinferenz (SDPN, basierend auf VoxCeleb-Training)

model_id = "iic/speech_sdpn_ecapa_tdnn_sv_en_voxceleb_16k" Python Speakerlab/bin/infer_sv_ssl.py --model_id $model_id „

Sprecherprotokollrückschluss (Diarisierung):

„Bash

Reine Audioaufzeichnung

python Speakerlab/bin/infer_diarization.py --wav audio.wav --out_dir ./output

Erkennung überlappender Sprache aktivieren (erfordert HuggingFace-Token)

python Speakerlab/bin/infer_diarization.py --wav audio.wav --out_dir ./output \ --include_overlap --hf_access_token $hf_access_token „

Pfad 2: ModelScope-Online-Erlebnis

Besuchen Sie die [ModelScope Speaker Verification-Modellseite] (https://www.modelscope.cn/models, page=1&tasks=speaker-verification&type=audio), wählen Sie das entsprechende vorab trainierte Modell aus und laden Sie Audio zum Testen online hoch. Geeignet für die schnelle Überprüfung der Modellfunktionen, jedoch nicht für die Integration in den Produktionskontext.

Pfad drei: ONNX-Bereitstellung (Edge-Gerät/CPU-Inferenz)

„Bash cd runtime/onnxruntime

Informationen zum Exportieren des PyTorch-Modells nach ONNX und zum Ausführen der Inferenz finden Sie in der Dokumentation in diesem Verzeichnis

„

Liste der verfügbaren vorab trainierten Modelle (alle über ModelScope verteilt):

Modell-ID	Beschreibung	Datensatz
iic/speech_eres2net_sv_zh-cn_16k-common	ERes2Net, 200.000 Sprecher	Mandarin-Chinesisch
iic/speech_eres2netv2_sv_zh-cn_16k-common	ERes2NetV2, 200.000 Lautsprecher	Mandarin-Chinesisch
iic/speech_campplus_sv_zh-cn_16k-common	CAM++, 200.000 Lautsprecher	Mandarin-Chinesisch
iic/speech_sdpn_ecapa_tdnn_sv_en_voxceleb_16k	SDPN-Selbstüberwachung	VoxCeleb (Englisch)
iic/speech_campplus_lre_en-cn_16k	CAM++-Spracherkennung	Chinesisch und Englisch
iic/speech_eres2net_base_lre_en-cn_16k	ERes2Net-Sprachidentifikation	Chinesisch und Englisch

3D-Speaker-Datensatz-Download:

„Bash

Trainingssatz (~190 GB)

wget https://speech-lab-share-data.oss-cn-shanghai.aliyuncs.com/3D-Speaker/train.tar.gz

Testsatz (~1,1 GB)

wget https://speech-lab-share-data.oss-cn-shanghai.aliyuncs.com/3D-Speaker/test.tar.gz

Text transkribieren

wget https://speech-lab-share-data.oss-cn-shanghai.aliyuncs.com/3D-Speaker/transcription.tar.gz „

Tipps: 3D-Speaker verfügt über kein offizielles Docker-Image und die offizielle Dokumentation besteht hauptsächlich aus chinesischen README-Dateien. Für Produktionsbenutzer wird empfohlen, ein bestimmtes Git-Commit zu sperren und das Docker-Image selbst zu erstellen, um inkonsistentes Verhalten zu vermeiden, das durch Änderungen der Abhängigkeitsversion verursacht wird.

Produktpreise für 3D-Lautsprecher

3D-Speaker verwendet das Open-Source-Protokoll Apache 2.0 und verfügt über kein kommerzielles Lademodell. Spezifische Bedingungen:

• Nutzungsumfang: Es wird die Erlaubnis erteilt, Kopien der Software frei zu nutzen, zu kopieren, zu ändern, zusammenzuführen, zu verteilen, unterzulizenzieren und/oder zu verkaufen.
• Kommerzielle Einschränkungen: Keine – Das Apache 2.0-Protokoll ist kommerziellfreundlich und erfordert keine Open-Source-Derivate.
• Namensnennungsanforderungen: Behalten Sie den ursprünglichen Urheberrechtshinweis und die Mitwirkendenliste in abgeleiteten Werken bei.
• GARANTIEAUSSCHLUSS: Sofern gesetzlich vorgeschrieben oder schriftlich vereinbart, werden keine ausdrücklichen oder stillschweigenden Garantien gewährt.
• Modellgewichtslizenz: Vorab trainierte Modellgewichte werden auf der ModelScope-Plattform gehostet und ihre Nutzungsbedingungen unterliegen der auf der jeweiligen Modellkartenseite von ModelScope angegebenen Lizenz, die von der Apache 2.0-Vereinbarung des Code-Repositorys abweichen kann.
• Datensatzlizenz: Die Metadaten des 3D-Speaker-Datensatzes werden unter der CC BY-SA 4.0-Lizenz veröffentlicht und das ursprüngliche Urheberrecht des Audioinhalts liegt beim ursprünglichen Dateneigentümer.

Preisreferenz: Keine Lizenzgebühr. Die Berechnungsformel für die Gesamtbetriebskosten für Unternehmensbenutzer lautet: „TCO = Kauf- oder Mietgebühr für GPU/Server + Betriebs- und Wartungspersonal × Anzahl der Monate + Datenerfassungskosten für die Szenarioanpassung“. Bei mittelgroßen Szenarien, in denen weniger als 1.000 Stunden Audio pro Tag verarbeitet werden, sind die Gesamtbetriebskosten der Selbstbereitstellung deutlich niedriger als die einer kommerziellen API mit nutzungsbasierter Bezahlung.

Anwendungsszenarien von 3D-Speaker

Die Haupttreiber für den Übergang der Stimmabdruckerkennung vom Labor zur industriellen Implementierung kommen aus drei Richtungen: Compliance-Identitätsauthentifizierung, Konferenzintelligenz und Smart-Home-Personalisierung. Das Folgende ist eine szenariobasierte Analyse, die auf den Leistungsgrenzen von 3D-Speaker basiert.

• Finanzielle Identitätsauthentifizierung und Betrugsprävention: In Remote-Identitätsüberprüfungsszenarien wie Telefonbanking und mobilem Kundenservice dient die Stimmabdrucküberprüfung als Ergänzung oder Alternative zu Passwörtern/PIN-Codes. Das Sprecherverifizierungsmodell von 3D-Speaker kann in IVR-Systeme integriert werden, um den Identitätsvergleich innerhalb der ersten 3–5 Sekunden nach dem Anruf eines Benutzers durchzuführen. Kostenreduzierung und Effizienzsteigerung: Vor der Einführung der Sprachabdrucküberprüfung erforderte das Zurücksetzen des Passworts des Finanzkundendienstes und die Identitätsüberprüfung durchschnittlich 45–60 Sekunden manuelle Verarbeitungszeit; Nach der Integration der Sprachabdrucküberprüfung kann die routinemäßige Identitätsüberprüfung automatisch innerhalb von 10 Sekunden abgeschlossen werden (einschließlich Sprachaktivitätserkennung + Merkmalsextraktion + Vergleich), wodurch manuelle Eingriffe um etwa 70 % reduziert werden. Wichtige Punkte der Verifizierung: Erkennungsgenauigkeit im Telefonkanal (8-kHz-Abtastrate), Authentizitäts-Ablehnungsrate in kurzen Sprachszenarien (<3 Sekunden) und Abwehrfunktionen zur Liveness-Erkennung bei unfreiwilligen Aufnahmen (von Betrügern abgespielte Aufnahmen). 3D-Speaker selbst bietet kein Anti-Spoofing-Modul und erfordert die zusätzliche Integration von Live-Erkennungslösungen wie ASVspoof.

• Besprechungsanalyse und intelligente Protokolle: Aufzeichnungen von Unternehmensbesprechungen trennen automatisch die Sprachclips verschiedener Sprecher und kombinieren sie mit ASR, um Besprechungsprotokolle mit Sprecherbezeichnungen zu erstellen. Die Diarisierungspipeline von 3D-Speaker ist das Herzstück dieses Szenarios. Kostensenkung und Effizienzsteigerung: Traditionell dauert es etwa 2–3 Stunden, ein einstündiges Besprechungsprotokoll manuell zu erstellen. Mithilfe der automatischen Diarisierung + ASR-Pipeline kann eine einstündige Audioverarbeitung in 15 bis 30 Minuten abgeschlossen werden, und die Effizienz wird um das 4- bis 10-fache erhöht (basierend auf der GPU-Inferenzzeit). Verifizierungsschwerpunkt: Segmentierungsgenauigkeit, wenn mehrere Personen gleichzeitig sprechen (überlappende Sprache) – häufige „Unterbrechungs“- und „gleichzeitige Sprach“-Szenarien in Konferenzräumen. Die herkömmliche Diarisierungslösung markiert den überlappenden Bereich als den falschen Sprecher. Die Verbesserungslösung muss durch das optionale Überlappungserkennungsmodul von 3D-Speaker gemildert werden. Für Videokonferenzen wird empfohlen, die multimodale Diarisierung (Audio- und Videofusion) zu aktivieren, um die Erkennungsstabilität überlappender Szenen zu verbessern. Grenze für die Zusammenarbeit zwischen Mensch und Maschine: Es wird empfohlen, eine manuelle Überprüfung für automatische Kennzeichnungsergebnisse einzurichten. Fehler bei der Sprecherkennzeichnung können in einem Szenario mit 20 % Überlappung immer noch 5–10 % betragen, und für die Einhaltung erforderliche Besprechungsaufzeichnungen müssen manuell bestätigt werden.

• Intelligente Lautsprecher und Heimpersonalisierung: Erkennen Sie die Stimmen verschiedener Familienmitglieder, geben Sie personalisierte Inhaltsempfehlungen und bedienen Sie die Berechtigungskontrolle. Das leichte Modell von 3D-Speaker (CAM++, 7,2 Millionen Parameter) kann auf dem End-Side-Chip des Smart Speakers ausgeführt werden, ohne dass Cloud-Aufrufe erforderlich sind. Kostenreduzierung und Effizienzsteigerung: Im Vergleich zur Cloud-Lösung spart die Sprachabdruckerkennung auf dem Gerät 200–500 ms Netzwerkübertragungsverzögerung für eine einzelne Interaktion und es fallen keine Cloud-Inferenzkosten an. Basierend auf 50 Mal pro Tag/10 Millionen Haushaltsnutzern beträgt die jährliche Kosteneinsparung bei der Cloud-Inferenz etwa 50–100 Millionen Yuan (berechnet als einmaliges Mal von 0,001 Yuan). Verifizierungsschwerpunkt: Erkennungsstabilität, wenn die Anzahl der Familienmitglieder von 2 auf 6 erweitert wird; EER-Verschlechterungsgrad im Fernfeld (>2 Meter) und in Lärmumgebungen (Küchenrauch, TV-Hintergrundgeräusche). Das vorab trainierte 3D-Speaker-Modell optimiert hauptsächlich die 16-kHz-Nahfeldszene, und das Fernfeld muss mithilfe der Fernbereichsteilmenge des 3D-Speaker-Datensatzes feinabgestimmt werden.

• Callcenter-Qualitätsprüfung: Trennen Sie automatisch die Gesprächssegmente zwischen Kundendienst und Kunden und führen Sie eine Qualitätsprüfungsanalyse der Sprachgeschwindigkeit, Emotionen und Servicebedingungen des Kundendienstes durch. Wichtige Punkte der Überprüfung: Anpassung der Abtastrate in Telefonszenarien (8 kHz vs. 16 kHz); Trenngenauigkeit, wenn Kundenservice und Kundenstimmen sehr ähnlich sind. Es wird empfohlen, das ECAPA-TDNN- oder ResNet34-Modell von 3D-Speaker (mit Benchmark-Ergebnissen für CNCeleb-Telefondaten) als Startvorlage zu verwenden.

• Staatsanwaltschaft und Beweiserhebung: Identifizieren und trennen Sie verschiedene Sprecher in Audiobeweisen, um die Beweisanalyse zu unterstützen. Verifizierungsschwerpunkt: Interpretierbarkeit unter gesetzlichen Compliance-Anforderungen – die Trennungsgrenzen der Spektralclusterergebnisse müssen nachvollziehbar sein. Der aktuelle Clustering-Prozess von 3D-Speaker liefert keine detaillierte Konfidenzausgabe, und die manuelle Überprüfung muss im Beweiserhebungsprozess ergänzt werden. Dieses Szenario hängt stark von Vorkenntnissen über die Anzahl der Sprecher ab (die meisten Clustering-Algorithmen müssen die Anzahl der Sprecher voreinstellen oder komplexe Schätzer verwenden). Es wird empfohlen, in Stufe 2 automatische Schätzungs-Clustering-Algorithmen wie die Affinitätsausbreitung zu verwenden.

Anwendbare Gruppen von 3D-Lautsprechern

3D-Speaker ist als professionelles Open-Source-Tool positioniert und sein Benutzerprofil richtet sich eher an Entwickler und Forscher im Bereich der Sprachtechnologie als an normale Endverbraucher.

• Entwickler und Integratoren von Sprachtechnologien: Technische Teams, die Spracherkennungsfunktionen in Produkte integrieren müssen. Es wird empfohlen, Pipeline zu verwenden. Verwenden Sie ModelScope direkt, um das vorab trainierte Modell für die Inferenz zu laden, ohne es selbst trainieren zu müssen. Der typische Integrationszyklus beträgt etwa 2–4 ​​Wochen (einschließlich Modellüberprüfung und API-Paketierung). Nicht für die Grenze geeignet: Es stellt klare Anforderungen an die Python/Shell-Programmierung und die Deep-Learning-Grundlage und ist nicht für Front-End- oder Full-Stack-Entwickler ohne Erfahrung in der KI-Technik geeignet. Wenn Sie reine HTTP-API-Aufrufe benötigen und keine Selbstbereitstellung akzeptieren, sollten Sie die kommerzielle Voiceprint-Erkennungs-API evaluieren.

• KI-Forscher (Richtung Sprechererkennung): Forscher, die sich mit Stimmabdruckerkennung, Stimmbiometrie und selbstüberwachtem Repräsentationslernen befassen. 3D-Speaker bietet einen vollständigen Satz an Trainingsrezepten und Benchmarks, um SOTA-Ergebnisse schnell auf 3D-Speaker-, VoxCeleb- oder CNCeleb-Datensätzen zu reproduzieren. Voraussetzung: Vertraut mit PyTorch und dem Deep-Learning-Trainingsprozess. Es wird empfohlen, die selbstüberwachten Schemata RDINO oder SDPN für das Vortraining Ihrer eigenen privaten Daten zu verwenden.

• Finanz-/Sicherheitstechnologieteam: Unternehmensteams, die Funktionen zur Sprachabdruckverifizierung in Identitätsauthentifizierungs- oder Audioforensik-Szenarien benötigen. Empfohlener Weg: Verwenden Sie zunächst das vorab trainierte Modell, um POC für die Zielszenendaten (spezifische Mikrofone, Umgebungsgeräusche) durchzuführen, überprüfen Sie, ob die Genauigkeitsanforderungen erfüllt sind, und setzen Sie es dann in die Produktionsintegration ein. Ungeeignete Grenze: Szenarien, die vollständige Funktionen zur Erkennung lebender Körper (Anti-Spoofing) erfordern, werden von 3D-Speaker selbst nicht bereitgestellt, und ASVspoof oder andere Anti-Spoofing-Engines müssen zusätzlich integriert werden.

• Team für intelligente Hardware und IoT: Bereitstellung einer endseitigen Stimmabdruckerkennung in intelligenten Lautsprechern, tragbaren Geräten und Fahrzeugsystemen. Das CAM++-Modell eignet sich für ressourcenbeschränkte Edge-Geräte mit dem leichten Vorteil von 7,2 Millionen Parametern. Voraussetzung: Erfahrung in der Modellquantifizierung und ONNX/TensorRT-Bereitstellung ist erforderlich.

• Entwickler von Konferenzsystemen und Kollaborationstools: Teams, die eine automatische Sprecherprotokollierungsfunktion benötigen, um ihr Konferenzprodukterlebnis zu verbessern. Es wird empfohlen, mit dem Diarisierungsrezept zu beginnen und das vorab trainierte Modell + Spektralclusterung zu verwenden, um den POC zu vervollständigen. Ungeeignete Grenze: Streaming-Szenarien mit extrem hohen Echtzeitanforderungen (Verzögerung <500 ms) – die aktuelle Diarization-Pipeline erfordert vollständiges Audio, um Clustering durchzuführen, und ist nicht für die Streaming-Verarbeitung der Frame-für-Frame-Ausgabe geeignet. Wenn Sie eine Streaming-Lösung benötigen, müssen Sie den Clustering-Algorithmus in eine Online-Version umwandeln.

Zusammenfassung globaler ungeeigneter Grenzen: 3D-Speaker bietet keine ASR- (Speech-to-Text-), TTS- (Sprachsynthese) oder NLU- (Natural Language Understanding) Funktionen und muss mit anderen Sprachmodulen kombiniert werden, um ein vollständiges Sprachinteraktionssystem aufzubauen. Die Erkennungsleistung in Long-Tail-Szenarien wie 8-kHz-Telefonkanal, starkem Hintergrundrauschen (Signal-Rausch-Verhältnis <10 dB), Kindern oder älteren Sprechern muss durch tatsächliche Messungen an Zieldaten überprüft werden. Wenn die GPU-Offline-Inferenz nicht verwendet wird, kann die Latenz der CPU-ONNX-Inferenz Hunderte von Millisekunden erreichen, was für Echtzeitszenarien mit hoher Parallelität nicht geeignet ist.

Zusammenfassung und Ausblick

3D-Speaker hat eine einzigartige ökologische Nische der „Datensatz + Toolkit“-Integration in der chinesischen Open-Source-Community zur Stimmabdruckerkennung etabliert – im Gegensatz zu pyannote.audio (das sich auf forschungsbasierte Diarisierung konzentriert) und WeSpeaker (das sich auf Basislinien der Sprechererkennung konzentriert) liegt der Schwerpunkt von 3D-Speaker auf der Bereitstellung einer vollständigen Verbindung von großen mehrdimensionalen Datensätzen zu reproduzierbaren Benchmarks in Industriequalität. Sein Kernwert lässt sich in drei Sätzen zusammenfassen: Verwendung des 3D-Speaker-Datensatzes, um die Lücken in chinesischen Stimmabdruckdaten für mehrere Geräte, mehrere Entfernungen und mehrere Dialekte zu schließen; Verwendung von Modellen wie ERes2NetV2 und CAM++, um EER-Datensätze für mehrere Benchmarks kontinuierlich zu aktualisieren; Verwendung des Open-Source-Protokolls Apache 2.0, um die kommerzielle Schwelle für die Sprachabdruckerkennungstechnologie zu senken.

Aktuelle Haupteinschränkungen: Erstens verfügt das GitHub-Repository nicht über offizielle Release- und semantische Versionsnummern. Für Benutzer ist es schwierig, die Stabilität und den Änderungsumfang des Codes anhand der Versionsnummer zu beurteilen. Produktionsbenutzer müssen bestimmte Commits sperren. Zweitens ist das Vortrainingsmodell hauptsächlich auf chinesische und englische Szenarien mit einer Abtastrate von 16 kHz ausgerichtet und deckt Telefonsprache mit 8 kHz und ressourcenarme Sprachen nur begrenzt ab. Drittens bietet es keine Anti-Spoofing-Funktionen und zusätzliche Liveness-Erkennungslösungen müssen in Identitätsauthentifizierungsszenarien auf finanzieller Ebene integriert werden. Viertens sind die Dokumente hauptsächlich auf Chinesisch (README ist auf Englisch), der Aufbau einer internationalen Community steckt noch in den Kinderschuhen und es gibt nur wenige technische Blogs und Tutorial-Ressourcen auf Englisch. Fünftens gibt es kein offizielles Docker-Image und keine Identifizierung des CI-Build-Status, und Benutzer müssen das Problem der Kontextkonsistenz selbst lösen.

Weitere Entwicklungsrichtung: Gemessen an der GitHub-Aktivität (Stand 2026–07 gibt es noch neue Commits) und der Akzeptanz des ICASSP 2025-Papiers investiert das 3D-Speaker-Team immer noch weiter. Zu den Entwicklungsrichtungen, die Aufmerksamkeit verdienen, gehören: weitere Optimierung des clientseitigen Denkens (mögliche Einführung des TFLite/CoreML-Exports), Unterstützung der Streaming-Dialektisierung (unterstützt derzeit nur Offline-Clustering), Multi-Dialekt-Erweiterungen für mehr ressourcenarme Sprachen und tiefere Integration in das ModelScope-Ökosystem (z. B. automatische Parameteroptimierung von AutoML).

Beschaffungs- und Einführungsrisikobewertung: Als Apache 2.0-Open-Source-Projekt birgt 3D-Speaker kein Autorisierungsrisiko und kein Anbieter-Lock-in-Risiko und eignet sich als Einstiegsplattform für die Verifizierung und Prototypenentwicklung für Sprachabdruckerkennungsfunktionen. Die Unternehmensintegration sollte eine „dreistufige Methode“ anwenden – zunächst (2–4 Wochen): Verwenden Sie das vorab trainierte Modell, um einen POC für die Zielszenendaten (Zielmikrofon, Umgebungsgeräuschprobe, Ziellautsprechergröße) durchzuführen, um zu überprüfen, ob der EER den Geschäftsschwellenwert erreicht; Zweitens (4–8 Wochen): Wenn der POC den Standards entspricht, schließen Sie den ONNX-Export und die API-Verpackung in der isolierten Umgebung (nicht produktiv) ab und integrieren Sie ihn in die vorhandene ASR/NLP-Pipeline. Drittens (kontinuierlich): Überwachen Sie die Produktion der Umgebung, nachdem Graustufen online gegangen sind, EER-Drift (z. B. Verteilungsverschiebungen, die durch neu registrierte Benutzer oder neue Szenarien verursacht werden) und achten Sie auf die Häufigkeit von GitHub-Commit-Updates. Wenn seit mehr als 6 Monaten keine aktiven Commits vorhanden sind, müssen Sie bewerten, ob alternative Tools ausgewählt werden müssen. Vor der Verwendung in Compliance-empfindlichen Branchen (Finanzen, Sicherheit) sollten Sie die Nutzungsbedingungen der Modellgewichte der ModelScope-Plattform (die von Apache 2.0 abweichen können) und die Anwendbarkeit der CC BY-SA 4.0-Vereinbarung des Datensatzes auf kommerzielle abgeleitete Werke bestätigen.

Verwandte Tools: , udio

Versionsinfo

• Aktualisierung des Diarisierungs-Benchmarks ：Das Rezept für das Sprecherprotokoll (Diarisierung) wurde aktualisiert, um reproduzierbare DER-Benchmark-Ergebnisse für mehrere öffentliche Datensätze wie Aishell-4, Alimeeting, AMI, VoxConverse usw. bereitzustellen. Es gibt noch kein offizielles genaues Datum. （2024-12）
• ERes2NetV2-Version ：Veröffentlichung der vorab trainierten Modelle ERes2NetV2 und ERes2NetV2_w24s4ep4, trainiert auf der Grundlage des 200.000-Sprecher-Datensatzes, mit weniger Parametern und schnellerer Inferenz. Einen offiziellen genauen Termin gibt es noch nicht. （2024-08）
• Multimodale und SSL-Erweiterung ：Veröffentlichung von selbstüberwachten SDPN-Modell-X-Vektor-Trainingsrezepten, visuellen Modulen (TalkNet) und semantischen Modulen (BERT) Trainingsrezepten. Einen offiziellen genauen Termin gibt es noch nicht. （2024-05）
• ONNX Runtime & ERes2NetV2 VoxCeleb ：Veröffentlichung der ONNX Runtime-Inferenzlaufzeit; veröffentlichte das ERes2NetV2-Modell basierend auf dem VoxCeleb-Datensatz. Einen offiziellen genauen Termin gibt es noch nicht. （2024-04）
• Sprach-ID und multimodale Diarisierung ：Veröffentlichen Sie die Spracherkennungsformel, die Phoneminformationen zusammenführt. Veröffentlichen Sie die multimodale Sprecherprotokollformel, die Audio- und Videobilder zusammenführt. Einen offiziellen genauen Termin gibt es noch nicht. （2024-02）
• ResNet- und Res2Net-Rezepte ：Geben Sie die Trainings- und Inferenzrezepte von ResNet34 und Res2Net für die Datensätze 3D-Speaker, VoxCeleb und CN-Celeb frei; Geben Sie das Feinabstimmungsrezept mit großem Spielraum frei. Einen offiziellen genauen Termin gibt es noch nicht. （2024-01）
• ERes2Net-Base vorab trainiert ：Veröffentlichung eines vorab trainierten Modells auf ERes2Net-Basis, trainiert auf einem Chinesisch-Mandarin-Datensatz mit 200.000 Sprechern. Einen offiziellen genauen Termin gibt es noch nicht. （2023-11）
• Einführung der Kernmodelle ：Veröffentlichung der Pre-Training-Modelle CAM++, ERes2Net-Base und ERes2Net-Large; Veröffentlichung der Dialogerkennungs- und semantischen Sprecherwechsel-Erkennungsmodule. Einen offiziellen genauen Termin gibt es noch nicht. （2023-07）
• Datensatz und Erstveröffentlichung ：Der 3D-Speaker-Datensatz sowie Basismodelle und Benchmarks wie ERes2Net, CAM++ und RDINO wurden offiziell veröffentlicht. Einen offiziellen genauen Termin gibt es noch nicht. （2023-06）