OpenAI Whisper est le modèle de reconnaissance vocale universelle open source d'OpenAI, basé sur l'architecture Encoder-Decoder Transformer et formé sur 680 000 heures de données multilingues faiblement supervisées. Prend en charge la transcription et la traduction vocales dans plus de 99 langues, fournit un total de 7 spécifications de modèle allant du plus petit (39 millions de paramètres) au plus grand (1,55 milliard de paramètres) et une version turbo optimisée, open source sous licence MIT. Peut être appelé en tant que service (whisper-1) de l'API OpenAI, ou peut être déployé localement et complètement hors ligne.

OpenAIWhisper

Paramètres et statistiques de base

OpenAI Whisper est une famille de modèles dotés d'une « architecture unique couvrant toutes les tâches vocales », allant du plus petit avec seulement 39 millions de paramètres au plus grand avec 1,55 milliard de paramètres, jusqu'au turbo optimisé conjointement pour la vitesse et la précision, couvrant tous les scénarios de déploiement, des appareils de périphérie aux serveurs cloud.

Spécifications du modèle	Taille du paramètre	Version anglaise uniquement	Exigences en matière de mémoire vidéo	Vitesse relative A100	Prise en charge multilingue
minuscule	39M	tiny.fr	~1 Go	~10x	Oui (version anglaise uniquement)
socle	74M	base.fr	~1 Go	~7x	Oui (version anglaise uniquement)
petit	244M	small.fr	~2 Go	~4x	Oui (version anglaise uniquement)
moyen	769M	medium.fr	~5 Go	~2x	Oui (version anglaise uniquement)
grand (-v1/v2/v3)	1,55 milliards	Aucun	~10 Go	1x (référence)	Oui (toutes les langues)
turbo	809M	Aucun	~6 Go	~8x	Oui (mais ne prend pas en charge les tâches de traduction)

Principales caractéristiques de conception : Whisper n'est pas un modèle dédié optimisé pour une certaine langue ou une certaine scène. Au lieu de cela, il utilise un transformateur codeur-décodeur unifié pour gérer simultanément quatre tâches de transcription vocale, de traduction, de reconnaissance linguistique et de détection d'activité vocale (VAD). Cela signifie que les développeurs n'ont pas besoin de mettre en cascade plusieurs modèles dans le pipeline et peuvent compléter le lien complet de l'entrée audio à la sortie texte en une seule inférence. Le prix est le suivant : pour les exigences de haute précision dans une seule langue (comme la transcription de longs discours en anglais pur), Whisper n'est pas aussi précis qu'un modèle personnalisé formé spécifiquement pour cette langue (comme les performances des systèmes ASR traditionnels tels que DeepSpeech ou Kaldi dans un domaine spécifique).

Positionnement spécial du modèle turbo : Le paramètre turbo 809M a été optimisé au niveau architectural sur la base du grand-v3, atteignant environ 8 fois la vitesse d'inférence du grand modèle sur l'A100, tandis que le WER (taux d'erreur de mot) n'augmente que d'environ 0,5 à 1 point de pourcentage. Cependant, il convient de noter que le modèle turbo n’a pas été entraîné aux tâches de traduction. Lors de l'appel de --task Translate, il renverra directement le texte dans la langue d'origine au lieu du résultat de la traduction. Pour les scénarios nécessitant une traduction (discours non anglais → texte anglais), la version multilingue complète (tiny/base/small/medium/large) doit être utilisée.

Taille des données de formation : Whisper a été formé sur 680 000 heures (environ 77 ans) de données audio multilingues et multitâches faiblement supervisées. Les données proviennent d'audio Internet accessible au public dans plus de 99 langues et subissent un alignement et un nettoyage automatisés du texte. L'échelle de formation est deux ordres de grandeur plus grande que le plus grand ensemble de données de parole publique à l'époque (comme LibriSpeech, qui dure environ 1 000 heures), ce qui est la principale raison pour laquelle Whisper peut parvenir à une généralisation sans tir.

Reconnaissance des utilisateurs et du marché

L’influence de Whisper dans la communauté est une position de leader dans le domaine de la reconnaissance vocale open source, mais ce leadership se reflète davantage dans la pénétration technique de la communauté des développeurs que dans la perception directe des utilisateurs finaux C.

Écosystème GitHub : l'entrepôt a reçu plus de 105 000 étoiles et 12,8 000 forks, avec 84 contributeurs. C'est l'un des projets vocaux les plus étoilés sur GitHub. Ces données dépassent de loin les solutions vocales open source similaires (telles que Coqui STT environ 25 000 étoiles, Kaldi environ 14 000 étoiles), reflétant la profondeur de la pénétration de Whisper dans la communauté des développeurs. Le package PyPI « openai-whisper » a été téléchargé des dizaines de millions de fois et la dernière version v20250625 est en maintenance continue.

Adoption par l'industrie : Whisper est devenu un composant « standard » dans l'infrastructure des applications d'IA. Applications de notes vocales (telles que Whisper Memos, une alternative à Otter.ai), outils de génération de sous-titres vidéo (tels que MacWhisper, intégration Subtitle Edit), systèmes d'analyse vocale du service client, robots d'enregistrement de réunions, etc., un grand nombre de produits s'appuient sur Whisper ou ses dérivés (comme la réimplémentation CTranslate2 de plus rapide-whisper) au niveau inférieur. OpenAI lui-même intègre également Whisper au mode vocal ChatGPT et Codex comme moteur de saisie vocale.

Impact académique : l'article de Whisper « Robust Speech Recognition via Large-Scale Weak Supervision » (Radford et al., 2022) est devenu l'un des articles les plus cités dans le domaine de la parole au cours des trois dernières années. Il a vérifié la faisabilité d'un « pré-entraînement à grande échelle faiblement supervisé + transfert d'échantillon nul » en reconnaissance vocale et a directement favorisé l'évolution d'une série de travaux ultérieurs (tels que SeamlessM4T, MMS et d'autres modèles vocaux multilingues de Meta) le long du même parcours technique.

Différence de positionnement par rapport aux produits concurrents : la principale compétitivité de Whisper n'est pas SOTA dans un seul indicateur (sur un ensemble de données spécifique, un modèle personnalisé affiné peut encore surpasser Whisper), mais la robustesse de la généralisation dans un scénario à échantillon nul - c'est-à-dire l'expérience prête à l'emploi de "sans aucun réglage fin, transcription directe, et l'effet peut être utilisé". En revanche, les produits concurrents tels que Google USM et Meta MMS ne sont pas entièrement open source ou la taille du modèle est trop grande pour être déployée localement. Whisper a construit un fossé en matière d'accessibilité open source et de flexibilité de déploiement.

Avantage de coût

La structure de coûts de Whisper trace une ligne claire entre le modèle open source et les API commerciales, permettant aux utilisateurs de choisir entre un « déploiement sans frais » et une « API cloud avec paiement à l'utilisation » à la demande.

Côté C/utilisateurs individuels : entièrement gratuit (des conditions s'appliquent) : les poids et le code du modèle Whisper sont open source sous licence MIT, et les utilisateurs individuels peuvent l'utiliser entièrement gratuitement sur leur propre ordinateur. Le seul coût du fonctionnement local est le matériel : les petits modèles peuvent être retranscrits en temps réel sur le CPU, mais les grands modèles nécessitent un GPU avec ~10 Go de mémoire vidéo pour fonctionner correctement. Un ordinateur grand public équipé de NVIDIA RTX 3060 (12 Go) peut exécuter le grand modèle pour une transcription hors ligne, et le coût du matériel est d'environ 2 000 à 3 000 yuans (investissement unique). Pour l’utilisateur individuel occasionnel, il s’agit d’un scénario de coût marginal quasiment nul.

Appel développeur/API : OpenAI Whisper API (whisper-1) : OpenAI fournit le service Whisper via l'API, au prix d'environ 0,006 $/minute (environ 0,6 cents par minute d'audio) et prend en charge deux modes : transcrire et traduire. En prenant comme exemple le traitement mensuel de 1 000 minutes d'audio, les frais de l'API sont d'environ 6 $ US (environ 42 RMB). Par rapport au déploiement local, le mode API permet d'économiser des investissements en matériel GPU ainsi que des coûts d'exploitation et de maintenance, et convient aux scénarios dans lesquels le volume de traitement fluctue considérablement ou n'est pas sensible à la latence.

Dimension du coût	Sur site (auto-hébergé)	API Whisper d’OpenAI
Coût unitaire	Investissement matériel unique + coût de l'électricité	0,006 $/minute audio
Seuil matériel (grand)	~ 10 Go de mémoire GPU	Aucun GPU local requis
1000 minutes/mois	Amortissement du matériel environ 50-100 yuans/mois	Environ 42 yuans/mois
10 000 minutes/mois	Amortissement du matériel environ 50-100 yuans/mois	Environ 420 yuans/mois
Données privées	Complètement local, ne quittant pas l'appareil	L'audio doit être téléchargé sur le serveur OpenAI
Latence	Dépend du GPU local	Dépend du réseau + serveur OpenAI
Disponibilité	Non affecté par les services tiers	S'appuyer sur le statut de l'API OpenAI

Déploiements d'entreprise/privés : les entreprises peuvent déployer Whisper sur leur propre infrastructure sans frais supplémentaires au niveau de la licence (licence MIT). Cependant, nous devons prêter attention aux coûts cachés du déploiement au niveau de la production : des clusters multi-GPU sont nécessaires dans des scénarios à forte concurrence (comme 4×A100 pour prendre en charge les services de transcription de conférence en temps réel), et les coûts de construction de la main d'œuvre d'exploitation et de maintenance, de gestion des versions de modèle et de systèmes de surveillance et d'alarme dépassent souvent le matériel GPU lui-même. Il est recommandé aux entreprises d'utiliser d'abord des API pour vérifier les scénarios commerciaux et les modèles de charge avant de décider d'investir dans l'auto-construction.

Avantages implicites de l'optimisation dérivée open source : La communauté a développé un grand nombre d'implémentations d'optimisation autour de Whisper : plus rapide-whisper (basé sur CTranslate2, inférence 3 à 4 fois plus rapide), murmur.cpp (transcription en temps réel sur CPU et Apple Silicon), distil-whisper (version distillée, rétrécissement du modèle de 50 % tout en conservant une précision de 95 %+). Ces projets dérivés réduisent encore davantage les coûts de déploiement de Whisper et sont particulièrement utiles pour les scénarios aux ressources limitées (terminaux mobiles, appareils de pointe). Cependant, la licence et la stabilité de ces dérivés doivent être évaluées individuellement et ne sont pas officiellement maintenues par OpenAI.

Fonctions principales

Les principales capacités de Whisper tournent autour de la chaîne principale de « conversion de la parole en texte structuré », mais la véritable valeur technique réside dans son utilisation d'un modèle pour unifier le pipeline de traitement de la parole qui nécessitait auparavant 4 à 5 modules indépendants.

• Transcription vocale multilingue (reconnaissance automatique de la parole) : convertissez la parole dans plus de 99 langues en texte en temps réel. Les langues prises en charge incluent le chinois, l'anglais, le japonais, le coréen, les principales langues européennes, l'arabe, l'hindi et d'autres langues grand public mondiales. Fournit officiellement une liste complète des langues prises en charge (voir whisper/tokenizer.py). Conseils de mise en œuvre : Whisper a la précision de reconnaissance la plus élevée (WER < 10 %) pour les langues riches en ressources (anglais, chinois, japonais), et le WER pour les langues à faibles ressources (telles que certaines langues africaines et sud-asiatiques) peut dépasser 30 %. Les résultats de l’évaluation d’ensembles de données complets sont nécessaires pour confirmer si le seuil commercial est atteint.

• Traduction vocale : traduisez directement un discours non anglais en texte anglais. Ceci est différent de la solution en deux étapes consistant à « transcrire d'abord, puis traduire » : le décodeur de Whisper prédit directement les jetons anglais à partir des fonctionnalités audio, évitant ainsi l'amplification en cascade des erreurs ASR jusqu'à l'étape de traduction. Limite de capacité : le modèle turbo ne prend pas en charge la traduction ; le grand modèle a un score BLEU de 30+ sur des benchmarks tels que CoVoST-2, mais la qualité de la traduction est toujours nettement inférieure à celle des modèles de traduction de texte pur (tels que la série GPT) et ne convient pas aux scénarios qui nécessitent une précision de traduction extrêmement élevée.

• Identification de la langue : Détectez automatiquement la langue utilisée dans l'audio sans que l'utilisateur ne la spécifie à l'avance. Ceci est particulièrement utile dans les scénarios audio où plusieurs langues sont mélangées (comme les enregistrements de conférences internationales). La précision de la reconnaissance linguistique de Whisper dépend de la taille du modèle : les modèles minuscules sont facilement confondus avec des paires de langues très similaires (telles que le chinois et le cantonais, l'espagnol et le portugais), et il est recommandé d'utiliser des modèles moyens ou grands dans des scénarios formels.

• Détection d'activité vocale (VAD) : distinguez automatiquement les segments vocaux et les segments non vocaux (silence, bruit de fond) dans l'audio pour obtenir une segmentation intelligente. Whisper génère VAD en tant que sous-produit de l'inférence de modèle, éliminant ainsi le besoin de modules VAD supplémentaires. Cependant, la précision du VAD de Whisper n'est pas aussi bonne que celle des modèles VAD dédiés (tels que Silero VAD), et des limites de segmentation audio inexactes peuvent survenir dans des environnements sonores complexes.

• Traitement par lots de fichiers multiples et compatibilité des formats : prend en charge les formats audio courants tels que FLAC, MP3, WAV, M4A, OGG, etc., et peut traiter plusieurs fichiers à la fois via la ligne de commande : whisper audio1.flac audio2.mp3 audio3.wav --model turbo. Les résultats de transcription peuvent être générés dans divers formats tels que TXT, VTT, SRT, TSV, JSON, etc., et peuvent être directement connectés à des tâches en aval telles que la génération de sous-titres, l'organisation des notes et l'analyse des données.

Evolution du modèle et de la version

L'historique des versions de Whisper est basé sur « l'amélioration de la qualité du modèle » plutôt que sur des « ajouts de fonctionnalités ». Le principal changement de chaque version majeure est une génération de meilleurs poids de pré-entraînement.

Version initiale : définition de la feuille de route technique (2022-09 à 2023-01)

Whisper a été rendu public pour la première fois sous forme d'articles et de poids de modèle en septembre 2022, et la version initiale a été officiellement publiée sur GitHub le 24 janvier 2023 via la balise v20230124. Cette version contient cinq spécifications de minuscule/base/petit/moyen/grand, un total de 9 modèles (y compris la version anglaise « .en ») et les données de formation représentent 680 000 heures d'audio multilingue faiblement supervisé. Cette version du grand modèle (appelé plus tard large-v1) a démontré d'impressionnantes capacités de généralisation sans tir, atteignant un WER de 6,1 % (ensemble propre) sur LibriSpeech, proche du SOTA supervisé à l'époque.

large-v2 et large-v3 : itération continue de précision (2023-03 à 2023-11)

• v20230314 (2023-03-15) : sortie du modèle large-v2. Grâce à des étapes de formation plus importantes et à de meilleures stratégies de nettoyage des données, le WER moyen sur les benchmarks multilingues est réduit de 12 à 15 % par rapport au large-v1, en particulier dans les langues non alphabétiques telles que le japonais et le coréen.
• v20230918 (2023-09-19) : publié en complément de large-v2, le tokenizer et la logique de raisonnement sont optimisés.
• v20231117 (2023-11-18) : sortie du modèle large-v3. Il s'agit de la version finale de la grande série, obtenant les meilleures métriques WER/CER de la série Whisper sur des benchmarks multilingues tels que Common Voice 15 et Fleurs. Le large-v3 a également servi de base aux modèles turbo ultérieurs.

Modèle Turbo : Vitesse vs. Compromis en matière de précision (2024-09 à 2024-10)

• v20240927 et v20240930 (2024-09 à 2024-10) : Présentation du modèle turbo. Turbo n'est pas une nouvelle architecture pour l'entraînement indépendant, mais une solution d'inférence optimisée basée sur des poids large-v3. Grâce à l'élagage de l'architecture, à l'optimisation du calcul de l'attention et à la fusion des opérateurs au niveau de l'ingénierie, il peut atteindre environ 8 fois la vitesse d'inférence du grand modèle de l'A100, et les besoins en mémoire vidéo sont réduits de 10 Go à 6 Go. En termes de précision, le WER du turbo sur l'ensemble de données anglais n'est que d'environ 0,5 point de pourcentage supérieur à celui du grand-v3, mais la dégradation est plus évidente sur les langues à faibles ressources. La principale limitation de Turbo (pas de prise en charge des tâches de traduction) est clairement indiquée dans ses notes de version.

Phase de maintenance continue (2024-10 à aujourd'hui)

• v20250625 (2025-06-26) : La dernière version de maintenance, principalement mise à jour pour la compatibilité des versions Python (Python 3.8-3.11) et les dépendances (tiktoken, PyTorch, etc.), aucun nouveau poids de modèle n'est introduit. Indique que le niveau du modèle Whisper a atteint un état relativement stable, l'accent de recherche et développement d'OpenAI pourrait s'être déplacé vers la prochaine génération de modèles vocaux (ou les capacités multimodales vocales de la série GPT).

Avantages techniques

La sélection d'itinéraires techniques de Whisper contraste fortement avec les cadres ASR traditionnels (tels que Kaldi, Espnet) depuis le début : elle n'optimise pas un indicateur spécifique, mais recherche la polyvalence d'un « modèle qui peut être utilisé dans n'importe quel scénario ».

Architecture de transformateur codeur-décodeur : Whisper adopte la structure séquence à séquence standard du transformateur. L'encodeur code les caractéristiques spectrales log-Mel à 80 canaux dans une représentation de couche cachée ; le décodeur prédit le texte de sortie jeton par jeton de manière autorégressive. Par rapport à d'autres schémas ASR de bout en bout courants (tels que CTC, RNN-T), l'avantage de Transformer Seq2Seq est que le décodeur peut « regarder en arrière » pour faire référence à la sortie complète de l'encodeur à chaque prédiction, ce qui est plus bénéfique pour la désambiguïsation sémantique (comme le jugement phonétique des mots) dans l'audio long. Le compromis est une latence d'inférence plus élevée que CTC/RNN-T, car chaque étape de prédiction repose sur le résultat de l'étape précédente et ne peut pas être entièrement parallélisée.

Format de formation multitâche : le décodeur de Whisper utilise des jetons spéciaux pour changer de tâche - <|startoftranscript|> déclenche la transcription, <|translate|> déclenche la traduction et <|langue|> déclenche la reconnaissance de la langue. Toutes les tâches partagent le même ensemble de paramètres d'encodeur, ce qui signifie qu'une seule passe avant peut produire simultanément du texte transcrit, des étiquettes de langue et des informations sur l'activité vocale. Cette conception évite le problème de propagation des erreurs dans la série en trois étapes « modèle acoustique → modèle linguistique → décodeur » dans les systèmes vocaux traditionnels.

Stratégie de formation avec 680 000 heures de données faiblement supervisées : La formation de Whisper ne s'appuie pas sur des données annotées manuellement, mais utilise une grande quantité d'audio transcrit sur Internet (comme les sous-titres YouTube, le texte du podcast) comme signaux de supervision faibles. La répartition des données est naturellement orientée vers l’anglais (~ 65 %) et les langues à ressources élevées, mais couvre également ~ 30 % des langues restantes. Le principal avantage apporté par de grandes quantités de données est la robustesse des échantillons contradictoires : le modèle a constaté divers accents, bruits de fond et différences entre les appareils d'enregistrement au cours de l'entraînement, de sorte qu'il fonctionne bien mieux sur l'audio du monde réel que les systèmes traditionnels formés uniquement sur des corpus propres (tels que LibriSpeech).

Pipeline de prétraitement : l'audio est automatiquement rééchantillonné à 16 kHz, puis converti en un spectrogramme log-Mel à 80 canaux, traité toutes les 30 secondes pour une fenêtre d'inférence. Whisper ne s'appuie pas sur des modules VAD externes - il complète en interne la détection de l'activité vocale et la segmentation audio en prédisant des jetons spéciaux tels que <|notimestamps|>. En utilisation réelle, les fichiers audio longs (plus de 30 secondes) sont traités par épissage par fenêtre coulissante, et la méthode transcribe() de Whisper encapsule ce processus.

Avantages de la mise en œuvre de l'ingénierie : Whisper fournit des packages Python complets et des outils CLI lors de sa sortie. Les utilisateurs n'ont qu'à « pip install openai-whisper » pour commencer à l'utiliser. Cette méthode de livraison « pip install ready » réduit considérablement le seuil d'utilisation des modèles vocaux - auparavant, il fallait généralement des semaines de configuration contextuelle et de compilation de modèles pour créer un système ASR utilisable. C'est également l'une des principales raisons pour lesquelles Whisper a reçu 105 000 étoiles dans la communauté : non pas parce que c'est le plus précis, mais parce qu'il est le plus simple à utiliser.

Comment utiliser

Whisper fournit trois ensembles de méthodes d'accès, qui servent respectivement à un essai rapide du développement intégré Python et à l'appel de l'API cloud à partir de la ligne de commande.

Comment utiliser	Convient aux personnes	Comment commencer	Coût	Caractéristiques
Ligne de commande (CLI)	Tous les utilisateurs	chuchoter audio.mp3 --model turbo	Gratuit (nécessite du matériel local)	Transcription/traduction de commandes en une seule ligne et code zéro
SDK Python	Développeur	importer un murmure ; murmure.load_model("turbo")	Gratuit (nécessite du matériel local)	Intégration profonde, logique de traitement personnalisable
API OpenAI	Tout utilisateur	curl https://api.openai.com/v1/audio/transcriptions	0,006 $/minute	Aucun GPU local requis, prend en charge la concurrence massive

Démarrage rapide en ligne de commande : installez pip install -U openai-whisper et assurez-vous que ffmpeg est installé, exécutez la commande suivante pour transcrire les fichiers audio (le modèle turbo est utilisé par défaut) :

# Transcription anglaise (par défaut)
murmuraudio.mp3

# Transcription de la langue spécifiée
murmurer japonais.wav --langue japonaise

# Traduire des discours non anglais en anglais
murmurer chinois.mp3 --modèle grand --langue chinois --tâche de traduction

# Sortie de plusieurs formats
murmure meeting.wav --model medium --output_format srt

Intégration du SDK Python : l'appel de Whisper en Python ne prend que quelques lignes de code. Voici un exemple complet de transcription + traduction :

importer un murmure

#Charger le modèle (télécharger automatiquement les poids pour la première exécution)
model = murmur.load_model("turbo") # Facultatif : tiny/base/small/medium/large/turbo

# Transcrire l'audio
résultat = model.transcribe("interview.mp3")
imprimer(résultat["texte"])

# Traduire l'audio non anglais en anglais
résultat = model.transcribe("chinese_lecture.mp3", task="translate")
print(result["text"]) # Afficher les résultats de la traduction en anglais

# Obtenir des informations sur le segment (y compris l'horodatage)
pour le segment dans le résultat["segments"] :
    print(f"[{segment['start']:.2f}s -> {segment['end']:.2f}s] {segment['text']}")

Appel API OpenAI : l'utilisation de Whisper via l'API ne nécessite pas de GPU local et convient aux scénarios qui nécessitent une concurrence élevée ou dans lesquels de grands modèles ne peuvent pas être exécutés localement. Voici un exemple d'appel standard (vous devez d'abord obtenir la clé API OpenAI) :

boucle https://api.openai.com/v1/audio/transcriptions \
  -H "Autorisation : Porteur <VOTRE_API_KEY>" \
  -H "Type de contenu : multipart/form-data" \
  -F modèle="chuchotement-1" \
  -F fichier="@audio.mp3" \
  -F langue="zh" \
  -F réponse_format="json"

Version Python :

depuis openai importer OpenAI

client = OpenAI(api_key="<VOTRE_API_KEY>")

#transcrire
avec open("audio.mp3", "rb") comme f :
    transcription = client.audio.transcriptions.create(
        modèle="chuchotement-1",
        fichier=f,
        langue="zh",
        réponse_format="texte"
    )
imprimer (transcription)

# traduire
avec open("chinese_audio.mp3", "rb") comme f :
    traduction = client.audio.translations.create(
        modèle="chuchotement-1",
        fichier=f
    )
imprimer(traduction)

Notes sur le déploiement local : La première exécution de whisper.load_model("large") téléchargera automatiquement environ 3 Go de poids de modèle dans ~/.cache/whisper/. Il est recommandé de terminer le téléchargement à l'avance dans un environnement réseau à haut débit, ou de spécifier le chemin du cache via le paramètre whisper --download_root. Pour les scénarios d'inférence CPU, il est recommandé d'utiliser l'implémentation communautaire « whisper.cpp » (basée sur la quantification GGML/GGUF, qui peut atteindre un taux en temps réel de 1x sur Apple Silicon).

Prix des produits

La stratégie de tarification des produits de Whisper est une structure à deux niveaux : « open source gratuit + API cloud avec paiement à l'utilisation », et il n'existe pas de modèle d'abonnement côté C.

Version Open Source (auto-hébergée) : licence MIT, poids des modèles et code entièrement gratuits. Il n'y a pas de frais de licence pour un usage personnel et commercial. Le coût total de l'auto-hébergement concerne l'infrastructure matérielle : l'exécution du modèle turbo, par exemple, nécessite un GPU avec environ 6 Go de VRAM (comme un RTX 3060 12 Go, ou 8 Go de mémoire unifiée pour Apple Silicon M1/M2). L'inférence CPU est possible mais lente (modèle turbo ~ 0,3x taux en temps réel sur les processeurs haut de gamme).

API OpenAI (whisper-1) : le prix est de 0,006 $/minute (environ 0,6 centime par minute d'audio) et prend en charge les interfaces de transcription et de traduction. La facturation est calculée en fonction de la durée originale de l'audio et n'a rien à voir avec la quantité de jetons émis par le modèle. En termes de quota gratuit, les nouveaux utilisateurs de l'API OpenAI disposent généralement d'un quota d'essai de 5 à 18 $, mais ce quota est un quota d'API général (non exclusif à Whisper) et peut être partagé entre tous les services de l'API OpenAI.

Scénario Entreprise/Utilisation élevée : pour les utilisateurs d'entreprise dont le volume de traitement mensuel dépasse 100 000 minutes, vous pouvez demander une tarification personnalisée et des garanties SLA via l'équipe commerciale OpenAI. L'économie des solutions d'auto-hébergement dans des scénarios à grande échelle doit être calculée un par un - en prenant comme exemple 50 000 minutes de traitement mensuel, les frais d'API sont d'environ 300 $/mois (environ 2 100 yuans) et le coût d'amortissement mensuel d'un cluster 4×A100 auto-construit est d'environ 20 000 à 30 000 yuans. L’auto-hébergement ne présentera des avantages financiers significatifs que si les volumes de traitement continuent de croître et si des exigences strictes en matière de latence et de confidentialité des données sont imposées.

Aucune information publique sur les prix Les détails spécifiques incluent : OpenAI n'a pas révélé si l'API Whisper a un plafond de contrôle de fréquence strict sur le nombre de requêtes par minute (RPM), ni n'a divulgué le taux de remise de base pour la tarification personnalisée de l'entreprise. Veuillez vous référer à la page de tarification officielle et à la documentation de l'API pour des informations en temps réel.

Scénarios d'application

Les scénarios d'application de Whisper couvrent l'efficacité personnelle, la production de contenu et les services d'entreprise. Les quatre scénarios suivants ont été vérifiés à grande échelle et présentent des avantages clairement quantifiables.

• Automatisation du contenu des réunions et des entretiens : convertissez automatiquement les enregistrements de réunion, les audios d'entretien et le contenu des podcasts en transcriptions et index de recherche. En utilisant des modèles grands ou turbo, 1 heure de transcription audio peut être réalisée en 5 à 15 minutes (selon le GPU), et le format de sortie SRT/VTT peut être importé directement dans le logiciel d'édition. Avantages quantitatifs : Traditionnellement, il faut environ 4 à 6 heures par heure pour transcrire manuellement l'audio. Whisper le raccourcit à 5 à 15 minutes de traitement machine + 30 minutes de révision manuelle, améliorant ainsi l'efficacité de 5 à 10 fois. Conseils au sol : Dans les scénarios de conférence à plusieurs personnes, il est recommandé d'utiliser un enregistrement par microphone indépendant ou un enregistrement par canal séparé pour éviter toute confusion entre les intervenants causée par la « diaphonie du même enregistrement ». Whisper lui-même ne prend pas en charge la séparation des locuteurs (diarisation) et nécessite une intégration supplémentaire de modules de reconnaissance du locuteur (tels que PyAnnote Audio).

• Sous-titres vidéo et localisation : générez automatiquement des sous-titres multilingues pour le contenu vidéo. Utilisez d'abord Whisper pour générer des transcriptions d'horodatage dans la langue d'origine, puis utilisez l'API de traduction pour générer des sous-titres dans la langue cible. Le processus est le suivant : extraction audio vidéo → Transcription chuchotée (avec horodatage) → traduction → exportation de fichiers de sous-titres. Les modèles Turbo sont les plus populaires dans ce scénario en raison de leur vitesse élevée : une vidéo de 10 minutes peut être transcrite en 30 secondes. Limite de capacité : la précision de l'horodatage de Whisper est plus précise dans les segments silencieux, mais peut s'écarter de 1 à 3 secondes dans les segments avec des changements fréquents de débit de parole ou des interférences de musique de fond, ce qui nécessite un réglage fin de la chronologie ultérieurement.

• Inspection de la qualité du service client et analyse vocale : transcrivez les enregistrements d'appels du service client en texte pour le contrôle de la qualité du service, l'examen de la conformité de la parole et l'analyse des sentiments des clients. Ce scénario nécessite souvent un déploiement privatisé pour répondre aux exigences de conformité des données (finance, assurance, etc.). Le grand modèle de Whisper (large-v3) fonctionne mieux que la version minuscule/de base sur l'audio du téléphone (échantillonnage de 8 kHz, bande étroite, bruyant), avec un WER de 5 à 10 points de pourcentage inférieur à celui du minuscule. Conseils de mise en œuvre : Il est recommandé d'effectuer des tests de référence WER avec 500 à 1 000 enregistrements d'appels réels avant de les importer en production pour garantir que les performances du modèle en termes et accents dans ce domaine répondent aux normes d'acceptation.

• Interaction vocale et accessibilité : fournissez des sous-titres de transcription vocale en temps réel pour les personnes malentendantes, ou fournissez un pipeline de saisie voix-texte pour les assistants vocaux. Dans le mode vocal de ChatGPT, Whisper assume le premier rôle de voix → texte. Les développeurs individuels peuvent également intégrer Whisper dans des haut-parleurs intelligents, des systèmes automobiles et des appareils auxiliaires pour obtenir une entrée vocale locale. Conseil de mise en œuvre : dans les scénarios en temps réel, il est recommandé d'utiliser une implémentation plus rapide ou Whisper.cpp pour réduire la latence. La version Python pure a des capacités de raisonnement en temps réel limitées sur le processeur.

Personnes concernées

La couverture de Whisper s'étend des utilisateurs finaux sans expérience en programmation aux ingénieurs en IA avec une personnalisation approfondie. Cependant, les coûts et les valeurs d’adaptation auxquels sont confrontés les différents rôles varient considérablement.

• Créateurs de contenu et producteurs vidéo : générez des fichiers de sous-titres (SRT/VTT) en un seul clic via l'outil CLI, aucune programmation requise. Les applications GUI telles que MacWhisper et Whisper Transcription sur la plate-forme macOS réduisent encore les obstacles à l'utilisation. Ne convient pas aux limites : pour les travailleurs professionnels de la post-production cinématographique et télévisuelle qui ont des exigences extrêmement strictes en matière d'exactitude des horodatages des sous-titres, les horodatages de Whisper doivent toujours être ajustés manuellement ; pour les projets de localisation qui nécessitent une traduction de haute qualité, il est recommandé que les résultats de transcription produits par Whisper soient vérifiés manuellement avant d'entrer dans le processus de traduction.

• Développeurs et développeurs indépendants : ajoutez des fonctionnalités de synthèse vocale à vos applications en quelques heures via l'intégration du SDK Python ou de l'API OpenAI. La voie recommandée consiste à utiliser d’abord l’API pour vérifier le concept du produit (zéro investissement GPU), puis à évaluer la rentabilité du déploiement local après la mise à l’échelle. Prérequis : Vous devez disposer de capacités de base de gestion du contexte Python et des packages pip ; vous devez comprendre les bases du traitement audio de ffmpeg ; la solution de déploiement local nécessite un GPU ou une mémoire suffisante (au moins 8 Go pour exécuter des modèles moyens et supérieurs).

• Entreprises et moyennes et grandes organisations : déploiement privatisé dans des scénarios tels que l'analyse vocale du service client, les enregistrements de réunions et la numérisation des supports médiatiques. Le chemin pilote initial recommandé est le suivant : sélectionnez 1 à 2 scénarios commerciaux → complétez le PoC à l'aide d'une API ou d'un déploiement sur une seule machine → déterminez si la précision et le coût répondent aux exigences → étendez-vous à un cluster multi-nœuds. Conditions d'achat : les entreprises doivent déjà disposer d'actifs de données vocales clairs (enregistrements d'appels, archives de réunions, bases de données vidéo) et d'objectifs d'efficacité quantifiables (tels que « réduire le temps de transcription manuelle de 80 % »), plutôt que « utiliser d'abord l'IA, puis voir ». Avant le déploiement, il est nécessaire d'évaluer les coûts d'exploitation et de maintenance continus de Whisper dans un environnement de production (gestion des versions de modèles, surveillance du cluster GPU, reprise sur panne, etc.).

• Chercheurs et ingénieurs PNL : en tant que modèle de base de parole multilingue, Whisper est largement utilisé dans la recherche universitaire dans des domaines tels que la traduction vocale, la reconnaissance linguistique et la robustesse des accents. Ses pondérations open source peuvent également être utilisées comme point de départ pour un réglage précis (comme l'adaptation de domaine pour le vocabulaire dans des domaines professionnels tels que la médecine et le droit). Ne convient pas aux limites : l'architecture de Whisper n'est pas optimisée pour un réglage fin dès le début : elle code toutes les tâches dans des séquences de jetons de décodeur, et le réglage fin nécessite la personnalisation de jetons spéciaux. Pour les scénarios nécessitant une personnalisation approfondie du domaine (comme l'identification des instructions d'équipement industriel dans des environnements sonores spécifiques), il est recommandé d'envisager des frameworks plus personnalisables tels qu'Espnet ou Kaldi.

Résumé et Outlook

La valeur fondamentale de Whisper est « d'utiliser un modèle unifié pour couvrir l'ensemble des tâches vocales, depuis la transcription légère sur des appareils portables jusqu'à la traduction de haute précision au niveau du serveur, sans échantillon ». Ce n'est pas SOTA dans tous les indicateurs, mais c'est la première solution open source qui fait véritablement de la « parole en texte » une infrastructure qui peut être appelée à tout moment.

Principaux avantages actuels : 7 spécifications de modèle couvrent tous les scénarios de déploiement, de la périphérie au cloud, la licence MIT élimine les risques juridiques pour une utilisation commerciale et plus de 105 000 étoiles GitHub vérifient la maturité de l'écosystème communautaire. Des projets dérivés tels que Fast-Whisper, Whisper.cpp, Distil-Whisper et d'autres projets repoussent encore les limites des performances. En tant que l'un des composants principaux de l'API OpenAI, Whisper continue de recevoir des commentaires liés à la production et à la maintenance technique.

Principales limitations actuelles : Whisper ne prend pas en charge la séparation des haut-parleurs de bout en bout (diarisation) et nécessite une intégration supplémentaire de modules professionnels. Le manque de capacités de traduction des modèles turbo signifie que certaines scènes nécessitent encore l'utilisation de modèles plus grands. La surcharge de ressources GPU dans le scénario auto-hébergé pose un seuil pour les utilisateurs individuels (le grand modèle nécessite 10 Go de mémoire vidéo). La précision de l’horodatage est toujours biaisée dans l’audio complexe. Le téléchargement audio en mode API présente des risques de non-conformité dans les scénarios sensibles à la confidentialité. Le taux de reconnaissance de Whisper pour les langues à très faibles ressources est encore limité.

Point d'observation de suivi : si OpenAI intégrera les capacités de Whisper dans la prochaine génération de modèles multimodaux GPT (comme la saisie vocale traitée directement par GPT de bout en bout), ce qui pourrait entraîner un ralentissement de la maintenance de Whisper en tant que modèle autonome. Les projets communautaires dérivés, tels que l'optimisation continue par Faster-Whisper de la couverture des appareils périphériques de Whisper.cpp, peuvent-ils combler le vide après le ralentissement des mises à jour officielles ? En outre, la question de savoir si les progrès des modèles vocaux de nouvelle génération (tels que SeamlessM4T v2 de Meta) en matière de qualité de traduction multilingue dépasseront Whisper sur la référence mérite également une attention continue.

Évaluation des risques d'acquisition et d'adoption : pour les développeurs individuels et les créateurs de contenu, il n'y a presque aucun risque d'adoption : des essais et des erreurs sans frais (open source et exécution locale) peuvent prouver la valeur. Pour les entreprises, il est recommandé de tester des scénarios non essentiels (tels que l'enregistrement de réunions internes, la génération de sous-titres vidéo), de réaliser des tests de référence WER avec des données commerciales réelles et d'établir un processus de révision manuelle pour couvrir les cas particuliers où la précision du modèle n'est pas aussi précise que prévu. Si le traitement des données vocales des utilisateurs est impliqué, assurez-vous de confirmer si les mesures d'isolation des données de la solution auto-hébergée répondent aux exigences de conformité du secteur (telles que le RGPD, loi sur la protection des informations personnelles). Si vous choisissez le mode API OpenAI, vous devez faire attention à savoir si la mise à jour de la version de l'API est rétrocompatible et au plan de rétrogradation lorsque le service est interrompu (par exemple, revenir au petit modèle local pour fournir des services de base). Pour les entreprises ayant des stratégies d'IA vocale à long terme, il est recommandé, tout en adoptant Whisper, de prêter également attention à l'évolution des cadres vocaux de nouvelle génération avec un plus grand potentiel de personnalisation pour éviter le verrouillage architectural.

Outils associés : OnzeLabs, udio

Informations de version

• murmure v20250625 ：Dernière version de maintenance, comprenant des mises à jour de compatibilité du code et des correctifs de dépendances, basées sur le commit 31243ba. （2025-06-26）
• murmure v20240930 ：Présentation du modèle turbo (paramètres 809M), une version optimisée du large-v3, qui est environ 8 fois plus rapide avec une perte de précision minimale. （2024-10-01）
• murmure v20231117 ：Y compris la sortie du modèle large-v3 et de multiples améliorations de stabilité, il n’y a pas encore de date précise officielle. （2023-11-18）
• murmure v20230918 ：L'introduction du modèle large-v2 améliore considérablement la précision de la reconnaissance multilingue. （2023-09-19）
• murmure v20230314 ：Version de maintenance anticipée, corrigeant plusieurs problèmes de compatibilité des dépendances. （2023-03-15）
• murmure v20230124 ：La version publique initiale publie six spécifications de modèles, du plus petit au plus grand, basées sur 680 000 heures de formation sur les données faiblement supervisées. （2023-01-24）