Nemotron 3.5 Transcribe : Nvidia ouvre un modèle qui transcrit 40 langues

Nvidia vend des puces. Avec Nemotron 3.5 Transcribe, l’entreprise américaine distribue en open source un modèle capable de faire ce que des start-up facturent à l’abonnement : transcrire, dire qui parle et traduire. Cadeau aux PME ou manière d’inciter à acheter plus de GPU ? Les deux lectures se défendent, et les chiffres demandent un peu de recul.

Un seul modèle, piloté par des instructions

D’après le billet publié par Nvidia sur Hugging Face, Nemotron 3.5 Transcribe réunit quatre fonctions dans un seul fichier de modèle : la transcription, l’attribution des locuteurs (la « diarisation »), la traduction et les questions-réponses sur un enregistrement audio.

Les capacités annoncées sont les suivantes :

• 40 langues transcrites ;
• 31 langues traduites vers ou depuis l’anglais ;
• 13 langues où les locuteurs sont identifiés ;
• des enregistrements jusqu’à une heure, avec jusqu’à huit locuteurs.

Le modèle se commande en langage naturel. Une même réunion peut devenir une transcription avec étiquettes de locuteurs, une traduction en anglais ou un résumé des décisions prises, selon la consigne. On peut aussi lui fournir une liste de termes techniques, par exemple des noms de médicaments. Il ne doit les employer que s’ils sont réellement audibles dans l’enregistrement.

The Decoder précise l’architecture : 30 milliards de paramètres, dont seulement 4 milliards actifs à chaque étape. C’est ce qui lui permettrait de tourner sur un seul GPU Nvidia, du compact DGX Spark au matériel de centre de données.

Des chiffres impressionnants, mais rapportés par Nvidia

Tous les résultats cités viennent de Nvidia ou de médias qui les reprennent. Ils sont à lire comme tels.

Sur le classement Open ASR de Hugging Face (anglais), le modèle arrive premier parmi les modèles à poids ouverts, avec 5,33 % de taux d’erreur sur les mots. Plus ce taux est bas, mieux c’est.

Chez Artificial Analysis, il obtient environ 2,8 %. Les deux sources ne le présentent pas tout à fait de la même façon. Nvidia parle d’une égalité en tête des modèles ouverts avec un concurrent de 24 milliards de paramètres actifs. The Decoder indique 2,81 %, juste derrière Voxtral Small, modèle de l’entreprise française Mistral, à 2,77 %. Dans les deux cas, l’argument est l’efficacité : environ un sixième des paramètres actifs pour un score comparable.

L’écart le plus net concerne les locuteurs. Sur le test VoiceArena, qui compare 14 systèmes sur des conversations où l’on se coupe la parole, Nemotron 3.5 Transcribe arrive premier. Il omet aussi moins de mots : 8,32 % des mots de référence, contre une médiane d’environ 31 %. Sur le classement multilingue de David AI (21 langues), il affiche la plus faible erreur d’attribution, de peu devant le modèle de diarisation dédié de Nvidia.

Nvidia affirme enfin que plusieurs services commerciaux très utilisés sont devancés. Le billet ne nomme pas ici ces services, et les tests restent ceux de Nvidia et de classements tiers. Ils ne reproduisent pas forcément vos conditions : micro de salle de réunion, accents, bruit de fond.

Granary v2 : le jeu de données et l’adaptation sur mesure

Nvidia ne publie pas que le modèle. Granary v2 est un jeu de données d’environ 844 000 heures de parole en 48 langues, contre environ 643 000 heures en 25 langues pour la version précédente, selon The Decoder. Chaque enregistrement existe en plusieurs styles de transcription : une version fidèle, avec les « euh » et les nombres en toutes lettres, et une version nettoyée, avec des chiffres. Nvidia partage aussi les outils qui ont servi à construire le jeu de données, pour qu’on puisse les appliquer à ses propres enregistrements. Elle précise toutefois que ce jeu ne correspond pas exactement aux données d’entraînement du modèle.

L’exemple d’adaptation est détaillé. Nvidia a testé le réglage fin (fine-tuning) sur des enregistrements de médecins et d’étudiants en médecine indiens. Sur l’ensemble du test, une consigne plus précise fait passer l’erreur de 30,8 % à 23,8 %. Après le réglage fin, elle tombe à 11,8 %. Sur des locuteurs inconnus du modèle, elle passe de 22,44 % à 12,17 %, soit 45,8 % d’amélioration relative. Selon The Decoder, l’opération a pris environ 14 heures de calcul sur un seul GPU Nvidia GB300.

Plusieurs nuances viennent avec ces résultats :

• les données d’entraînement étaient surtout de la parole synthétique ;
• l’erreur monte légèrement sur l’anglais général après spécialisation ;
• le modèle médical reste plus précis sur les noms de marques de médicaments ;
• Nvidia recommande de garder au moins 100 enregistrements réels et vérifiés pour tester une version personnalisée.

Ces réserves sont utiles : une version adaptée à un métier ne vaut que si on la teste sur ses propres voix.

Cadeau aux PME ou appât pour GPU ?

Le modèle est ouvert : on peut le télécharger, et Nvidia publie les données et les outils d’adaptation. Il permet donc de transcrire sans envoyer ses enregistrements à un service en ligne. Pour un cabinet, un bureau d’études ou un indépendant qui enregistre des entretiens, l’intérêt de garder les fichiers chez soi est évident.

Mais le contexte commercial compte. Tous les matériels cités sont de marque Nvidia : RTX Spark, DGX Spark, Jetson AGX Thor, GPU Blackwell de centre de données. Les versions quantifiées, c’est-à-dire allégées pour tourner sur du matériel plus modeste, sont annoncées « bientôt » et ne sont pas encore disponibles. Nvidia affirme par ailleurs traiter 100 heures d’audio en moins de trois minutes sur une carte professionnelle RTX PRO 6000 Blackwell Server Edition. C’est un matériel de serveur, pas un portable de bureau.

La concurrence existe aussi. The Decoder cite Voxtral de Mistral, qui combine également transcription et compréhension audio et que la société oriente, avec Voxtral 3, vers les agents vocaux en temps réel. Nemotron 3.5 Transcribe, lui, ne gère pas le temps réel et ne traite que des enregistrements. Les deux sources consultées ne comparent pas ce modèle aux modèles ouverts chinois : sur ce point, la question reste ouverte.

Faut-il y voir un cadeau ou un appât ? Les sources ne permettent pas de trancher. Elles montrent un modèle ouvert qui réduit la dépendance à des services payants, mais qui fonctionne d’abord sur l’écosystème d’un fabricant de puces.

Ce qu’il faut vérifier avant de l’essayer en français

La liste des 40 langues n’apparaît pas dans les passages disponibles des deux articles. On ne peut donc pas affirmer, à ce stade, que le français est couvert pour chaque fonction. Nvidia indique que la prise en charge varie selon la tâche : la fiche du modèle contient une matrice tâches-langues à consulter. On sait déjà que les questions-réponses sur l’audio ont été entraînées en anglais, et que l’identification des locuteurs n’existe que dans 13 langues.

Trois points à contrôler avant d’utiliser le modèle sur des réunions ou des entretiens :

1. La langue et la tâche. Le français est-il pris en charge pour la transcription, la traduction et l’attribution des locuteurs ?
2. La licence. Ni l’article de Nvidia ni celui de The Decoder, dans les passages disponibles, ne détaillent les conditions d’usage. Une utilisation commerciale en entreprise demande de lire la fiche du modèle.
3. Le matériel. Sans version quantifiée, un ordinateur de bureau ordinaire risque de ne pas suffire.

Nvidia le dit elle-même : il faut vérifier les noms propres, les changements de locuteur et les réponses aux questions en les comparant à l’enregistrement. Le test le plus simple consiste à prendre un extrait de dix minutes d’une vraie réunion, avec accents et chevauchements, et à le confronter à votre outil actuel.

Reste à savoir si les scores d’un classement tiennent face à votre salle de réunion, et si la gratuité du modèle vous dispense vraiment d’acheter le matériel qui va avec.

Sources

• NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt (Hugging Face)
• Nvidia’s open Nemotron 3.5 Transcribe combines transcription, translation, and speaker recognition (The Decoder)