Transcrire des messages vocaux en créole haïtien : Whisper fonctionne-t-il ?

Question

Beaucoup d'utilisateurs envoient des notes vocales plutôt que d'écrire. Je voudrais les transcrire pour les traiter automatiquement. Les modèles de transcription gèrent-ils le kreyòl ?

Accepted Answer

Oui, avec des nuances. **Whisper** (OpenAI, open source) inclut le créole haïtien parmi ses langues (code `ht`), mais c'est une langue « peu dotée » dans les données d'entraînement : la qualité est nettement inférieure au français ou à l'anglais, surtout avec du bruit, un accent rural ou du code-switching kreyòl/français.

**Pour tirer le meilleur :**

~~~python
import whisper
model = whisper.load_model("large-v3")          # les petits modèles sont bien plus faibles en kreyòl
result = model.transcribe("note.ogg", language="ht", task="transcribe")
print(result["text"])
~~~

1. **Forcez la langue** (`language="ht"`) : la détection automatique confond souvent kreyòl et français.
2. **Utilisez un grand modèle**, via une API ou un GPU. Les versions « tiny/base » sont peu exploitables pour le kreyòl.
3. **Pré-traitez l'audio** : conversion en 16 kHz mono (ffmpeg), suppression des silences.
4. **Évaluez sur vos propres notes vocales** : une cinquantaine d'enregistrements transcrits à la main, puis mesurez le taux d'erreur de mots (WER) de chaque option.
5. **Gardez l'humain dans la boucle** pour les cas importants : montrez la transcription à l'utilisateur (« Èske se sa ou te di ? ») avant d'agir.

Pour améliorer vraiment, on peut affiner (fine-tune) Whisper sur quelques heures d'audio kreyòl transcrit. Des jeux de données publics existent mais restent limités. Collecter les vôtres, **avec consentement**, fait souvent la différence.

1 Repons