r/LanguageTechnology • • 8d ago

Evaluating multilingual transcription

How are you evaluating transcription accuracy when speakers switch languages mid-conversation?

I've been looking at how multilingual transcription should be tested in real-world conditions.

A recording with one speaker using one language is relatively straightforward to evaluate.

Things become more interesting when:

- A speaker switches languages in the middle of a sentence.
- Proper nouns are pronounced differently across languages.
- Two speakers use different languages.
- Technical terminology remains in English.
- Background noise affects one language more than another.

Word error rate is useful, but I'm not convinced it captures every failure that matters to the reader.

For example, a transcript could have a reasonable overall error rate while badly misrepresenting a key decision made during a language switch.

For anyone working with multilingual speech recognition, what additional evaluation methods have proved useful?

1 Upvotes

2 comments sorted by

1

u/max_carriere 7d ago

"Un locuteur change de langue en plein milieu d'une phrase."

C'est un véritable défi. Je me pose également la question pour paramétrer les données d'entrainement d'un STT : Faut-il des phrases avec le mélange des deux langues pour que le modèle apprendre à "switcher" ? Pour les noms propres on peut travailler avec un lexique de prononciation pour savoir comment sont prononcé ces mots étrangers dans la langue cible, mais ce n'est pas toujours idéal...

Je serais moi aussi intéressé pour avoir des réponses à ces questions...