Whisperファインチューニングによるクメール語ASR

問題

クメール語ASR研究は、文字起こし音声データが限られているため、高リソース言語に比べて遅れている。ほとんどの既存システムはプロプライエタリであり、オープンソースの代替手段は自然なクメール語音声に対して高いWERを示す。

アプローチ

本論文は2つの貢献に焦点を当てる：（1）クメール語音声の再現可能なデータ準備パイプライン、（2）生成されたデータセットでのWhisperのファインチューニング。

### データ準備

十分な文字起こし済みクメール語音声の収集が最も難しい部分である。パイプラインは以下を組み合わせる：

- **実際の録音**：公開されているクメール語放送メディアと読み上げ音声データセットから収集
- **TTS拡張**：クメール語TTSエンジンがクメール語テキストコーパスから追加の学習サンプルを生成
- **前処理**：すべての音声を16kHzモノラルにリサンプリング、無音トリミング、正規化
- **クリーニング**：強制アライメントを使用して低品質の文字起こしペアを特定・除去

### Whisperのファインチューニング

Whisperの多言語チェックポイント（small、medium）をHuggingFaceの`Seq2SeqTrainer`でファインチューニング：

- クメール語Unicodeスクリプトのエッジケースをカバーするトークナイザー拡張
- メモリ効率のための勾配チェックポインティング
- ネイティブスピーカーの保持テストセットでのWER評価

結果

- クメール語におけるWhisperゼロショットベースラインからの大幅なWER削減
- TTS拡張により未知の語彙に対する性能が向上
- データパイプラインとモデルチェックポイントは将来の研究再利用のために文書化

主な知見

低リソースASRは、データ量だけでなくデータの多様性からも恩恵を受ける。少量の高品質で音声学的に多様な録音が、大規模なノイズの多いコーパスよりも下流のWERで優れた性能を発揮する。