otoSpeech Japanese：自由会話、ロールプレイ、台本読み

Read in English

サンプル

再生ボタンを押すと、プレーヤーに話題や場面の一覧が出ます。台本読みでは、再生に合わせて台本も表示されます。

• 自由会話(5つの話題)
• ロールプレイ(8つの場面)
• 台本読み(4つの場面)

日本語専用のデータが必要な理由

Full-duplexの研究は英語から始まりました。初のリアルタイムFull-duplexモデルであるMoshiは、話者ごとにチャンネルが分かれた2,000時間の電話会話Fisherで、聞きながら話すことを学習しています。[1] 2025年にJ-Moshiを開発した大橋らは、日本語を含む英語以外の言語にはFull-duplex音声対話システムがなく、知見も英語に比べて不足していると述べています。[2] 2026年には国立情報学研究所が商用利用できるLLM-jp-Moshi-v1を公開し、状況は動き始めています。[3]

データの差はJ-Moshiの学習にも表れています。微調整に使ったステレオの対話データは344時間で、そのうち201時間は研究室内のコーパスです。[2] 音声データ全体にも偏りがあり、2025年のレビューでは、公開音声データセット38件のうち15件が英語中心、9件が中国語でした。[4]

英語で学んだタイミングは、日本語にそのままは使えません。J-Moshiの論文の基準データでは、発話の重なりは1分あたり日本語が8.1秒、英語が3.3秒です。[2] 別々のコーパスの数字なので目安ですが、英語で学習したモデルが聞いてきた重なりは、日本語よりずっと少ないことになります。

3種類の収録形式

話し慣れた話題なら発話は自然で明瞭ですが、専門的な内容は出にくくなります。専門的な場面は台本で用意できますが、読み上げる分だけ自然さは下がります。この差に応じて、3種類の形式で収録しています。

• 自然さを重視する場合は、自由会話
• 特定ドメインの会話を重視する場合や、TTSに使う場合は、台本読み
• 自然さと専門性の両方を重視する場合は、ロールプレイ

サンプルでの実測

各チャンネルの音量から、話している時間を推定しました。短い応答は、相手の発話中に出る1秒未満の発話で、相づちのおおまかな目安です。

台本読みのクリップには、重なりも短い応答もありません。割り込みへの対応を学ぶ用途には向きませんが、ターンが整っているのでTTSには合います。ロールプレイはその中間で、今回のクリップでは重なりが自由会話の約半分でした。店舗、ホテル、商談などの場面も含みます。

いずれも29〜39秒の、データを見せるために選んだクリップです。データセット全体の数字ではありません。

各形式に含まれるもの

• 自由会話：ステレオ音声と話者別の文字起こし。話題は季節の好み、トマトの栽培、各地のラーメンなどです。
• ロールプレイ：設定された場面を、2人が自分の言葉で演じます。お土産店での接客、ホテルの予約変更、展示会の商談などがあります。
• 台本読み：2人が台本を読み上げます。ホテルのチェックインなどの場面があり、どの音声にも台本と時刻付きの文字起こしが付きます。

otoが運営するfullduplex.aiに、日本語に対応したモデルとデータセットのまとめがあります。