CapiCapは99以上の言語を理解します。英語、スペイン語、ヒンディー語、アラビア語はもちろん、ウェールズ語、スワヒリ語、タガログ語も。ヨーロッパの20言語はより高速なモデルが受け持ち、ベンガル語とペルシア語には専用のモデルがあります。モデルは言語によって選ばれ、どの言語も、そのモデルが端末に入ればオフラインで使えます。全リストはこのページの下のほうにあります。
どの音声認識モデルが字幕を書くか
モデルを選ぶのはあなたではなく、言語です。ほとんどの言語は標準モデルが受け持ちます。次の20言語は高速モデルが受け持ちます:イタリア語、ウクライナ語、英語、エストニア語、オランダ語、クロアチア語、スペイン語、スロバキア語、スロベニア語、チェコ語、デンマーク語、ドイツ語、ハンガリー語、フランス語、ブルガリア語、ポルトガル語、マルタ語、ラトビア語、リトアニア語、ロシア語。「CapiCapについて」では、それぞれ「高速モデル」「標準モデル」として表示されます。
高速モデルは標準モデルの何倍も速く動きます。Googleが公開している音声テストセットのFLEURSでは、その20言語のほとんどで間違いも少なく、スペイン語、イタリア語、ポルトガル語、ハンガリー語では両者ほぼ同じ結果でした。高速モデルはほかにもギリシャ語、スウェーデン語、ルーマニア語、フィンランド語、ポーランド語の5言語を知っていますが、これらは標準モデルのほうがうまく書き起こすので、標準モデルに任せたままにしています。
ベンガル語とペルシア語には、それぞれその言語で学習したモデルが使われます。標準モデルでは十分にうまく書き起こせないからです。どちらも、その言語の動画に初めて字幕を付けるときにダウンロードされ、ベンガル語は約580 MB、ペルシア語は約640 MBです。
言語の選び方
言語を指定する必要はありません。CapiCapは文字起こしの前に、動画の最大3か所(冒頭、中ほど、終わり)を30秒ずつ聞き、そのうち多くが聞き取った言語に決めて、動画全体をその言語で文字起こしします。確信が持てないときは、文字起こしの前に「どの言語で話されていますか?」とたずね、聞き取った言語と端末の言語をボタンで示し、それ以外の言語は「ほかの言語…」から選べるようにします。
言語がわかっているなら、自分で選べば推測の余地がなくなります。文字起こし中、進行状況バーの下の言語ボタンには「言語を検出中…」、続いて「検出結果:」と言語が表示されます。それをタップして別の言語を選ぶと、文字起こしがやり直されます。あとからなら、エディタで字幕リストの下にある言語ボタンをタップし、言語を選んで「再文字起こし」をタップします。動画から字幕を作り直すので、字幕に加えた編集は失われます。
「言語」のリストでは、いちばん上の「候補」に端末の言語が表示されます。検索では、端末の言語での言語名、その言語自身での名前、言語コードのどれでも見つかるので、日本語に設定した端末でも「español」でスペイン語が見つかります。
精度について
標準モデルは、言語ごとに異なる量の録音音声から学習しているため、英語、スペイン語、ドイツ語のように広く話されている言語で最もよく働き、学習データが少なかった言語では精度が落ちます。話者の少ない言語では、自動判別に頼らず自分で言語を選び、書き出す前に字幕をひととおり読んでください。どの字幕も編集できます。
言語と同じくらい、録音も重要です。マイクの近くではっきり話した音声なら直す箇所はわずかで、音楽、話し声の重なり、風の音が間違いの大部分の原因になります。
ほかの文字体系
アラビア語、ヘブライ語、ペルシア語、ウルドゥー語、パシュトゥー語、シンド語、イディッシュ語の字幕は、プレビューでも書き出しでも右から左に組まれます。ショート動画アプリの「いいね」や共有ボタンの下に字幕が入らないようにする「ボタン回避」の位置は、これらの言語では反対側に移ります。
中国語と日本語は単語の間にスペースを入れず、標準モデルはその単語を細切れにして渡してきます。CapiCapはApple自身の単語分割で細切れを単語に戻すので、字幕は単語の切れ目で分かれ、行は任意の2文字の間ではなく、フレーズの切れ目や話し手が間を置いたところで改行されます。合うフレーズの切れ目がないときは、行の長さをそろえます。中国語の字幕は節ほどの長さのフレーズに分かれ、話すタイミングに合わせて表示されます。
ベトナム語は単語ではなく音節の間にスペースを入れるので、CapiCapは2音節の単語や決まった言い回しをひとまとまりに保ち、その途中で字幕を終わらせません。インドネシア語、マレー語、ベンガル語の字幕では、短い語を、それが属するフレーズと一緒に保ちます。たとえばベンガル語のনাは、それが否定する動詞と一緒にします。
どの言語でも、閉じる側の句読点で字幕が始まることはありません。、や。も、アラビア語の疑問符؟も、ヒンディー語の句点।もです。
ラテン文字、ギリシャ文字、キリル文字では、行に収まらないほど長い単語は、その言語のハイフネーション位置でハイフンを入れて改行されるので、長いドイツ語の複合語やロシア語の単語も収まります。ハイフンは動画の上に描かれるだけで、字幕のテキストと.srtでは単語はつながったままです。
できないこと
翻訳はしません。字幕も.srtも、動画で話されている言語になります。動画全体をひとつの言語で文字起こしするので、途中で言語が切り替わる動画では、もう一方の言語の部分は手で直す必要があります。また、誰が話しているかの表示もしません。
全リスト
日本語の名前の五十音順です。2列目はその言語自身での名前で、アプリの「言語」リストでも各名前の下にこのように表示されます。
| 言語 | その言語での名前 |
|---|---|
| アイスランド語 | íslenska |
| アゼルバイジャン語 | azərbaycan |
| アッサム語 | অসমীয়া |
| アフリカーンス語 | Afrikaans |
| アムハラ語 | አማርኛ |
| アラビア語 | العربية |
| アルバニア語 | shqip |
| アルメニア語 | հայերեն |
| イタリア語 | italiano |
| イディッシュ語 | ייִדיש |
| インドネシア語 | Indonesia |
| ウェールズ語 | Cymraeg |
| ウクライナ語 | українська |
| ウズベク語 | o‘zbek |
| ウルドゥー語 | اردو |
| 英語 | English |
| エストニア語 | eesti |
| オック語 | occitan |
| オランダ語 | Nederlands |
| カザフ語 | қазақ тілі |
| カタロニア語 | català |
| ガリシア語 | galego |
| 韓国語 | 한국어 |
| 広東語 | 廣東話 |
| カンナダ語 | ಕನ್ನಡ |
| ギリシャ語 | Ελληνικά |
| グジャラート語 | ગુજરાતી |
| クメール語 | ខ្មែរ |
| クロアチア語 | hrvatski |
| サンスクリット語 | संस्कृत भाषा |
| ジャワ語 | Jawa |
| ジョージア語 | ქართული |
| ショナ語 | chiShona |
| シンド語 | سنڌي |
| シンハラ語 | සිංහල |
| スウェーデン語 | svenska |
| スペイン語 | español |
| スロバキア語 | slovenčina |
| スロベニア語 | slovenščina |
| スワヒリ語 | Kiswahili |
| スンダ語 | Basa Sunda |
| セルビア語 | српски |
| ソマリ語 | Soomaali |
| タイ語 | ไทย |
| タガログ語 | Tagalog |
| タジク語 | тоҷикӣ |
| タタール語 | татар |
| タミル語 | தமிழ் |
| チェコ語 | čeština |
| チベット語 | བོད་སྐད་ |
| 中国語 | 中文 |
| テルグ語 | తెలుగు |
| デンマーク語 | dansk |
| ドイツ語 | Deutsch |
| トルクメン語 | türkmen dili |
| トルコ語 | Türkçe |
| 日本語 | 日本語 |
| ネパール語 | नेपाली |
| ノルウェー語 | norsk |
| ノルウェー語(ニーノシュク) | norsk nynorsk |
| ハイチ・クレオール語 | Kreyòl Ayisyen |
| ハウサ語 | Hausa |
| バシキール語 | башҡорт |
| パシュトゥー語 | پښتو |
| バスク語 | euskara |
| ハワイ語 | ʻŌlelo Hawaiʻi |
| ハンガリー語 | magyar |
| パンジャブ語 | ਪੰਜਾਬੀ |
| ヒンディー語 | हिन्दी |
| フィンランド語 | suomi |
| フェロー語 | føroyskt |
| フランス語 | français |
| ブルガリア語 | български |
| ブルトン語 | brezhoneg |
| ベトナム語 | Tiếng Việt |
| ヘブライ語 | עברית |
| ベラルーシ語 | беларуская |
| ペルシア語 | فارسی |
| ベンガル語 | বাংলা |
| ポーランド語 | polski |
| ボスニア語 | bosanski |
| ポルトガル語 | português |
| マオリ語 | Māori |
| マケドニア語 | македонски |
| マダガスカル語 | Malagasy |
| マラーティー語 | मराठी |
| マラヤーラム語 | മലയാളം |
| マルタ語 | Malti |
| マレー語 | Bahasa Melayu |
| ミャンマー語 | မြန်မာ |
| モンゴル語 | монгол |
| ヨルバ語 | Èdè Yorùbá |
| ラオ語 | ລາວ |
| ラテン語 | — |
| ラトビア語 | latviešu |
| リトアニア語 | lietuvių |
| リンガラ語 | lingála |
| ルーマニア語 | română |
| ルクセンブルク語 | Lëtzebuergesch |
| ロシア語 | русский |