CapiCap 能听懂 99+ 种语言:英语、西班牙语、印地语和阿拉伯语,也包括威尔士语、斯瓦希里语和他加禄语。二十种欧洲语言交给更快的模型,孟加拉语和波斯语有自己专门的模型。它根据语言选择模型,每种语言的模型一旦到了你的设备上,就都能离线使用。完整列表在下面。
哪个语音模型来写字幕
模型不是你来选,而是由语言决定。大多数语言交给标准模型。下面这 20 种交给快速模型:爱沙尼亚语、保加利亚语、丹麦语、德语、俄语、法语、荷兰语、捷克语、克罗地亚语、拉脱维亚语、立陶宛语、马耳他语、葡萄牙语、斯洛伐克语、斯洛文尼亚语、乌克兰语、西班牙语、匈牙利语、意大利语和英语。关于 CapiCap 里把它们列为“快速模型”和“标准模型”。
快速模型比标准模型快很多倍。在 Google 公开的测试录音集 FLEURS 上,它在这 20 种语言中的大多数里错误也更少,在西班牙语、意大利语、葡萄牙语和匈牙利语上两者大致持平。它还认识另外五种语言:希腊语、瑞典语、罗马尼亚语、芬兰语和波兰语,但标准模型写得更好,所以这几种仍然交给标准模型。
孟加拉语和波斯语各有一个专门为该语言训练的模型,因为标准模型写得不够好。第一次给这种语言的视频加字幕时才会下载,孟加拉语约 580 MB,波斯语约 640 MB。
它怎样判断语言
你不用告诉它。转录之前,CapiCap 会听视频中最多三段 30 秒的片段(开头、中间和结尾),采用其中多数听到的语言,然后用这种语言转录整个视频。拿不准时,它会在转录之前问你:视频中说的是哪种语言?,把它听到的语言和你设备上的语言列成按钮,其余的语言在其他语言…里。
如果你知道是什么语言,自己选就不用它来猜了。转录时,进度条下方的语言按钮先显示正在检测语言…,然后显示检测到:和语言;轻点它,选另一种,转录就会重新开始。之后在编辑器里,轻点字幕列表底部的语言按钮,选择语言,再轻点重新转录。这会根据视频重新生成字幕,所以你对字幕做的修改会丢失。
语言列表把你设备上的语言排在最前面,放在“建议”下。它的搜索能匹配语言在你设备语言中的名称、语言自己的名称或语言代码,所以在语言设为中文的设备上,输入“español”也能找到西班牙语。
准确度如何
标准模型学习每种语言时用的录音数量各不相同,所以它在英语、西班牙语或德语这类使用广泛的语言上表现最好,在训练数据很少的语言上就差一些。对于不太常见的语言,最好自己选,不要依赖自动识别,导出之前把字幕通读一遍。每条字幕都可以修改。
录音和语言同样重要。离麦克风近、说得清楚的话,要改的最少;音乐、几个人抢着说话和风声,造成了大多数错误。
其他文字
阿拉伯语、希伯来语、波斯语、乌尔都语、普什图语、信德语和意第绪语的字幕从右往左排,预览和导出都是如此。避开按钮这个位置用来让字幕避开短视频 App 的点赞和分享按钮,对这些语言会移到另一侧。
中文和日文的词与词之间没有空格,标准模型交出来的词是零碎的。CapiCap 用 Apple 自己的分词功能把这些碎片重新拼成词,所以字幕在词与词之间断开,换行也落在短语之间和说话人停顿的地方,而不是随便两个字之间。没有合适的短语断点时,各行会尽量均衡。中文字幕按分句大小的短语断开,并与语音对齐时间。
越南语的空格分隔的是音节而不是词,所以 CapiCap 会把它的双音节词和固定说法放在一起,不会让一条字幕在其中间结束。印度尼西亚语、马来语和孟加拉语的字幕会把小词和它所属的短语放在一起,比如孟加拉语的 না 会和它否定的动词放在一起。
在所有语言中,收尾的标点都不会出现在字幕开头:不管是 、 或 。,还是阿拉伯语的问号 ؟ 或印地语的句号 ।。
在拉丁、希腊和西里尔字母中,太长、一行放不下的词,会在该语言的连字符断点处用连字符断开,所以很长的德语复合词和俄语单词也能放得下。连字符只画在视频上;字幕文本和 .srt 里的词保持完整。
它不会做的事
它不翻译:字幕和 .srt 都是视频里说的那种语言。它用一种语言转录整个视频,所以在中途换语言的视频里,用另一种语言说的部分需要手动修改。它也不标注是谁在说话。
完整列表
按中文名称的拼音排序。第二列是语言自己的名称,和 App 的语言列表中每个名称下方显示的一样。
| 语言 | 该语言中的名称 |
|---|---|
| 阿尔巴尼亚语 | shqip |
| 阿拉伯语 | العربية |
| 阿姆哈拉语 | አማርኛ |
| 阿萨姆语 | অসমীয়া |
| 阿塞拜疆语 | azərbaycan |
| 爱沙尼亚语 | eesti |
| 奥克语 | occitan |
| 巴什基尔语 | башҡорт |
| 巴斯克语 | euskara |
| 白俄罗斯语 | беларуская |
| 保加利亚语 | български |
| 冰岛语 | íslenska |
| 波兰语 | polski |
| 波斯尼亚语 | bosanski |
| 波斯语 | فارسی |
| 布列塔尼语 | brezhoneg |
| 鞑靼语 | татар |
| 丹麦语 | dansk |
| 德语 | Deutsch |
| 俄语 | русский |
| 法罗语 | føroyskt |
| 法语 | français |
| 梵语 | संस्कृत भाषा |
| 芬兰语 | suomi |
| 高棉语 | ខ្មែរ |
| 格鲁吉亚语 | ქართული |
| 古吉拉特语 | ગુજરાતી |
| 哈萨克语 | қазақ тілі |
| 海地克里奥尔语 | Kreyòl Ayisyen |
| 韩语 | 한국어 |
| 豪萨语 | Hausa |
| 荷兰语 | Nederlands |
| 加利西亚语 | galego |
| 加泰罗尼亚语 | català |
| 捷克语 | čeština |
| 卡纳达语 | ಕನ್ನಡ |
| 克罗地亚语 | hrvatski |
| 拉丁语 | — |
| 拉脱维亚语 | latviešu |
| 老挝语 | ລາວ |
| 立陶宛语 | lietuvių |
| 林加拉语 | lingála |
| 卢森堡语 | Lëtzebuergesch |
| 罗马尼亚语 | română |
| 马耳他语 | Malti |
| 马拉地语 | मराठी |
| 马拉加斯语 | Malagasy |
| 马拉雅拉姆语 | മലയാളം |
| 马来语 | Bahasa Melayu |
| 马其顿语 | македонски |
| 毛利语 | Māori |
| 蒙古语 | монгол |
| 孟加拉语 | বাংলা |
| 缅甸语 | မြန်မာ |
| 南非荷兰语 | Afrikaans |
| 尼泊尔语 | नेपाली |
| 挪威语 | norsk |
| 旁遮普语 | ਪੰਜਾਬੀ |
| 葡萄牙语 | português |
| 普什图语 | پښتو |
| 日语 | 日本語 |
| 瑞典语 | svenska |
| 塞尔维亚语 | српски |
| 僧伽罗语 | සිංහල |
| 绍纳语 | chiShona |
| 斯洛伐克语 | slovenčina |
| 斯洛文尼亚语 | slovenščina |
| 斯瓦希里语 | Kiswahili |
| 索马里语 | Soomaali |
| 他加禄语 | Tagalog |
| 塔吉克语 | тоҷикӣ |
| 泰卢固语 | తెలుగు |
| 泰米尔语 | தமிழ் |
| 泰语 | ไทย |
| 土耳其语 | Türkçe |
| 土库曼语 | türkmen dili |
| 威尔士语 | Cymraeg |
| 乌尔都语 | اردو |
| 乌克兰语 | українська |
| 乌兹别克语 | o‘zbek |
| 西班牙语 | español |
| 希伯来语 | עברית |
| 希腊语 | Ελληνικά |
| 夏威夷语 | ʻŌlelo Hawaiʻi |
| 新挪威语 | norsk nynorsk |
| 信德语 | سنڌي |
| 匈牙利语 | magyar |
| 巽他语 | Basa Sunda |
| 亚美尼亚语 | հայերեն |
| 意大利语 | italiano |
| 意第绪语 | ייִדיש |
| 印地语 | हिन्दी |
| 印度尼西亚语 | Indonesia |
| 英语 | English |
| 约鲁巴语 | Èdè Yorùbá |
| 粤语 | 廣東話 |
| 越南语 | Tiếng Việt |
| 藏语 | བོད་སྐད་ |
| 爪哇语 | Jawa |
| 中文 | 中文 |