OpenAI Whisper 简介
Whisper 是一种用于语音识别和转录的机器学习模型，由 OpenAI 创建，并于 2022 年 9 月首次作为开源软件发布。 它能够转录英语和其他几种语言的语音，还能够将多种非英语语言翻译成英语。 OpenAI 声称，与以前的方法相比，其开发中使用的不同训练数据的组合提高了对口音、背景噪音和行话的识别能力。
OpenAI 训练并开源了一个名为 Whisper 的神经网络，它在英语语音识别方面达到了接近人类水平的鲁棒性和准确性。
Whisper 是一个自动语音识别（ASR）系统，经过在网上收集的 68 万小时的多语言和多任务监督数据训练。OpenAI 展示了使用如此大且多样的数据集可以提高对口音、背景噪音和技术语言的鲁棒性。此外，它还能进行多语言转录，以及将这些语言翻译成英语。OpenAI 开源了模型权重和推理代码，以作为构建有用应用程序和进一步研究鲁棒语音处理的基础。
Whisper 架构是一种简单的端到端方法，作为一个编码器-解码器 Transformer 实现。输入音频被分成 30 秒的片段，转换成对数梅尔频谱图，然后传递到编码器中。解码器被训练来预测相应的文本字幕，并混合特殊标记，以指导单一模型执行诸如语言识别、短语级时间戳、多语言语音转录以及到英语的语音翻译等任务。
其他现有方法通常使用较小、较为紧密配对的音频-文本训练数据集，或者使用广泛但未经监督的音频预训练。由于 Whisper 是在一个大且多样的数据集上训练的，并且没有微调到任何特定的一个，因此它在 LibriSpeech 性能上并没有击败那些专门的模型，LibriSpeech 是语音识别领域一个著名的竞争性基准。然而，当衡量 Whisper 在许多不同数据集上的零样本性能时，我们发现它更加鲁棒，并且比那些模型错误率减少了 50%。
Whisper 的音频数据集约三分之一是非英语的，它交替执行原语言转录或翻译成英语的任务。OpenAI 发现这种方法在学习语音到文本翻译方面特别有效，并且在 CoVoST2 到英语翻译零样本任务中超越了监督的最新技术。
OpenAI 希望 Whisper 的高准确性和易用性将允许开发人员将语音接口添加到更多的应用程序中。查看论文【1】、模型卡【2】和代码【3】以了解更多细节并试用 Whisper。
模型参数和运行所需的显存容量以及相对运行速度如下表所示：
注：large 有多个版本更新。2022 年 12 月，OpenAI 发布了改善的 large-v2 模型；2023 年 11 月，OpenAI 发布 large-v3 模型。
OpenAI Whisper 识别方言
输入《5:20 AM》，河南方言 rap。
原版歌词：
我在5:20睡觉13:14准时起主打个浪漫沉溺在爱河不上岸爱你在本职里碎花洋裙站在我的面前那时候帅的就像闪电外面的乌云深深浅浅我说留在我房间吃碗面然后你的双手搭在我的胸口开始控制不住牵你手每天下班后带你转郑州我们一起走过的每个街口死去的回忆开始攻击我你的香味又袭来了为谁被谁变成了傀儡发现再也没有什么我所期待的我感觉躲不掉像云朵躲不过风我们被吹的越来越远变得如此陌生乌云在阴天里偷偷的经过怎么越遥远的看的越清澈得了忘不掉记不清的病我越难过这 beat越顶众人皆醉我独醒我看透人心百毒不侵却再也看不清那张合影我的心大部分时间是冰的曾经和死神有过一*情我是最热烈最纯粹的星座脑子里除了金钱就是性我在5:20睡觉13:14准时起主打个浪漫沉溺在爱河不上岸爱你在本职里碎花洋裙站在我的面前那时候帅的就像闪电外面的乌云深深浅浅我说留在我房间吃碗面然后你的双手搭在我的胸口开始控制不住牵你手每天下班后带你转郑州我们一起走过的每个街口死去的回忆开始攻击我你的香味又袭来了为谁被谁变成了傀儡发现再也没有什么我所期待的没有任何期待没有意外不会再轻易对谁产生依赖屋里一片狼藉脑海中的亡妻漫步在她给我留下的灰色地带别用分开来证明分不开别到结束了才认为真不该Here's to the past, dance all night俺是河南嘞河南洛阳嘞从平顶山带你转到许昌再从开封转到新乡俺是河南嘞河南洛阳嘞带你转信阳南阳濮阳安阳做你嘞小太阳，俺是河南嘞河南洛阳嘞从鹤壁转到焦作三门峡到驻马店带你转漯河俺是河南嘞河南洛阳嘞带你转周口带你转商丘恁咋不早说咱俩某以后
使用开源 whisper 模型进行方言识别效果：
>whisper "刀酱 - 5：20AM.mp3"100%|███████████████████████████████████████| 461M/461M [01:41<00:00, 4.76MiB/s]Detecting language using up to the first 30 seconds. Use `--language` to specify the languageDetected language: Chinese[00:00.000 --> 00:15.000] Zither Harp[00:15.000 --> 00:16.600] 我在屋顛了是睡觉[00:16.600 --> 00:18.400] 是三点十四准时切[00:18.400 --> 00:19.600] 住到个老满城[00:19.600 --> 00:21.000] 你在爱和不上安安[00:21.000 --> 00:22.400] 爱你在奔驰里[00:22.400 --> 00:24.200] 刷样去站在我的面前[00:24.200 --> 00:26.200] 那手甩泪就要闪电[00:26.200 --> 00:28.000] 外面的乌云伸前前[00:28.000 --> 00:29.200] 握手留在我的房间[00:29.200 --> 00:30.200] 吃碗面肉[00:30.200 --> 00:32.200] 拧了双手打在我的胸口[00:32.200 --> 00:33.400] 开始控制不住钱[00:33.400 --> 00:34.800] 你手没得下班后[00:34.800 --> 00:36.000] 带你转整周[00:36.000 --> 00:38.000] 他们一起走过了每个街口[00:38.000 --> 00:39.800] 死去了回忆开始攻击我[00:39.800 --> 00:40.800] 拧了香味[00:40.800 --> 00:41.800] 游戏来了[00:41.800 --> 00:44.000] 为谁被谁编成了傀儡犯[00:44.000 --> 00:46.400] 在没有什么我所期待的[00:46.400 --> 00:48.400] 我感觉躲不掉[00:48.400 --> 00:50.400] 像云朵躲不过风[00:50.400 --> 00:52.600] 我们被吹得越来越远[00:52.600 --> 00:54.000] 变了如此陌生[00:54.000 --> 00:55.600] 乌云在阴天[00:55.600 --> 00:57.200] 流头头的经过[00:57.200 --> 00:59.200] 我们越遥远的看得越清澈[00:59.200 --> 01:01.200] 得了望不掉即不清了病[01:01.200 --> 01:03.200] 我也难过这逼越丁[01:03.200 --> 01:05.200] 突然结醉我独行[01:05.200 --> 01:06.800] 我看多人心不读不清[01:06.800 --> 01:08.800] 却再看不清那张合影[01:08.800 --> 01:10.800] 我的心大部分时间是冰了[01:10.800 --> 01:12.800] 曾经和死神有过夜清[01:12.800 --> 01:14.800] 我是最热烈最纯粹的星座[01:14.800 --> 01:16.800] 脑子里出了金钱就是丁[01:16.800 --> 01:18.800] 我在污点了是睡觉[01:18.800 --> 01:20.800] 是散烈是死纯是切[01:20.800 --> 01:22.800] 出大个浪漫趁你在爱和不伤[01:22.800 --> 01:24.400] 爱你在分治里[01:24.400 --> 01:26.400] 刷样去站在我的面前[01:26.400 --> 01:27.600] 快乐就闪电[01:27.600 --> 01:29.600] 外面了无运神牵牵[01:29.600 --> 01:31.600] 握手留在我了房间吃碗面[01:31.600 --> 01:33.600] 绕腻了双手戴在我的胸口[01:33.600 --> 01:35.200] 开始控制不触牵你手[01:35.200 --> 01:37.200] 没得下半好但你转整周[01:37.200 --> 01:39.200] 在每一切都过了每个借口[01:39.200 --> 01:41.200] 失去了回忆开始攻击我[01:41.200 --> 01:43.200] 腻了香味游戏来了[01:43.200 --> 01:45.200] 为谁被谁变成了傀儡犯[01:45.200 --> 01:47.200] 再也没有什么我所期待的[01:47.200 --> 01:49.200] 没有任何期待没有意外[01:49.200 --> 01:50.200] 不会再轻易对视[01:50.200 --> 01:52.200] 只剩依赖我留一片浪迹[01:52.200 --> 01:53.200] 脑海中了王奇满[01:53.200 --> 01:55.200] 不再带给我留下了灰色地带[01:55.200 --> 01:57.000] 分开来证明分不开[01:57.000 --> 01:59.000] 遇到结束了才认为真不改[01:59.000 --> 02:03.000] Here's to the poppins all night[02:03.000 --> 02:06.000] 二是河南雷 河南洛阳雷[02:06.000 --> 02:08.000] 从平定山带你转到续长[02:08.000 --> 02:10.000] 再从开封转到新乡[02:10.000 --> 02:13.000] 二是河南雷 河南洛阳雷[02:13.000 --> 02:15.000] 带你转信仰那样[02:15.000 --> 02:18.000] 不扬岸阳做你的小太阳[02:18.000 --> 02:21.000] 二是河南雷 河南洛阳雷[02:21.000 --> 02:23.000] 从回避转到角座[02:23.000 --> 02:25.000] 三门下到竹马店带你转[02:25.800 --> 02:28.800] 二是河南雷 河南洛阳雷[02:28.800 --> 02:30.800] 带你转舟口带你转上球[02:30.800 --> 02:32.800] 能咋不早说咱俩某一号
跟着 whisper 转换的文本念一遍，你会发现河南话学起来还挺简单，去河南旅游前可以练练~~
