人妖 小说

编译 | 程茜

剪辑 | 心缘

智东西 10 月 28 日报说念，OpenAI 的 AI 转录器具 Whisper 被曝出，在文本转录和翻译时会出现整句幻觉！

外媒好意思联社采访了十几位工程师、斥地东说念主员和学术量度东说念主员发现，OpenAI 的 AI 转录器具 Whisper 很容易虚构大段文本以至整句话，这些幻觉中包含种族评述、暴力言论，以至会虚构医师和患者的对话。

Whisper 是 2020 年 9 月 OpenAI 推出的一款开源 AI 语音转笔墨器具，其在英语语音识别方面的慎重性和准确性已达到东说念主类水平，况且扶直其他 98 种语言的自动语音辨识。摈弃当今，Whisper 的使用规模还是涵盖了大众数千家公司，况且仅上个月开源 AI 平台 HuggingFace 中 Whisper 的最新版块下载量就卓越420 万次，基于 Whisper 构建的器具还是有卓越 30000 名临床医师和 40 个医疗系统使用。

密歇根大学的又名量度东说念主员在进行一项对于公开会议的量度时败露，在他启动尝试雠校模子之前，他发现他查验的每 10 个音频转录中就有 8 个出现幻觉；一位机器学习工程师称，他当先分析了 100 多个小时的 Whisper 转录样本，发现其中约有一半内容存在幻觉。还有斥地东说念主员败露，他用 Whisper 创建的 26000 份转录样本中着实每一份都发现了幻觉。

幻觉是指大模子在生成文本、复兴问题或进行其他输出时，会产生一些看似合理但践诺上是诞妄的信息。这些信息莫得事实依据，就好像模子产生了 "幻觉"。

即使是录制致密的短音频样本，转录幻觉的问题仍然存在。筹办机科学家最近进行的一项量度发现，在他们查验的 13000 多个了了音频片断中，有187 个片断中出现幻觉。

举例下图中，音频文献的原话是"她接了电话后，她启动祷告"，转录的内容为"我嗅觉我要颠仆了，我嗅觉我要颠仆了，我嗅觉我要颠仆了"。

原音频为"嗯，她的父亲再婚后不久就亏本了"，但 AI 将其转录为"不要紧。仅仅太明锐了，不肤浅败露。她确乎在 65 岁时亏本了"。

这种趋势粗略将导致数百万条灌音中出现数万处诞妄的转录，这对于事关东说念主们健康安全的医疗行业影响更为真切。

一、40% 转录幻觉无益人妖 小说，AI 自作东张补充对话细节

Whisper 目已集成到 OpenAI 旗舰聊天机器东说念主 ChatGPT 的某些版块中，同期亦然甲骨文和微软云筹办平台的内置居品。HuggingFace 的机器学习工程师 Sanchit Gandhi 说，Whisper 是最受宽贷的开源语音识别模子，并被镶嵌到从招呼中心到语音助手等各式树立中。

因此，使用规模最广的 Whisper，被发现出现广宽幻觉也更令使用者担忧。

好意思国康奈尔大学的艾莉森 · 科内克栽种和好意思国弗吉尼亚大学的莫娜 · 斯隆栽种量度了他们从卡内基梅隆大学的量度贵寓库 TalkBank 赢得的经转录的数千个粗略片断。他们笃定，Whisper 产生的幻觉中有近40%的是无益或令东说念主担忧的，因为言语者可能会被歪曲或歪曲。

在他们发现的一个例子中，一位发言者说说念："他，阿谁男孩，我不太笃定，要拿走雨伞。"

但转录软件补充说念："他拿了十字架的一大块和一小块碎屑 …… 我敢礼服他莫得带恐怖刀，是以他杀了许多东说念主。"

另一段灌音中的一位发言东说念主形容了"另外两名女孩和又名女士"。Whisper 虚构了对于种族的异常评述，补充说"另外两名女孩和又名女士，嗯，是黑东说念主。"

在第三次转录中，Whisper 发明了一种不存在的药物，称为"高活性抗生素"。

量度东说念主员并不笃定 Whisper 和雷同器具为何会产生幻觉，但软件斥地东说念主员称，幻觉往往发生在言语声息暂停，出现配景声息或有音乐播放时。

二、被用于 700 万次就诊纪录，原始音频文献被删除

OpenAI 曾在其在线走漏中提议不要在"决议环境中"使用 Whisper，因为"决议环境的准确性弱势可能导致驱散出现昭彰弱势"。但这一告诫并莫得遮拦病院或医疗中心使用 Whisper 等语音转文本模子来转录医师就诊时所说的内容，因为这些器具不错匡助医务东说念主员花更少的时分作念条记或撰写呈报。

当今，有卓越 30000 名临床医师和 40 个医疗系统已启动使用由好意思国数字健康创企 Nabla 斥地的基于 Whisper 的转录器具。Nabla 首席本领官马丁 · 雷森（Martin Raison）称，这一器具左证医学语言进行了微调，不错转录和回来医师与患者的互动，该器具已用于纪录约 700 万次医疗就诊纪录。不外，这家创企的讲求东说念主也败露，他们知说念 Whisper 可能会产生幻觉并正在经管这个问题。

▲ Nabla 官网主页的 AI 器具先容

雷森称，他们无法将 Nabla 生成的纪录与原始灌音进行相比，因为 Nabla 的器具会出于"数据安全原因"删除原始音频。OpenAI 前工程师威廉 · 桑德斯（William Saunders）以为，若是莫得仔细查验纪录，或者临床医师无法探问灌音来考证其是否正确，删除原始音频可能会令东说念主担忧。因为"若是你肃清了基关节实，你就无法发现诞妄"。

Nabla 的干系讲求东说念主以为，莫得一种模子是完满的，当今他们的模子条目医疗处事提供者快速剪辑和批准转录的纪录，但改日他们粗略会调动这种操作款式。

旧年之前一直担任好意思国科技战略办公室主任的阿隆德拉 · 尼尔森（Alondra Nelson）说，这么的诞妄可能会产生"终点严重的成果"，尤其是在病院环境中。

Whisper 还用于为聋东说念主和听力贫困者制作粉饰式字幕——这一群体异常容易出现转录诞妄。讲求好意思国加劳德特大学本领探问项缱绻聋东说念主患者克里斯蒂安 · 沃格勒 （Christian Vogler）说："这是因为聋东说念主和听力贫困者无法识别粉饰在悉数其他文本中的抓造。"

三、Whisper 出现幻觉频率高于同类器具，OpenAI 里面已反馈更新

更令东说念主担忧的是，由于患者与医师的会面是守秘的，因此其他东说念主很难知说念 AI 生成的纪录对医师和患者有何影响。

好意思国加州议员丽贝卡 · 鲍尔 - 卡汉（Rebecca Bauer-Kahan）称，本年早些时候，她带着一个孩子去看医师并拒却签署该医疗网罗提供的一份表格，该表格条目她允许将磋磨音频共享给包括微软 Azure 在内的供应商，她不但愿如斯玄机的医疗对话被共享给科技公司。"该法案（好意思国加州和联邦阴私法）明确限定渔利性公司有权赢得这些权力。"但卡汉说，"我那时的响应是皆备不能。"

这种幻觉的广宽存在促使大众、主见者和 OpenAI 前职工命令联邦政府谈判制定 AI 法例。他们以为，OpenAI 至少需要优先经管这一弱势。

"若是（OpenAI）公司骄横优先谈判这个问题，这个问题似乎是不错经管的。"桑德斯以为，"若是你把它推出去，东说念主们过于自信它能作念什么，并将其整合到悉数其他系统中，那就有问题了。"

据 OpenAI 发言东说念主败露，公司正在禁止量度奈何减少幻觉，并对量度东说念主员的发现示意赞叹，并补充说 OpenAI 在模子更新中纳入了反馈。

诚然大多数斥地东说念主员以为转录器具会出现拼写诞妄或犯其他诞妄，但工程师和量度东说念主员示意，他们从未见过其他 AI 转录器具像 Whisper 同样产生如斯多的幻觉。

结语：幻觉问题是 AI 愚弄的要害隐患

一些大众在接收媒体采访时提到，此类抓造是有问题的，因为 Whisper 被大众繁多行业用来翻译和转录采访、在流行的消耗本领中生成文本以及为视频创建字幕。更令东说念主担忧的是，尽管 OpenAI 告诫不应在"高风险限制"使用该器具，但医疗中心仍急于使用基于 Whisper 的器具来纪录患者与医师的磋磨。

即便 AI 公司一直在奋发经管幻觉问题，但当今看来见效甚微。本年早些时候，谷歌的 AI 助手因提议使用无毒胶水来戒备奶酪从披萨上掉下来而遭到月旦；苹果 CEO 蒂姆 · 库克也在接收采访时提到，幻觉可能会成为其 AI 改日居品的一个伏击问题，况且他对这些器具是否会产生幻觉的信心经过并不是 100%。

因此，奈何均衡好居品斥地、推向市集人妖 小说，与这一居品被愚弄到九行八业所产生的影响，对于 AI 产业的参与者而言都至关伏击。