(信贷:奥斯卡黄/盖蒂图片社)
与谷歌翻译,将任何超过100种语言的句子是一件简单的事,但经常使用它的人都知道有改进的余地。
理论上,大型语言模型(llm)ChatGPT应该进入下一个时代的语言翻译。它们消耗海量文本的训练数据,加上实时反馈来自世界各地的成千上万的用户,并迅速学会“说”广泛的和连贯的语言,类似人类的句子。
但是我们听到“ChatGPT将取代一切”副歌,却发现它的经常不准确翻译——最糟糕的情况。“我们目前没有实证结果支持的健谈llm工作更好的进行翻译,“说Nazneen拉贾尼,研究铅拥抱的脸(在一个新窗口打开)基于ai的制造商拥抱聊天。
因此,我们决定把ChatGPT测试。它有能力取代谷歌翻译作为旅游的翻译服务,工作,跨境浪漫,和任何其他语言需要吗?和它如何与妹妹聊天机器人,微软必应,谷歌吟游诗人吗?
方法和语言测试
我们问双语发言者七语言盲测。他们都说非英语语言,长大,现在住在美国和/或为美国公司工作。
鉴于英语段落,他们排名由谷歌翻译语言的翻译版本,ChatGPT,微软必应。一旦他们完成了练习中,我们显示哪个服务生产的每一个。
语言测试:波兰语,法语,韩语,西班牙语,阿拉伯语,他加禄语、阿姆哈拉语
翻译服务:谷歌翻译,谷歌巴德,ChatGPT,微软必应
这决不是一个全面的研究。“请考虑到小盲测试不足;需要更多的严格的测试正确评估和比较这些工具和统计学意义,“费德里科•帕斯卡说人工智能行业经验丰富。不过,结果非常一致,提供了一个迷人的一瞥AI模型是如何工作的。
创建一个段落翻译
选择语言和人工智能模型,我们精心制作一些英语段落,揭示每个服务的翻译能力的极限。第一个包括两个棘手的俗语:“发脾气”,意思是紧张的一天后放松,和“干杯!”的意思,“谢谢!”It also had two measurements that would need to be converted in a real-life scenario: USD ($) and miles (as opposed to kilometers).
本条第一款- - - - - -“你好!你会说英语吗?我需要一些帮助和方向。我试图找到一个素食餐厅,因为我妹妹不吃肉。你推荐什么?我们也想呆在几英里的在这里,并不想花费超过50美元。如果他们有鸡尾酒,这将是一个奖金。我们有一整天的旅行,需要缓解一下压力了!欢迎你加入我们的行列。干杯!”
第二段更简单,没有短语或度量单位,但是它有更多的俚语(“流氓”,和“流行香槟”)。我们只发送这个下半年参与者为了扩大我们细化的数据收集方法。
第二款- - - - - -“我怎么买门票船聚会吗?我们需要提前支付,或者我们能买他们在码头当我们到达?我需要在上层,因为有时我晕船当我太接近水。同时,我想要尽可能远的小流氓想流行香槟在航行中不断。这是危险的,不是我的一种乐趣!”
结果:人工智能聊天机器人打败谷歌翻译
12的例子我们发送给参与者,他们更喜欢AI chatbots-ChatGPT,谷歌吟游诗人,或微软必应谷歌翻译。ChatGPT超过他们。
下表包含每个服务参与者的排名。那些收到两段的例子是(1)和(2),其他人只收到第一个。
“在我看来,[ChatGPT]是最接近正常的谈话,”安娜罗梅罗说,谁排在西班牙翻译。“形式化程度的两个关键问题是一致的(非正式)和正确的翻译“发脾气”。“
罗梅罗还赞赏,ChatGPT结束某些词的翻译提供了选择阳性或阴性,而不是选择一个适合你。例如,它写道:你是bienvenido /一个unirte我们——“欢迎你加入我们的”——将随演讲者的受邀者的性别。
谷歌吟游诗人很少工作,甚至告诉我们,“我不能翻译语言。”Instead, it recommends using Google Translate, likely an effort by Google to not cannibalize its own products. But we still tested it, and the three times it worked (Korean, French, Spanish), our participants ranked its results higher than Google Translate.
我们所有的聊天机器人低于高预期货币和距离测量在第一段。考虑到他们的对话问后续问题性质和能力,我们希望他们会问什么货币转换,如果我们首选英里和公里。
相反,他们以同样的方式对待他们是谷歌翻译;做小的调整,有时添加“美元”50美元,或继续把英里,公里。跨语言和服务不一致和不完美的整体。
所有这一切都归结到掌握细微差别
一致的陷阱,谷歌翻译是其字面解释。“这是最逐字的翻译在所有三个,”埃米尔·萨德说,谁排在阿拉伯语翻译。“这导致它错过的一些背景。例如,“流行”(如香槟)被翻译做烟花。”
在法国,谷歌翻译英文“流氓”这个词,而文化上的聊天机器人知道去适当的俚语voyous。
事实证明,聊天机器人是为了擅长细微差别和上下文。语言的源数据的模型有一个大的身体,和更多的用户交互语言,可以更好地识别文化短语和选择最合适的匹配在目标语言。
“聊天机器人就像ChatGPT RLHF的秘密武器,这是与人类反馈,强化学习“拥抱脸的拉贾尼说。“(他们)收集人类偏好模型反应真实性等维度,无害,乐于助人,等。人类的喜好帮助选择适当的更具文化,尤其是对非母语者。”
谷歌发言人告诉发贴,吟游诗人和谷歌翻译”不同的底层技术,所以也就并不奇怪他们会产生不同的输出”。Bard is a large language model designed to perform a variety of tasks, whereas Google Translate is optimized specifically for the task of translation.
“重要的是大小;这些模型是最大的和最好的模型,“帕斯卡说。“他们是在前线的AI军备竞赛。所以很奇怪,他们甚至比谷歌翻译更好的翻译文本,谷歌翻译可能使用老技术,小模型,[和]可能优化运行尽可能迅速而廉价地。”
然而,所有的四个选项是一个一对一的替代说一口流利。所有的聊天机器人仍然遭受尴尬和不准确的词的选择,他们只是有更少的实例。例如,在波兰,微软必应翻译“欢迎你加入我们在餐馆,”到“Zapraszamy Cięnas,“这实际上是一个邀请,说:“来我的房子,”芭芭拉•Pavone发贴内容分发的高级经理。
如果你说这两种语言,用谷歌翻译
在我们的测试中,两种语言排名谷歌翻译顶部:塔加拉族语(菲律宾)和阿姆哈拉语(埃塞俄比亚)。他们有最小的估计,全球人口的演讲者:塔加拉族语3300万年全球人声称这是他们的母语,和阿姆哈拉语有2500万WorldData.info(在一个新窗口打开)。(西班牙语有4.5亿名西班牙和韩国是8000万)。
“人工智能模型不会概括的语言资源或较低的人类偏好没有收集足够的,”拉贾尼说。阿姆哈拉语和塔加拉族语,我们怀疑聊天机器人缺乏足够的数据来做一个微妙的反应符合上下文的段落。相反,他们似乎更多的比谷歌翻译文字,相反的我们看到的其他语言。
科林•Salao排名塔加拉族语的翻译,指出ChatGPT使用单词“超级正式”和保留的公告。他发现必应是“最直译,”,排名低于ChatGPT和谷歌翻译。
微软必应更加挣扎了阿姆哈拉语。这让每一段英语的一部分。这是唯一一次的任何服务失败的尝试翻译,包括韩国等其他基于脚本语言和阿拉伯语:
本条第一款——ሰላም!እንዴትእንደሚናገሩእንደሆነእንዲህብለውጠየቁ吗?በመጠንየተመረጡመኪናቤትየተጠቀሱምግቦችይህመሆኑስለመጠየቅይፈልጋሉ吗?እኔበ50美元ብቻመጠቀምእናየ鸡尾酒ይጠቀማ吗?ከ2 - 3ሜ。我们有一整天的旅行,需要缓解一下压力了!欢迎你加入我们的行列。干杯!
第二款——እንዴትመገልገያይጠቀማል吗?እንዴትእንደሚከተሉመጠቀምእናየ码头ስርይጠቀማል吗?በመጠንየ上层ይደርሳልእናበግራተጨማሪየ香槟መጠጥየ年轻流氓ከተጨማሪበቀንይጠቀማ吗?这是危险的,不是我的一种乐趣!
AI将水平网络翻译
对于任何夏天旅行或其他语言的需要,ChatGPT比谷歌翻译可能是一个更好的选择。另外,新iOS应用程序使人们更容易接受。但是当我们看到阿姆哈拉语和塔加拉族语,聊天机器人还没有一个完整的替代旧备用。
然而,随着更多的培训数据在每一个语言,人工智能模型有可能超越谷歌翻译的能力。“我们正兴奋的潜力llm以及它们如何被纳入我们的产品,”谷歌告诉发贴。
谷歌也测试新的搜索结果页面被称为搜索生成体验(白银)。将发布在Google.com上的一个秘密约会,并将提供一个paragraph-based, ChatGPT-style回答查询。但谷歌强调诗人和上海黄金交易所的实验,并没有评论是否在未来可能取代谷歌翻译。
这可能发生之前,谷歌必须有一个更明确的方法来衡量翻译聊天机器人的能力- - -及证明比谷歌翻译。更广泛地说,所有聊天机器人应该能够在广泛的语言交互,就像阿姆哈拉语,保持未来的web访问和尽可能的“全球”。
“所有这些(AI)系统黑盒,不分享他们如何建造的具体信息,数据用于训练,等“帕斯卡说。“我们开始看到这些巨大的模型可以做什么,同样令人激动和可怕的!”
了解更多关于ChatGPT和其他llm在我们背后的技术讲解员。
