亚马逊面向企业的 AI 聊天机器人 Amazon Q 或存在严重幻觉和数据泄露问题引发质疑
在发布不到一周后,Amazon Q —— 亚马逊对抗 Copilot 的生成式 AI 助手——已面临生存威胁,一份新报告显示这款 AI 助手可能产生「严重幻觉」。
据 The Platformer援引泄露文件报道,Q 正面临准确性和隐私问题,包括幻觉和数据泄露。值得注意的是,这一报道正值两项重要研究显示,大型语言模型(LLM)在连接企业数据库时高度不准确,且变得越来越不透明之际发布。
然而,据亚马逊一位发言人表示,Amazon Q 并未泄露任何机密信息。
「一些员工通过内部渠道和工单系统分享反馈,这是亚马逊的标准做法。那些反馈并未识别出任何安全问题。我们感谢收到的所有反馈,并将继续调整 Q,使其从预览产品过渡到普遍可用,」该发言人表示。
尽管亚马逊声称其为数百万人的工作伙伴,分析人士认为亚马逊 Q 可能还未准备好用于企业环境。
EIIRTrend & Pareekh Consulting 首席执行官 Pareekh Jain 表示:「如果存在幻觉,就不能在企业环境中用于决策。它适用于个人使用或获取信息,但不适用于决策过程。」
更多测试需求
亚马逊可能在其生成式 AI 助手准备好商业发布之前面临重大的测试挑战。Jain 强调了进行广泛内部试验以确保准备就绪的重要性。
「我认为他们需要先对内部员工进行更多测试,」Jain 补充道。「显然,这正是他们现在正在做的。最终,没有外部来源报告这些问题。这里有两个方面:一是数据,另一个是算法。他们必须看看这是数据问题还是算法问题。」
Q 利用了 17 年 AWS 的数据和开发经验,旨在作为企业的多功能工具。鉴于行业的发展方向,亚马逊在这款 AI 产品上投入了巨大的赌注。
尽管「幻觉」并不削弱生成式 AI 在消费者和企业用例中的潜力,但适当的训练至关重要,市场研究公司 IDC 的副总裁 Sharath Srinivasamurthy 表示。
「在更高质量数据上训练模型、提示增强(引导用户使用模型容易理解的预定义提示)、针对组织或行业特定数据和政策不断微调模型、在响应可疑时增加人工检查层,这些都是需要采取的步骤,以充分利用这项新兴技术,」Srinivasamurthy 说。
幻觉是否会促使迫切需要进行监管?
关于幻觉的报告引发了对监管需要和可能在某一时刻生效的规则严重性的担忧。然而,Greyhound Research 首席分析师兼 CEO Sanchit Vir Gogia 指出,任何由此产生的监管可能适得其反。
「事实上,任何监管都可能减缓数据的交换和利用,」Gogia 说。「因此,目前来说,这个行业越不受监管越好。这允许更容易、更顺畅地使用数据。以 OpenAI 的 GPT 为例——如果对可捕获数据设置严格的防护栏,那么它就不会取得成功。」
Jain 也建议,设置外部边界可能不是一个可行的想法,但公司本身可能会付出更多努力。
「监管可能存在,但重点主要是自我监管,」Jain 解释说。「尽管监管和指导方针是必要的,但对于能够执行的审核程度有一定的限制。重点应该是负责任的 AI,其中的逻辑可以向客户解释,而不是创建『黑箱』系统。然而,在我看来,有一个阈值,超过这个阈值,责任更多地转向企业如何作为安全问题来看待和实施这些措施。」
所有目光聚焦于亚马逊
虽然这些见解凸显了更强大的内部测试和自我监管倾向的必要性,但在企业环境中部署 AI 的道路充满了复杂性。现在亚马逊需要在这些挑战中找到方向,特别是因为它在这一领域的晚期进入。
「AWS 在这个领域有些落后,目前微软和谷歌正在领先,」Jain 补充道。「因此,人们对于聊天机器人和其他相关技术抱有更高的期望。」
有关 Amazon Q 的更多信息:https://top.aibase.com/tool/amazon-q
棋盘密云升级!支付宝发布首个用户资产模型
12月4日,据支付宝开放平台公众号消息,支付宝全域数据营销产品【棋盘密云】宣布升级,上线首个用户资产模型5C,可以更高效地帮商家在支付宝内做好用户运营。站长网2023-12-05 11:19:190000SDXL推精简版本SSD-1B 推理速度提升60%
SegmindStableDiffusion1B(SSD-1B)是一款先进的文本生成图像AI模型,致力于提供高效、高速的图像生成能力。这个模型是稳定扩散XL(SDXL)的精简版本,体积缩小了50%,但在保持高质量文本生成图像功能的同时,速度提高了60%。项目地址:https://huggingface.co/segmind/SSD-1B站长网2023-10-27 20:44:590002比特币现货突破5.7万美元 创2021年以来新高
站长之家(ChinaZ.com)2月27日消息:随着比特币价格在周一逼近5.5万美元,并在周二成功突破这一关口,持续上涨至超过57000美元/枚,加密货币市场迎来了新一轮的热潮。站长网2024-02-27 14:04:110000澳大利亚政府成立AI版权参考小组,应对人工智能与版权挑战
**划重点:**1.📚澳大利亚政府成立参考小组关注人工智能与版权问题,特别关注AI模型训练中使用的受版权保护的材料。2.🌐快速增长的生成式AI技术引发版权混乱,多起诉讼已经展开,包括对ChatGPT的指控,使政府意识到迫切需要制定应对策略。3.⚖️不同国家法院对AI生成内容是否享有版权保护存在分歧,澳大利亚政府积极与利益相关方合作,努力平衡AI发展和创意产业利益。站长网2023-12-05 11:23:580000Xbox被指使用AI生成的艺术作品推广游戏
**划重点:**1.🤖一些玩家指责Xbox在社交媒体上使用由AI程序生成的艺术品来推广独立游戏。2.📅在12月27日,Xbox账号ID@Xbox发推询问粉丝对2023年最喜欢的独立游戏的看法,引发了一场争议。3.🖌️尽管一些开发者对AI艺术持积极态度,但许多玩家批评使用这种技术,认为其在游戏和广告中的应用引发了社区不满。站长网2023-12-29 13:06:160000