OpenAI 宣布成立新团队以评估和防范人工智能模型可能带来的「灾难性风险」
OpenAI 今天宣布,已成立一个名为「准备组」(Preparedness)的新团队,由麻省理工学院可部署机器学习中心的主任亚历山大·马德里(Aleksander Madry)领导,以评估、检测并预防人工智能模型可能导致的「灾难性风险」。
据 LinkedIn 资料显示,马德里自今年 5 月起加入 OpenAI,担任「准备组」负责人。该团队的主要职责是跟踪、预测并防范未来 AI 系统可能带来的危险,范围涵盖从诱导和欺骗人类(例如在网络钓鱼攻击中)到恶意代码生成能力。
准备组负责研究的一些风险类别看似相对遥远,例如在博客文章中,OpenAI 列出了「化学、生物、放射性和核」威胁作为与 AI 模型相关的顶级关注领域。
OpenAI 的 CEO Sam Altman 是众所周知的 AI 末日预言者,他经常表达出人工智能「可能导致人类灭绝」的担忧。但公开表示 OpenAI 可能实际投资研究科幻反乌托邦小说中的场景,这比大众预期还要更进一步。
该公司也表示愿意研究 AI 风险的「不太明显」且更为实际的领域。为了配合准备组的成立,OpenAI 正在向社区征集风险研究方案,前十名提交者将有机会获得 25,000 美元奖金和在准备组的职位。
「想象一下,我们让你不受限制地访问 OpenAI 的 Whisper(转录)、Voice(文本到语音)、GPT-4V 和 DALLE-3 模型,而你是一个恶意行为者,」征集方案作品中的一个问题写道。「考虑最独特的,同时仍有可能是潜在灾难性的模型滥用。」
准备组还将负责制定「风险通知开发策略」,明确 OpenAI 在构建 AI 模型评估和监控工具方面的方法,公司的风险缓解行动及模型开发流程的监管结构。这将补充 OpenAI 在 AI 安全领域的其他工作,重点关注模型部署的前后阶段。
OpenAI 在上述博客文章中写道:「我们相信……AI 模型,其能力将超越当前最先进模型的能力,有可能惠及全人类。但它们也带来了日益严重的风险……我们需要确保对高性能 AI 系统的安全具备必要的理解和基础设施。」
准备组的揭幕是在英国政府主办的一场重要的 AI 安全峰会上,此举并非巧合。此前 OpenAI 宣布将成立一个团队来研究、指导和控制新出现的「超智能」AI 形式。Altman 和 OpenAI 的首席科学家、联合创始人伊利亚·苏茨克弗(Ilya Sutskever)都相信,超过人类智慧的 AI 可能在未来十年到来,而且这种 AI 不一定会善良,因此需要研究如何限制和控制它。
基于 Gemini 谷歌携手 Fitbit 开发“个人健康大语言模型”
据谷歌官方消息,该公司旗下的GoogleResearch将与Fitbit团队合作,共同开发一款"个人健康大语言模型"(PersonalHealthLargeLanguageModel)。该模型将基于Gemini模型,并利用一系列健康数据进行微调,以增强对人类生理及行为数据的分析能力。站长网2024-03-26 11:29:430000Google发布PaLI-3视觉语言模型,性能相当于体积大10倍的模型
📌划重点:GoogleResearch和GoogleDeepMind发布了PaLI-3,这是一款仅有50亿参数的视觉语言模型(VLM)。尽管相对较小,PaLI-3在多模态测试中超越了体积大10倍的模型,可以回答关于图像的问题、描述视频、识别对象和读取图像上的文本。站长网2023-10-25 18:22:020000微软Bing Chat宣布在聊天答案中添加图像 并支持购物商品对比
近日,微软Bing聊天宣布将在聊天回复中添加图像,如向Bing询问关于火烈鸟或水豚的聊天问题,相应的动物图像将会与回答一起出现。单击图像可以进一步探索该物种的栖息地、饮食、生命周期和其他相关事实的更多信息。同时,Bing聊天针对购物、天气、金融和汽车等主题进行了优化答案。Bing聊天重新设计了出现在基于文本的答案末尾的视觉元素。例如,在使用聊天进行购物时,将更轻松地并排比较您正在考虑的商品。站长网2023-05-15 14:59:030000CardanoGPT 宣布 Girolamo AI 聊天机器人 Beta 版发布,将 AI 融入区块链技术
据一份新闻稿称,CardanoGPT宣布了其AI驱动聊天机器人Girolamo的Beta版发布,这标志着该公司将人工智能(AI)与区块链技术结合的重要一步。Girolamo得名于意大利著名数学家GirolamoCardano,这一发展象征着Cardano在区块链领域探索人工智能的新阶段。站长网2023-11-27 10:44:080000开年“鸿”!京东宣布启动华为鸿蒙原生应用开发:余承东亲自亮相
快科技1月10日消息,京东今天正式宣布,将启动鸿蒙原生应用开发。同时京东还透露了一些鸿蒙原生版本的特色:优惠信息、派送进度都可以随时随地便捷查询。据悉,早在HarmonyOS2.0时代京东就专门针对HarmonyOS特性开发了专属功能,比如可快速进行商品搜索的元服务卡片,实现对电商购物场景的拓展。站长网2024-01-10 20:54:580000