Anthropic发布新方法 通过提示降低生成式AI偏见
**划重点:**
1. 📄 Anthropic发布了一项方法,通过提示工程降低公司使用大型语言模型的输出中的歧视。
2. 📊 研究发现,在生成式AI基础模型中减少偏见的方法包括在提示中添加语言,强调避免歧视的重要性,并要求模型在解释推理时避免偏见。
3. ⚠️ Anthropic强调不建议将生成式AI用于高风险决策,但提供了通过谨慎的提示工程显著减少正面和负面歧视的技术路径。
人工智能公司Anthropic最近发布了一项方法,旨在通过提示工程减少公司使用的大型语言模型(LLMs)输出中的歧视。该公司在一份文件中详细介绍了一种评估方法,指导公司如何通过优化提示降低模型输出的歧视性。该文件为开发人员和决策者提供了了解LLMs生成答案中歧视和偏见产生以及如何减少它们的途径。
研究人员发现,要减少Claude2的答案中的偏见,可以采取以下方法:
在提示中添加语言,表明模型应减少歧视,不应考虑平权行动,人口统计信息是错误的,或者人口统计信息不能被合法考虑。在提示中强调避免歧视的重要性(“这真的非常重要”)。要求模型解释其推理,同时避免偏见或歧视。
然而,研究人员也指出了文件的局限性,包括人口统计学范围的有限性、每个假设情境的短段落信息相对于像简历这样的现实世界信息更为简短,以及AI应该自己编写初始场景的前提。
尽管Anthropic在研究中展示了通过谨慎的提示工程显著减少Claude2正面和负面歧视的技术,但强调不建议在高风险决策中使用生成式AI。该研究的目的是为合适的使用案例提供更安全的部署途径,而不是为了自动化高风险决策。
Anthropic的研究使用其LLM Claude2生成70个涉及偏见和歧视的主题,涵盖高风险领域,如就业、住房、医疗和贷款。研究人员强调,尽管他们不支持在研究中研究的高风险用例中使用语言模型做出自动化决策,但他们演示了通过谨慎的提示工程显著减少正面和负面歧视的技术。
在生成式AI中的算法偏见是一个主要关注点,特别是当这些工具从具有历史或选择偏见的数据集中绘制时。其他导致生成式AI偏见的主要因素包括训练数据偏见或认知偏见,即人类输入扭曲了数据。不一致的标注,即数据没有按照任何标准标注且可能包含人为错误,尤其容易扭曲生成式AI的结果。
有专家指出,硅谷对生成式AI可能带来的全球性威胁的关切可能会分散注意力,而忽视了已经影响特定、已经边缘化群体的算法偏见。例如,在2023年10月,研究人员发现ChatGPT和基础模型Alpaca在生成推荐信方面显示了“显著的性别偏见”。Alpaca是基于Meta的LLaMA7B的基础模型,由斯坦福大学的研究人员进行了精细调整。
Anthropic于2023年5月发布了Claude的宪法,以引导该模型产生“无害”的回应。Claude的宪法是一组原则,指导AI避免种族主义、性别歧视、有毒、危险或非法行为。此外,Claude被指示避免“说教,烦人或过度反应”。
ChatGPT面临销毁?GPT-4被曝逐字照抄原文,OpenAI或将赔偿数十亿美元
【新智元导读】今天,纽约时报对OpenAI和微软正式提起诉讼,指控其未经授权就使用纽约时报内容训练人工智能模型。此案可能是人工智能使用知识版权纠纷的分水岭。今天,OpenAI和微软正式被《纽约时报》起诉!索赔金额,达到了数十亿美元。指控内容是,OpenAI和微软未经许可,就使用纽约时报的数百万篇文章来训练GPT模型,创建包括ChatGPT之类的AI产品。0000瑞银:标普500指数创历史新高后,AI股乐观情绪未来十年可能会继续走强
**划重点:**1.🤖UBS全球财富管理团队表示,2024年投资者对人工智能的热情将继续是美国股市的主要主题,推动科技股在未来十年内走高。2.💹预计全球人工智能收入将在2027年底前增长15倍,达到4200亿美元,其中半导体行业,尤其是人工智能计算和图形处理芯片的需求将在未来12至18个月内保持强劲。站长网2024-01-23 10:35:360000单部预算最高达千万级,《孤注一掷》们押注“抖音电影”?
今年暑期档的最大赢家要出现了。截至发稿前,《孤注一掷》累计票房超27亿。猫眼专业版预测,《孤注一掷》内地总票房38.26亿元,有望成为今年暑期档票房最高的电影。站长网2023-08-22 01:05:580003腾讯小世界将改名QQ短视频 强化短视频产品定位
据界面新闻报道,腾讯QQ的“小世界”产品将更名为“QQ短视频”,以进一步强化其短视频的产品定位。据报道,来自QQ内部的消息人士透露,目前在整个QQ平台上,有很多用户只观看短视频而不参与聊天。这意味着小世界在QQ的活跃用户数据中占据了相当大的比例,对于腾讯来说,这是一个值得关注和利用的资源。站长网2023-12-01 14:14:450000猿辅导成立小猿智能科技公司
天眼查App显示,近日,北京小猿智能科技有限公司成立,法定代表人为王向东,注册资本100万人民币,经营范围含计算机系统服务、计算机软硬件及辅助设备批发、计算机软硬件及辅助设备零售、电子产品销售、通讯设备销售等,由猿辅导教育科技香港有限公司全资持股。5月30日,猿辅导宣布推出全新智能硬件产品——小猿学练机,具备AI练习批改功能。站长网2023-06-16 16:32:280000