OpenAI开发新工具,试图解释大语言模型的行为
在很多人看来,与OpenAI 的 ChatGPT类似的大型语言模型 (LLM)就像一个黑匣子,因为即使对于数据科学家来说,也很难知道为什么这些模型总是以自己的方式做出反应,就像凭空捏造事实一样。
为了能够剖析 LLM 的的行为,OpenAI 正在开发一种工具来自动识别 LLM 的哪些部分对其行为负责。简单的说,OpenAI在最新的发布成果中,展示了用 GPT-4解释 GPT-2的行为,获得了初步的成果。
OpenAI开发的工具通过调用 GPT-4来计算出其他架构更简单的语言模型上神经元的行为。该工具会为 LLM 中的每个神经元生成解释,这些解释被编译到与工具代码一起发布的数据集中。
大模型(LLM)和人脑一样,由「神经元」组成,这些神经元会观察文本中的特定规律,进而影响到模型本身生产的文本。
比如有一个针对「漫威超级英雄」的神经元,当用户向模型提问「哪个超级英雄的能力最强」时,这个神经元就会提高模型在回答中说出漫威英雄的概率。开始之前,先让 GPT-2运行文本序列,等待某个特定神经元被频繁「激活」的情况。
OpenAI 开发的工具利用这种规则将模型进行分解。
首先,让 GPT-4针对这段文本,生成解释。比如在下面的案例中,神经元主要针对漫威内容。GPT-4接收到文本和激活情况后,判断这与电影、角色和娱乐有关。接着,用 GPT-4模拟这个 GPT-2的神经元接下来会做什么,并用GPT-4生成的模拟内容。最后,进行对比评估。对比4代模拟神经元和2代真实神经元的结果,看 GPT-4猜的有多准。为了确定解释的准确性,该工具为 GPT-4提供了文本序列,并让它预测或模拟神经元的行为方式。然后将模拟神经元的行为与实际神经元的行为进行比较。
通过这样的方法,OpenAI 对每个神经元的行为作出了初步的自然语言解释,并对这种解释和实际行为的匹配程度进行了评分。
研究人员已经对 GPT-2中的所有307,200个神经元生成解释,并将这些解释汇编成数据集,与工具代码一起在 GitHub 上发布。
它背后的工程师强调它还处于早期阶段,但其运行代码已经可以在 GitHub 上以开源方式获得。OpenAI 的工具可以帮助研究人员更好地理解 LLM 的行为,从而提高性能并减少偏差或毒性。
也有人质疑,该工具本质上是为 GPT-4做广告,因为它需要 GPT-4才能工作。其他解释 LLM 工具较少依赖商业 API,例如 DeepMind 的Tracr。
海外游方便了!百度地图国际地图重大更新:热门国家出游笔记全覆盖
快科技8月30日消息,马上就要迎来国庆小长假了,加上国际航班复航率逐步提升、出境跟团游目的地国家扩容,很多人都计划假期海外旅游。今日,百度地图宣布重磅升级国际地图服务,实现热门国家和地区的出游笔记全覆盖,帮助境外游用户提升行前决策效率。据悉,全球国家/城市检索服务全面升级,满足用户浏览心仪目的地的地区概况、风土人情、吃喝玩乐等多类型内容需求,免去在社交软件和地图App中来回比较的麻烦。站长网2023-08-30 18:06:550000能耗比达到GPT-4 10倍!黄学东亲自解密Zoom AI的成功之道,AI伴侣直接替你开会
近日,AI大佬,现任ZoomCTO的黄学东,在自家的官网上发表了一篇博客。其中隆重介绍了自己加入Zoom六个月之后创新的成果——ZoomAICompanion,以及驱动ZoomAICompanion的Zoom联邦(federatedapproach)AI。在Zoom之前,黄学东曾担任微软AzureAI首席技术官,他不仅是微软首位全球华人技术院士,也是微软最高级别的华人科学家。站长网2023-12-04 11:22:450000看齐Ultra!小米14 Pro曝光:长焦影像大升级
快科技5月15日消息,博主数码闲聊站暗示,小米14Pro长焦影像有大幅升级,配备了5000万像素潜望式长焦镜头。通常情况下,潜望式长焦镜头仅限Ultra版本,像小米12SUltra、小米13Ultra等,这次小米将潜望长焦给到了Pro版本,长焦表现有了大幅进步。其工作原理借鉴了潜望镜,它改变了光的传播线路,光线先进入反光镜并发生折叠,然后再进入相机的传感器中。站长网2023-05-15 15:03:2700002月份上市!苹果Vision Pro在小批量运往美国仓库
站长之家(ChinaZ.com)1月8日消息:据长期关注苹果的资深记者透露,VisionPro已经开始小批量运往美国的仓库,预计将在1月底到达,并在2月份正式上市。00004090狂涨3倍:一张显卡背后的博弈与狂潮
美国“卡脖子”,中国玩家还能买到4090显卡吗?一夜之间,4090显卡的价格狂飙到了令人咋舌的地步。10月18日,有网友发现在多个购物渠道中,英伟达RTX4090系列显卡已下架,多家旗舰店在售的4090相关产品均呈缺货状态,“4090显卡全面下架”迅速登上了社交平台的热搜。站长网2023-10-20 09:16:140003