研究人员:矢量数据库并非是解决构建LLM内存不足的唯一方式
站长网2023-12-21 16:32:220阅
在过去的12个月里,矢量数据库的兴起使得解决语言模型长期记忆不足的问题成为热门话题。然而,研究人员提出了对这些矢量数据库常见方法的反思,并主张构建搜索引擎而非矢量数据库。
矢量数据库并非是解决内存不足问题的唯一方式,而是更像是一种特殊的搜索工具。以构建LLM(Large Language Models)驱动的文档体验为例,研究人员指出将所有文档嵌入矢量数据库并进行矢量搜索的方法存在问题,因为矢量搜索仍可能产生与传统搜索相同的问题,如结果中包含不相关或缺失的文档。
建议的替代方案是首先构建一个足够好的搜索引擎,使其适用于人类使用。利用嵌入技术,特别是结合关键词搜索和矢量搜索,可以显著提高搜索性能。文章强调了现代AI的进展使得构建先进搜索引擎变得更加容易,成本更低。
最终阶段是对传统搜索流程进行重新排名。通过使用LLMs,可以通过将查询-结果对提供给模型来进行重新排名,而无需像以前那样专门构建一个排名模型。这使得构建先进搜索引擎的回报非常高。
研究人员提到了部署搜索引擎后需要解决的问题,即如何评估搜索引擎的性能。这包括回答关于何时进行搜索、实际定位的内容以及内容在结果中的排名等问题。作者建议构建评估和监控基础设施,以便迭代搜索流水线并知道所做的更改是否是改进。
0000
评论列表
共(0)条相关推荐
“沉迷”兼职的年轻人
刚刚过去的五一假期,有人被堵在路上,有人被挤在景区,还有一些年轻人,选择就地做兼职,错峰避人,还能赚点钱。今年的情况确实不同往日。疫情之后的第一次小长假,出游热达到了高峰,饭店、奶茶店、热门景点人手紧缺。另一边,兼职面向的是学生群体和部分待业人士,他们在兼职的同时,还能留在当地打打短工,错峰出游。0000这届年轻人可以不谈恋爱,但必须要找搭子
“上班无话不谈,下班无话可说。”你以为这是在说某个坚强的打工人,其实讲的是职场摸鱼搭子的相处模式。搭子,一种互联网新型垂直社交关系,主打的就是“陪伴感”。不仅有上班时间的摸鱼搭子,还有口味相投的饭搭子,互相监督的减肥搭子,日常“瑞”一下的咖啡搭子(指一起喝瑞幸),拼多多帮忙砍一刀的穷搭子……只要聊得来,万物皆可“搭”。站长网2023-04-27 13:57:340000因公消费更透明!美团企业版发布:用餐、差旅全场景覆盖
快科技4月13日消息,美团推出一站式企业消费管理服务美团企业版,并发布全新品牌形象及App应用程序。据介绍,美团企业版着力解决企业消费中报销流程复杂、消费不透明、成本管控难、供给资源单一等问题,覆盖福利用餐、招待用餐、定制化团餐、企业差旅等场景。美团高级副总裁王莆中表示,企业管理的数字化正在向纵深发展,从组织管理数字化发展为员工管理数字化。00002024年AI还能帮你干什么?这十个趋势必须关注
元旦节收假,你身心都复工了吗?新的一年,有没有跟我一样,既想打工挣钱花,又想从具体任务中解放出来的?最好是能在新的一年,实现个人能力的极大增强……所以今天,咱们就好好说一说,新的一年里,怎样能让AI多给自己帮帮忙(doge)。或许你已经关注到了,过去一年,各种大模型、AIGC应用,已经像电子氧气一样:无、处、不、在。0001淘宝回应李思思将直播带货:非本人账号
近日,央视知名女主持人李思思离职后,一个叫“李思思严选”的账号在淘宝直播悄悄上线。粉丝数量达300多人。有网友猜测她可能会转型成为直播带货主播。淘宝直播官方微博在10月11日回应称,今年确实有很多顶流大咖加入淘宝直播,淘宝直播用户规模和主播数量再创新高。然而,这个网传账号并不是主持人李思思本人的账号,而是早前注册的同名账号。淘宝直播还表示,欢迎李思思,若有意向加入,随时欢迎她的到来。站长网2023-10-12 09:21:380000