英伟达官宣AI聊天机器人,本地RTX显卡运行,这是要挑战OpenAI?
OpenAI 进军芯片领域,英伟达自己造聊天机器人,这是 Sam vs Jensen 的时代?
下载地址:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
在这波 AI 淘金热里,英伟达经常被称为那个「卖铲子的人」,而且卖的是难以替代的铲子。依靠这个角色,英伟达市值已经超越亚马逊,成美股第四大公司,离谷歌市值仅一步之遥。
但值得注意的是,英伟达本身也在这波 AI 浪潮里淘金。刚刚,他们发布了一个对话机器人 ——「Chat with RTX」,面向 GeForce RTX30系列和40系列显卡用户(至少有8GB VRAM)。有人开玩笑说,Sam Altman 进军芯片领域,黄仁勋进入聊天机器人的领域,这是 Sam vs Jensen 的时代。
与 ChatGPT 等需要联网使用的聊天机器人不同,Chat with RTX 可以在本地运行,帮你检索、分析保存在电脑上的文件(支持文本、PDF、.doc、.docx 和 .xml 等格式)。比如,你可以问它「在拉斯维加斯时,我的搭档推荐了哪家餐厅?」Chat with RTX 将扫描你指向的本地文件,并提供带有上下文的答案。
此外,它还可以帮你分析、总结 Youtube 上的视频,而且只需要你提供网址。科技媒体 The Verge 资深编辑 Tom Warren 在试用之后表示,Chat with RTX 在视频中找参考资料的速度非常快,只需要几秒就能给答案,不过有时也会出错,找到驴唇不对马嘴的视频文字记录。
据悉,Chat with RTX 默认使用人工智能初创公司 Mistral 的开源模型,但也支持其他基于文本的模型,包括 Meta 的 Llama2。它会利用 RTX GPU 上的 Nvidia Tensor core 来加快查询速度。Nvidia 警告说,下载所有必要文件会占用相当大的存储空间 ——50GB 到100GB,具体取决于所选模型。
Tom Warren 表示,他的电脑采用英特尔酷睿 i9-14900K 处理器,配备 RTX4090GPU,安装 Chat with RTX 大约花了30分钟。在他系统可用的64GB 内存中,Python 实例占用了大约3GB 内存。程序运行后,他可以通过浏览器访问 Chat with RTX,而后台运行的命令提示符会显示正在处理的内容和任何错误代码。
Tom Warren 还发现,Chat with RTX 在扫描 PDF 文件和核对数据时非常有用。微软自己的 聊天机器人系统在 Word 中不能很好地处理 PDF 文件,但 Chat with RTX 聊天系统可以毫无问题地提取出所有关键信息,回复也近乎即时,没有通常使用基于云的 ChatGPT 或聊天机器人时的延迟。
不过,作为一款早期产品,Chat with RTX 还有很多不完善的地方。
一个比较大的缺点是,它不能记忆上下文。比如,你问「北美常见的鸟类是什么?」,然后接着问「它是什么颜色?」,它就不知道你是在问鸟的颜色。
英伟达还承认,Chat with RTX 回复的相关性会受到一系列因素的影响,其中有些因素比较容易控制,包括问题的措辞、所选模型的性能和微调数据集的大小。询问几份文档中涉及的事实可能比询问一份文档或一组文档的摘要得到更好的结果。英伟达表示,随着数据集的增大,响应质量通常也会提高,将 Chat with RTX 指向有关特定主题的更多内容也是如此。
所以,整体来看,Chat with RTX 还是一个初级的产品,暂时不太适合用于生产。但它代表了一种趋势,即让 AI 模型更容易地在本地运行。
世界经济论坛在最近的一份报告中预测,能够离线运行生成式 AI 模型的经济型设备将「大幅」增长,其中包括个人电脑、智能手机、物联网设备和网络设备。报告表示,原因在于其明显的优势:离线模型不仅在本质上更加私密 —— 它们处理的数据永远不会离开运行的设备,而且与云托管模型相比,它们的延迟更低,成本效益更高。
英伟达公司创始人兼首席执行官黄仁勋表示:「生成式人工智能是计算史上最重要的一次平台转型,它将改变包括游戏在内的每一个行业。英伟达拥有超过1亿台 RTX AI PC 和工作站,是开发者和游戏玩家享受生成式人工智能魔力的庞大安装基础。」
Chat with RTX 技术 demo 由 GitHub 上的 TensorRT-LLM RAG 开发人员参考项目构建而成。开发人员可以使用该参考项目为 RTX 开发和部署自己的基于 RAG 的应用程序,并通过 TensorRT-LLM 进行加速。
项目地址:https://github.com/NVIDIA/trt-llm-rag-windows
AI大模型卖课指南
世界AI看山姆奥特曼,中国AI还得看清华…博士李一舟。你没看错,就是卖AI课程的清华博士李一舟。从2023年AI横扫全球开始,自称清华博士的李一舟就推出199元的AI课程,一年时间卖出了25万套,销售额达到了5000万。我们还没确定AI到底怎么改变世界,但我们可以确定的是AI已经确确实实改善了李一舟的生活。孟子说“人之患在好为人师”,为人师有隐患,但“卖课”真能赚钱呀。站长网2024-03-01 14:01:470000Google DeepMind 新 AI 算法 Student of Games 能在多种棋盘游戏取得胜利
在最新的《自然》杂志上发表的一篇论文中,研究人员展示了一种名为「游戏学习者」(StudentofGames)的新算法,这一人工智能(AI)程序结合了引导式搜索、机器学习和博弈论,成功在多种棋盘游戏中取得胜利。这一成就标志着AI技术在策略游戏领域的又一重大进步。站长网2023-11-24 17:26:310000免费!Pika 1.0正式向所有人开放网页版本试用资格
Pika1.0正式上线后,很多没有拿到内测资格的网友只能眼巴巴看着其他网友疯玩。而现在,Pika1.0宣布正式向所有人开放网页版试用资格,每个人都可以免费试玩。站长网2023-12-26 12:18:540003生成式 AI 没有从 Web 2.0 中学到任何东西:与困扰社交平台的同样问题作斗争
自OpenAI在12个月前发布ChatGPT以来,它不仅创造了消费产品增长最快的记录,也引发了对于新技术的政府干预的快速响应。美国联邦选举委员会正在调查虚假的竞选广告,国会呼吁对人工智能公司如何开发和标记其算法训练数据进行监管,而欧盟则通过了对最新人工智能法案的调整,以应对生成性人工智能的挑战。0000AI软件妙鸭相机回应争议:如数字分身生成失败可退款
今日,针对相关争议,妙鸭相机官方回应称,因为技术问题,造成数字分身生成失败,可以退款,而且免费再次生成。妙鸭相机表示,由于下载照片涉及虚拟币充值,虚拟币和现金目前只能单向流转,充值协议已进行明确约定,因此目前不支持退款。以下为妙鸭相机公告全文:亲爱的妙鸭相机用户:针对有关服务引发的讨论,我们做出如下说明和调整:站长网2023-07-26 17:39:250000