魔搭社区与vLLM和FastChat展开合作 提供高效LLM推理和部署服务
站长网2023-12-29 08:52:464阅
最近,魔搭社区与 vLLM 和 FastChat 展开合作,联合为中国开发者提供更快更高效的 LLM 推理和部署服务。开发者可以使用 vLLM 作为 FastChat 中的推理引擎,提供高吞吐量的模型推理。
FastChat 是一个开放平台,用于训练、服务和评估基于 LLM 的 ChatBot。它具有优秀的大语言模型训练和评估代码,并且具有 Web UI 和 OpenAI 兼容的 RESTful API 的分布式多模型服务系统。
vLLM 是一个由加州伯克利分校、斯坦福大学和加州大学圣迭戈分校的研究人员开发的 LLM 服务系统。它基于操作系统中经典的虚拟缓存和分页技术,实现了几乎零浪费的 KV 缓存,并且可以在请求内部和请求之间灵活共享 KV 高速缓存,从而减少内存使用量。
通过 FastChat 和 vLLM,开发者可以快速加载魔搭的模型进行推理。可以使用 FastChat 发布 model worker (s),并通过命令行客户端或网页端 WebUI 进行问答。还可以结合 FastChat 和 vLLM 搭建一个网页 Demo 或者类 OpenAI API 服务器。
FastChat开源链接:
https://github.com/lm-sys/FastChat
vLLM开源链接:
https://github.com/vllm-project/vllm
新鲜AI产品点击了解:https://top.aibase.com/
0004
评论列表
共(0)条相关推荐
国家新闻出版署:网游不得设置每日登录、首次充值、连续充值等诱导性奖励
国家新闻出版署就《网络游戏管理办法(草案征求意见稿)》公开征求意见。意见稿拟规定,限制游戏过度使用和高额消费。网络游戏不得设置每日登录、首次充值、连续充值等诱导性奖励。网络游戏出版经营单位不得以炒作、拍卖等形式提供或纵容虚拟道具高价交易行为。所有网络游戏须设置用户充值限额,并在其服务规则中予以公示,对用户非理性消费行为,应进行弹窗警示提醒。站长网2023-12-22 13:05:560000AI视野:GPTs正式上线;抖音测试AIGC工具Dreamina;Claude服务仅对付费用户开放;Stability AI成功融资5000万美元
🤖📱💼AI应用抖音剪映测试AIGC工具Dreamina,可生成创意图片抖音旗下的剪映应用正在测试名为"Dreamina"的AIGC工具,允许用户通过输入文字生成由AI创作的创意图片,未来可能用于抖音内容创作。剪映Dreamina内测资格申请入口:https://top.aibase.com/tool/jianyingdreamina【AiBase提要:】站长网2023-11-10 15:24:020000音视频新纪元:AIGC如何颠覆传统?
AIGC改写音视频规则。在过去的三年中,我们见证了人类日常生活和工作方式的颠覆性变革。从短视频、互动直播到在线教育和云上会议,音视频技术不仅渗透到各个角落,而且已经深入地影响了各行各业的运作方式。站长网2023-09-20 14:16:260000微信刷掌支付功能正式在广东711便利店上线
微信支付宣布,广东711便利店1500多家门店已正式上线微信刷掌支付功能,这是全国零售行业首发的刷掌支付方式。据介绍,该支付方式目前需要到店在微信刷掌支付设备上开通服务。开通之后,用户只需将手掌放在带有圆环标志的专用设备上,即可完成支付,类似于扫描付款码,并且不需要携带手机等设备。站长网2023-09-06 17:35:560000人工智能会替代“打工人”?这20种职业更容易被影响
站长网2023-07-22 16:45:140000