超13万个大模型!微软增强ChatGPT等开源模型,训练、推理能力
目前,著名AI模型开源平台Hugging Face上有超过320,000个大模型,并且每天保持高速增长。据统计只有大约6,000个模型支持ONNX格式,但微软表示,实际上有超过130,000个模型支持该格式。
而ONNX格式模型可以通过微软的ONNX Runtime优化性能、节省算力、增强训练/推理能力,例如,通过ONNX Runtime加速语音识别模型whisper的推理能力,比PyTorch高74.30%,大幅度提升了模型的响应效率。
微软已与Hugging Face达成深度技术合作,扩大了ONNX Runtime的支持范围,支持90多种架构的大模型,包括Llama、(类ChatGPT大语言模型)、Stable-Diffusion(扩散模型)、BERT、T5、RoBERTa等,当下最流行的11种大模型。
ONNX格式开源模型:https://huggingface.co/models?library=onnx&sort=trending
详细了解、使用ONNX Runtime:https://onnxruntime.ai/
ONNX Runtime开源地址:https://github.com/microsoft/onnxruntime
什么是ONNX格式
ONNX英文全称是Open Neural Network Exchange,中文译为“开放神经网络交换”,是一种用于表示机器学习模型的开放标准文件格式,可在不同的深度学习框架之间实现互操作性。
该格式由微软、Facebook等科技巨头共同开发而成,旨在简化人工智能模型的开发和部署过程。ONNX支持多种深度学习框架,例如,PyTorch、TensorFlow、Caffe2、MXNet等。
这使得开发人员可以在一个框架中训练模型,然后将其转换为ONNX格式,并在另一个框架中进行部署和推理。
此外,ONNX模型的移植性非常强,可以在各种硬件平台(如CPU、GPU、FPGA和边缘设备)上运行,实现广泛的部署灵活性。
这意味着在部署过程中,开发人员不再受限于特定的硬件或软件环境。
ONNX Runtime推理平台介绍
ONNX Runtime是微软开源的一款高性能的跨平台库,主要用于运行和加速ONNX格式的机器学习模型。目前,Adobe、AMD、英特尔、英伟达、甲骨文等世界顶级公司,通过该平台加速AI模型的开发效率。
ONNX Runtime的特色功能包括支持多种模型架构、框架兼容性、跨平台支持、性能优化等。
支持多种模型架构:支持各种类型的模型,例如,计算机视觉、自然语言处理、语音识别、机器学习等领域的模型,使得在处理各种任务时具有高度的灵活性。
框架兼容性:ONNX Runtime支持多种深度学习框架导出的ONNX模型,如PyTorch,TensorFlow,scikit-learn和Apache MXNet,大大简化了模型部署过程,并提高了模型的可移植性。
跨平台支持:可在多个操作系统例如Windows、macOS、Linux和云,移动设备和IoT设备上运行,实现广泛的部署灵活性。
性能优化:ONNX Runtime专门针对不同的硬件平台如CPU、GPU和边缘设备进行了性能优化,从而实现高效的模型推理。支持各种硬件加速器,例如,NVIDIA TensorRT、Intel的OpenVINO和DirectML。
微软表示,在Hugging Face开源平台上还有10万个模型不支持ONNX格式,鼓励更多的技术研究机构、开源项目加入到ONNX社区,以通过ONNX Runtime增强开发效率。
华为问界 M9 或将在 12 月 26 日发布
据报道,问界M9将于12月26日正式上市。这款全尺寸旗舰SUV内部提供6个座位,可以实现3、4、5、6座随心变换。问界M9不仅在外观设计上展现出华为的高端豪华理念,还搭载了华为智能汽车技术的最新成果,包括百万像素智慧投影大灯、鸿蒙座舱4.0、业界最强75寸华为AR-HUD和全新的光场屏等。站长网2023-12-06 08:34:320000B站UP主借AI识别情绪玩法整活《亮剑》名场面播放量186万
划重点:-B站UP主“佛辣西威”利用国产电视剧《亮剑》中“有胜阅兵”片段,制作了一支AI识别情绪的视频。-视频在B站播放量达186万,引发网友玩梗热潮,形成“梗上加梗”的热闹场面。-利用AI情绪识别技术,UP主在经典剧场面中加入戏剧性和幽默感,增加了视频趣味性。站长网2024-03-13 09:40:020000去年315晚会曝光企业现状:有主播解封继续带货,有的被罚200万
一年一度的315晚会马上就要来到,去年曝光的问题和企业你还有印象?2023年315曝光了泰国香米、“打脸”化妆品、直播剧本、免费评书机、网络水军、景点安全带问题、翻新货、劣质水泥等一系列消费问题。当时晚会播出后,相关监管部门迅速行动,不少相关企业也作出回应。而时隔一年,去年这些被曝光的企业现在又如何?我们一起来看看。剧本直播:有主播账号已解封涨粉近百万站长网2024-03-13 18:11:250000OpenAI 首次公开收购初创公司 Global Illumination:致力于核心产品 ChatGPT
站长之家(ChinaZ.com)8月17日消息:OpenAI是广受欢迎的人工智能聊天机器人ChatGPT背后的人工智能公司。近日,OpenAI宣布收购了GlobalIllumination,这是一家位于纽约的初创公司,利用人工智能技术开发创意工具、基础设施和数字体验。这是OpenAI成立大约七年历史以来首次公开收购,具体交易条款未披露。站长网2023-08-17 09:18:120000微软高管暗示公司计划推出超越OpenAI的大模型
要点:微软高管EricBoyd暗示公司计划推出超越OpenAI的新大型语言模型(LLMs),以保持选择的竞争优势。Boyd表示微软的生成式AI应用和支持它们的LLMs是安全可用的,但那些专注于文本生成等领域的公司能够更快地发展。对于企业准备采用生成式AI,微软强调成功的关键是公司在核心用例中使用这些模型,如内容创建、摘要、代码生成和语义搜索。0000