Groq大模型推理芯片每秒500tokens超越GPU,喊话三年超过英伟达
划重点:
1. Groq公司推出的大模型推理芯片,每秒500tokens的惊人速度超越了传统GPU,挑战谷歌TPU。
2. 该芯片由初创公司Groq研发,由谷歌TPU团队原班人马打造,推理速度提高10倍,成本降低十分之一,支持多种大模型。
3. Groq的目标是在三年内超越英伟达,采用自创的LPU方案,克服计算密度和内存带宽瓶颈,实现18倍于云平台速度的推理性能。
Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动,超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发,其团队成员来自谷歌TPU,包括创始人兼CEO Jonathan Ross,曾设计实现第一代TPU芯片的核心元件。
Groq采用了全球首个LPU(Language Processing Unit)方案,旨在克服计算密度和内存带宽的瓶颈,最终实现大模型推理性能比其他云平台厂商快18倍。据介绍,英伟达GPU需要大约10到30焦耳才能生成响应中的tokens,而Groq仅需1到3焦耳,使得推理速度提高了10倍,成本降低十分之一,性价比提高了100倍。
Groq的芯片采用14nm制程,搭载了230MB大SRAM以保证内存带宽,片上内存带宽高达80TB/s。在算力方面,该芯片的整型(8位)运算速度为750TOPs,浮点(16位)运算速度为188TFLOPs。基于自研的TSP架构,Groq利用机器学习工作负载的并行性对推理进行加速,并支持通过PyTorch、TensorFlow等标准机器学习框架进行推理。
Groq公司在演示中展示了其芯片的强大性能,支持Mixtral8x7B SMoE、Llama2的7B和70B等多种模型,并可直接体验Demo。不仅如此,Groq还喊话各大公司,扬言在三年内超越英伟达。该公司的推理芯片在第三方网站上的售价为2万多美元。
Groq公司以其创新的LPU方案和超越性能的大模型推理芯片,成为大模型推理领域令人瞩目的新兴力量,引领着技术的飞速发展。
Groq产品的特色亮点如下:
1. API访问速度极快:Groq提供了API密钥,可以访问世界上最快的开源大型语言模型(LLM)推理速度。他们的实现在Anyscale的LLMPerf Leaderboard上展示了相较于云服务提供商高达18倍的推理性能。
2. 支持开源LLM模型:*Groq支持Llama2-70B和7B,这两个由Meta AI创建的领先的开源基础LLM模型。这些Groq实现使用4096的上下文长度。
3. 支持其他模型:*除了Llama系列外,Groq还支持Mixtral8x7B,由Mistral AI创建,可根据请求提供。其他模型如Mistral和CodeLlama也可根据特定客户请求提供。
4. 免费试用期: 提供为期10天的免费试用期,可以根据请求进行刷新。在试用期间,用户将获得100万免费令牌,并且API与OpenAI API完全兼容。
5. 价格保证: Groq保证以击败任何已发布的相应模型的百万令牌价格。他们的定价相对较低,可以提供更具竞争力的服务。
6. 早期访问计划: Groq提供了Alpha版本的API的早期访问计划,免费供研究和开发目的使用。公共可用性计划于2024年第二季度。
7. 高性能硬件支持: Groq引擎(LPU™ Inference Engine)在性能上优越,通过硬件支持实现了18倍于云服务提供商的LLM推理性能。
Groq产品以其出色的推理性能、对多种开源LLM模型的支持以及具有竞争力的价格政策等特色,成为一个引人注目的选择。
项目入口:https://top.aibase.com/tool/groq
闲鱼将向大额高频卖家收软件服务费 预计6月6日开始生效
5月15日,闲鱼发布最新公告,解释了其社区软件服务费的收取政策。根据通知,闲鱼社区计划为在平台上进行高频且高额交易的卖家收取软件服务费,而其他卖家和所有买家仍然免费使用该软件服务。此收费政策的预计生效日期为2023年6月6日(即将满足软件服务费收费门槛的卖家将通过站内消息等方式提前告知)。0000独立开发变现周刊(第120期):帮助App监测竞争对手,每月盈利8000美元
目录1、sudoku:数独小游戏网站,每月收入1000美元2、postpone:Twitter、TikTok等社交媒体自动化发布工具3、pdfliner:PDF在线编辑工具4、Stirling-PDF:可对PDF执行编辑操作的在线Web开源项目5、帮助App监测竞争对手,每月盈利8000美元1、sudoku:数独小游戏网站,每月收入1000美元0000又一笔GenAI大钱:企业级文案“化妆师”Writer一举拿下9位数融资
进入初秋的9月,生成式人工智能的投资热度仍在继续。今天,为企业提供全栈式内容创作解决方案的AI初创公司Writer宣布完成1亿美元B轮融资,投后总估值超过5亿美元。站长网2023-09-19 14:39:340001估值数十亿,批量生产数字人!中国独角兽盯上直播电商
硅基智能创始人司马华鹏最近“写”了一本新书——《大模型时代:ChatGPT拉开硅基文明序幕》。确切地说,这本围绕人工智能、大模型、ChatGPT、数字人等领域展开讨论,前后洋洋洒洒数十万字的著作,是他与团队一起勾勒出框架和脉络,然后交给ChatGPT完成撰写的。甚至,AI还揽下了部分的销售工作。与DNA编码为核心的碳基生命相对应,以文本编码为核心的AI智能体为社会注入了新的硅基劳动力资源。站长网2023-09-10 08:38:490000研究表明,当 AI 用于招聘时,存在对女性“母亲角色”偏见
划重点:🔍纽约大学Tandon工程学院的新研究发现,与工作相关的育儿间隙可能导致符合资格的求职者被不公平地筛选出合适的职位。🔍研究团队通过对大型语言模型(LLMs)的偏见进行了检查,LLMs是训练成能理解和生成人类语言的先进AI系统。🔍研究结果显示,至少有一种LLMs错误地将敏感属性考虑进简历的筛选过程中,其中包括与育儿有关的就业间隙、政治派别和怀孕状态。0000