WhisperKit开源!可在iPhone和Mac流畅体验实时语音转录
划重点:
- WhisperKit是Argmax公司推出的开源项目,旨在实现苹果芯片上的实时语音转文本,通过多项优化提高性能。
- 该项目采用MIT许可证,提供Swift包、iOS和macOS示例应用以及Python工具,为开发者提供最大便利。
- WhisperKit的设计原则包括灵活性、可扩展性、可预测性,以及专注于实时性能。
由于对Whisper推理在生产中的迅速增长需求,Argmax公司决定将其作为首个项目,并于宣布将WhisperKit项目以MIT许可证的形式开源,进入beta测试阶段。
WhisperKit是一个用于实现在设备上进行语音推理的开源工具,旨在通过最小的摩擦和最大的性能提高,使开发者能够轻松改进和部署快速、免费且几乎无错误的翻译和转录服务。
简单的说,WhisperKit可以在 iPhone 上运行的Whisper实时推理软件,可以实时将声音转成对应的文字,想做类似实时翻译工具的可以关注一下。
该项目提供了Swift包,只需两行代码即可在应用中实现Whisper推理,同时还附带了iOS和macOS的示例应用,方便开发者测试。为了优化和评估Whisper在Mac上的性能,还提供了Python工具。
WhisperKit的设计原则包括灵活性、可扩展性、可预测性和自动部署。该项目的设计使得开发者能够自由组合或隔离GPU和神经引擎的利用,以实现最佳的能效和最低的延迟。同时,WhisperKit被模块化为Swift协议,通过实现自定义行为的协议扩展,降低了扩展的难度。
在实现性能方面,WhisperKit的重点是在苹果芯片上实现最低延迟和最高吞吐量。特别是针对最具挑战性的openai/whisper-large-v3变体进行了优化。通过优化音频编码器和文本解码器,WhisperKit在iPhone12到15上取得了1.85x至2.85x的速度提升。
为了实现实时性能,WhisperKit克服了Whisper不设计用于低延迟音频处理的困难。通过在语音转录过程中定期积累足够的音频,对音频进行预处理和使用优化的编码器和解码器,WhisperKit实现了实时语音转文本的目标。
除此之外,WhisperKit还通过在编译时预先计算特殊标记的KV缓存值,进一步提高了性能。这项优化使得在流式模式下每秒可处理9-15个文本标记,足以满足日常语音需求。
在稳定版发布之前,WhisperKit计划引入性能报告创建、异步批处理预测、watchOS示例应用以及Metal-based推理引擎等功能。
项目入口:https://top.aibase.com/tool/whisperkit
AMD预测该公司2023年AI芯片市场规模将达450亿美元
**划重点:**1.💰AMD估计今年数据中心人工智能处理器市场规模为450亿美元,2024年销售额预计将达20亿美元。2.🚀公司发布MI300系列新一代AI芯片,涵盖生成式AI和超级计算机应用,以应对快速增长的AI芯片需求。3.📈AMD预计到2027年,数据中心AI芯片市场规模将增长至约4000亿美元。0002宇宙存在4种神奇的现象,每一个都让科学家感到惊诧
自从离开地球,人类就看到了广阔而神秘的宇宙。宇宙看起来很安静,很孤独,但背后隐藏着无数的奥秘。人类的目标是一个个解开这些谜团,找出宇宙背后的真相。到那时,人类可以成为宇宙的霸主。站长网2023-05-23 20:09:540000英伟达 Blackwell B100 GPU 或将采用 SK 海力士 HBM3e DRAM:因人工智能需求快速增长提前到 2024 年第二季度推出
站长之家(ChinaZ.com)10月16日消息:据报道,由于人工智能需求的大幅增加,英伟达计划将其下一代BlackwellB100GPU的发布日期从2024年第四季度提前到2024年第二季度。此外,该公司预计将使用SK海力士的HBM3eDRAM来驱动其最新的芯片。站长网2023-10-16 23:02:370000大型跨国公司转向生成式人工智能来管理供应链
站长之家(ChinaZ.com)8月14日消息:据FT消息,包括联合利华、西门子和马士基在内的一些世界上最大的公司,越来越多地利用人工智能(AI)来应对复杂的供应链问题,并解决与地缘政治紧张局势、环境和人权问题相关的挑战。站长网2023-08-14 17:29:020000别做无人直播了?从业者投了3万多,0销量还被封号......
“23年了,还在玩无人直播?”近期,《辽沈晚报》一则关于无人直播带货的报道,引起了讨论。报道中,两位用户称自己参加了一个无人直播带货的培训班,并搭建了无人直播间。但投入了3万多后,这个直播间不仅没流量、没成交,最后还被平台封禁,店铺押金都没法提现。这样的案例在行业内并不少见。无人直播因为门槛低、成本低,已在行业内流行多年,在平台持续打压之下仍屡禁不止。站长网2023-05-12 20:24:470001