清华大学提出二值化光谱重建算法BiSRNet 计算需求降为1%
要点:
清华大学提出的二值化光谱重分布网络(BiSRNet)降低了计算需求至1%,相比全精度CNN性能几乎持平,存储空间仅需0.06%。
该算法采用二值神经网络(BNN)和二值化光谱重分布卷积(BiSR-Conv),在移动端设备上表现出色,解决了全精度模型难以部署的问题。
BiSRNet在光谱压缩重建领域显著超越其他二值化算法,仅需1%的计算代价,同时代码全开源,可在光谱图像应用中取得与全精度CNN相媲美的效果。
清华大学在NeurIPS2023上首次提出的「二值化光谱重建算法」引起了广泛关注。该算法的核心优势在于将计算需求降低至仅1%的水平,相较于全精度CNN,性能几乎持平,而存储空间却只需0.06%。这一创新主要得益于二值神经网络(BNN)和二值化光谱重分布卷积(BiSR-Conv)的引入,使得算法在移动端设备上具备了可行性,解决了全精度模型难以部署的问题。
论文链接:https://arxiv.org/abs/2305.10299
代码链接:https://github.com/caiyuanhao1998/BiSCI
代码链接:https://github.com/caiyuanhao1998/MST
高光谱图像在医疗、地形勘探和农业等领域应用广泛,但传统成像设备采集这类图像存在一定难度。为此,科学家们设计了单曝光压缩成像系统,通过光谱压缩重建任务从二维的压缩估计图中恢复出三维的高光谱数据。当前主流方法采用全精度模型,但由于复杂的计算单元和无法在移动端设备上运行的问题,推动光谱重建算法的实际应用成为挑战。
为解决这一问题,清华大学的研究人员提出了BiSRNet,这是光谱压缩重建领域内首个基于二值神经网络的算法。通过设计新的二值化卷积单元和多个二值化卷积模块,BiSRNet不仅在性能上超越了当前最先进的二值化算法,还取得了与全精度CNN相媲美的效果,同时仅需约0.06%的存储空间和1%的计算代价。这一成果的代码已全面开源在BiSCI工具包中,支持八类主要的二值网络。
基础模型的重新设计是该算法的关键之一,采用轻量、易于部署的U形结构,所有计算单元都可在移动端设备上运行。另外,二值化光谱重分布卷积单元的创新也在算法的成功中发挥了关键作用,通过可缩放的双曲正切函数在反向传播中更灵活地逼近符号函数,解决了以往逼近函数的不足。
这一研究对光谱压缩重建算法的实际应用具有重要意义,为移动端设备上的高效图像处理提供了新的思路。BiSRNet的出现为光谱图像处理领域带来了突破,有望推动相关技术更广泛地应用于医疗、地质勘探和农业等领域。
B站内测“搜索AI助手”功能 输入内容加“?”即可提问
近日,B站宣布内测“搜索AI助手”功能,体验该功能需要将哗哩哗哩app升级至7.36.0版本及以上,当在搜索框内搜索问句或在搜索词中输入'?即可体验新功能。据介绍,AI助手提供全新的搜索体验,用户参与内测审核通过后将发送私信通知。B站表示,AI助手目前处于内测期,生成内容尚不准确,仅供参考。站长网2023-07-04 00:57:050000视频版ContorlNet来了!SparseCtrl增强AI生成视频可控性
要点:SparseCtrl是一种用于文本到视频(T2V)扩散模型的技术,旨在通过时间稀疏信号实现对视频结构的灵活控制,无需过多输入。该方法引入了一个额外的条件编码器,用于处理这些稀疏信号,同时保持预训练的T2V模型不变。这种方法与多种形式的输入兼容,包括草图、深度和RGB图像,为视频生成提供更实用的控制方式。站长网2023-11-30 16:28:140006飞书发布全员信:适当精简团队规模 提供补偿和转岗机会
飞书CEO谢欣于今日清晨向全体员工发布了一封信,信中透露了公司即将进行的新一轮组织调整,旨在适当精简规模,优化组织结构。谢欣在信中坦言,尽管飞书在近年来取得了显著的进展,不仅吸引了众多客户,品牌知名度也日渐提升,但在公司的发展过程中,他们也发现了组织内部存在的一些问题。他提到,尽管团队规模庞大,但组织效率却逐渐降低,力量不够聚焦,这对业务的长期发展构成了不利因素。站长网2024-03-26 14:19:190000AI内容创作社区Civitai获Andreessen Horowitz领投510万美元融资
近日,总部位于美国的风险投资公司AndreessenHorowitz宣布领投了AI内容创作社区Civitai510万美元的种子轮融资。Civitai由贾斯汀·迈尔创立,是一个AI生成内容的分享平台。用户可以在平台上分享自己训练的AI图像生成模型,以及使用这些模型输出的作品。站长网2023-11-15 18:06:420002QQ第四季度生态治理报告:封停60万个QQ群、429万个QQ号
腾讯QQ安全中心近日公布了2023年第四季度的QQ平台生态治理报告。报告显示,QQ平台在2023年第四季度针对违规内容进行了大力整治,共计对60万个QQ群和429万个QQ账号进行了封停处理。这些被封停的账号和群组主要涉及色情低俗、虚假宣传、不良导向内容以及饭圈水军等违规活动。QQ平台通过专项行动,深化治理,严厉打击这些违规行为。站长网2024-02-07 15:14:570000