SmoothQuant

【新智元导读】SamAltman曾表示，语言模型不是越大越好。不断炼大的模型，若想实现高效训练和部署还得需要「量化」。英特尔增强型SmoothQuant给出了解决方案。本文介绍了可提升大语言模型的训练后量化表现的增强型SmoothQuant技术，说明了这项技术的用法，并证明了其在准确率方面的优势。此方法已整合至英特尔®NeuralCompressor（1）中。