登陆注册

支持10

  • H100推理飙升8倍!英伟达官宣开源TensorRT-LLM,支持10+模型

    声明:本文来自于微信公众号新智元(ID:AI_era),作者:桃子润,授权站长之家转载发布。【新智元导读】H100让模型推理性能最高跃升8倍!英伟达最新开源软件TensorRT-LLM,将彻底改变LLM推理现状。「GPU贫民」即将告别困境!刚刚,英伟达发布了一款开源软件TensorRT-LLM,能够加速H100上大型语言模型的推理。那么,具体能提升多少倍?
    站长网2023-09-11 09:13:30
    0002