资讯

中国水稻研究所胡培松院士、魏祥进研究员为该论文的通讯作者,博士后黄坤勇、鲁菲菲和硕士研究生陈鹏飞为论文的共同第一作者。该研究获得了国家自然科学基金和中国农业科学院科技创新工程的资金资助。
自回归解码已然成为大语言模型的推理标准。大语言模型每次前向计算需要访问它全部的参数,但只能得到一个 token,导致其生成昂贵且缓慢。 近日,EAGLE 团队的新作《EAGLE-3: Scaling up Inference Acceleration ...