腾讯网7 天
推理速度提升 1.7 倍，vLLM v1 版本发布！超 4k 标注步骤，首个多模态 ...
上个月，在大模型推理需求激增的背景下，AI 大模型推理框架 vLLM 正式迎来 v1.0 版本，相比之前版本，计算效率显著优化，API 设计更加稳定 ...
来自MSN3 个月
摩尔线程开源vLLM-MUSA，助力国产GPU加速替代CUDA，推动AI发展新篇章！
vLLM作为一款高效且便捷的大模型推理与服务框架，已在业内广受好评。摩尔线程针对vLLM的v0.4.2版本进行了精细化的移植适配工作，使其能够充分 ...