互联网频道 频道

vLLM原生支持昇腾,加速大模型推理创新,社区尝鲜版本首发!

2025年2月20日,经过vLLM社区与昇腾的持续合作和共同努力,vLLM开源社区已官方支持昇腾,并创建vLLM Ascend这一社区维护的官方项目。这意味着用户可直接在昇腾上无缝运行vLLM,开发者可通过vLLM调用昇腾进行模型适配。

图片 1.png

图注:vLLM社区创建了vllm-project/vllm-ascend项目提供昇腾的官方支持

vLLM Ascend使能vLLM在昇腾平台进行大模型推理,包含以下多个特征:

支持多种模型类型,满足多样化需求

vLLM Ascend原生支持 稠密LLM稀疏Mixture-of-Expert(MoE)、多模态等在内的主流开源大模型类型,如Qwen系列、Llama系列、DeepSeek系列等。这意味着开发者可以在昇腾平台无缝运行各类大语言模型,并且可基于vLLM进行增量特性开发,满足不同的应用场景和性能需求。

与社区共同打造大模型极致推理性能,充分释放昇腾算力

vLLM Ascend即将在昇腾平台支持vLLM多个高阶特性,如请求调度算法chunked prefill,大模型分布式并行策略 Tensor Parallelism (TP)、Pipeline Parallelism (PP)投机解码speculative decoding等,开源社区最新加速能力平滑迁移,支持昇腾平台高性能推理。

全面的社区支持,让开发更简单

用户可以通过以下途径,快速学习和使用vLLM Ascend,包括:

● 快速开始:快速开始教程详细地说明了如何开始使用vLLM Ascend。

● 用户指南 :提供了模型支持、特性支持等关键内容。

● 开发者指南 :通过贡献指南、版本发布策略等文档为开发者提供了重要参考。

● 社区讨论:开发者可以在社区充分交流分享,一起解决问题。

开始您的尝鲜之旅

无论是AI领域的资深开发者,还是刚入门的技术爱好者,vLLM Ascend都将为您提供一个高效、灵活的开发平台。立即开始您的尝鲜之旅,感受昇腾NPU与vLLM框架结合的魅力,共同探索大语言模型的无限可能!

现在就可以访问以下链接开始您的尝鲜之旅:

● 代码仓库 :https://github.com/vllm-project/vllm-ascend

● 文档中心 :https://vllm-ascend.readthedocs.io/en/latest/

● 快速开始 :https://vllm-ascend.readthedocs.io/en/latest/quick_start.html

● 安装指南 :https://vllm-ascend.readthedocs.io/en/latest/installation.html

● 版本说明:https://vllm-ascend.readthedocs.io/en/latest/user_guide/release_notes.html

欢迎加入我们,携手共建vLLM Ascend开源项目

大模型推理服务框架vLLM是LF Data & AI基金会孵化项目,因其在大型语言模型 (LLM) 推理和服务中的高吞吐量、内存高效等特点,在开源社区广受欢迎。华为是LF Data & AI基金会创始高级会员,同时也是vLLM社区的支持者和积极贡献者,华为坚持“硬件开放,软件开源,使能伙伴,发展人才”的理念,携手社区共同推进多样性算力支持改进,积极致力于vLLM优化,从而充分释放昇腾硬件的算力。

vLLM Ascend是一个使用Apache 2.0协议的开源项目,我们诚邀每一位开发者加入我们,贡献你的智慧,一起探索和贡献更多创新功能。


特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
0
相关文章