ms-swift 是 ModelScope 社区推出的大模型与多模态大模型微调部署框架，支持 600+ 纯文本大模型和 400+ 多模态大模型的训练、推理、评测、量化与部署。集成 Megatron 并行技术与 GRPO 家族强化学习算法，覆盖 CPT、SFT、DPO、GRPO 全流程，是当前开源生态中模型覆盖面最广、训练技术最前沿的一站式工具链之一。
适用人群：1. 需要快速微调开源大模型的算法工程师与研究者；2. 希望低成本落地多模态大模型应用的企业技术团队；3. 研究 RLHF/GRPO 等对齐算法的学术人员与高校学生
适用场景：1. 基于 LoRA/PEFT 对 Qwen3、DeepSeek-R1 等模型进行领域 SFT 微调；2. 使用 GRPO/DAPO 等算法对推理模型进行强化学习对齐训练；3. 对 Qwen3-VL、InternVL3.5 等多模态模型进行视觉指令微调与部署
推荐理由：ms-swift 以极广的模型覆盖和前沿算法集成脱颖而出，从 SFT 到 GRPO 强化学习、从纯文本到多模态、从单卡 LoRA 到 Megatron 千卡并行均有成熟支持。文档完善、社区活跃、上手门槛低，是当前开源微调框架中综合能力最强的选择之一，值得每一位大模型开发者纳入工具箱。
项目定位与背景
大模型微调领域长期存在一个痛点：模型种类繁多、训练方法各异、部署链路割裂，开发者往往需要为不同模型和任务切换多套工具。ms-swift（Scalable lightWeight Infrastructure for Fine-Tuning）正是为解决这一问题而生。它由 ModelScope 社区打造，定位为一站式的大模型与多模态大模型微调部署框架，论文已被 AAAI 2025 收录。项目在 GitHub 上已获得超过 1.5 万 Star，是当前国产开源微调框架中最具影响力的项目之一。
核心功能与技术架构
ms-swift 的能力覆盖极为完整。在模型支持上，它兼容 600+ 纯文本大模型（Qwen3、DeepSeek-R1、GLM4.5、Llama4、InternLM3、Mistral 等）和 400+ 多模态大模型（Qwen3-VL、Qwen3-Omni、InternVL3.5、Ovis2.5、GLM4.5-V、DeepSeek-VL2 等），几乎囊括了当前主流开源模型。在训练方法上，支持预训练（CPT）、监督微调（SFT）、人类对齐（DPO）以及强化学习（GRPO 家族），并同时支持 PEFT（LoRA、QLoRA 等）和全参数微调两种模式。
技术架构层面，ms-swift 集成了 Megatron 并行技术，包括张量并行（TP）、流水线并行（PP）、上下文并行（CP）和专家并行（EP），可支撑从单卡到千卡集群的规模化训练。在强化学习方面，项目紧跟前沿，集成了 GRPO、DAPO、GSPO、SAPO、CISPO、RLOO、Reinforce++ 等众多算法，几乎覆盖了当前所有主流的 RLHF 变体。此外，框架还提供推理、评测、量化和部署的全链路支持，形成闭环。
创新点与亮点
ms-swift 最突出的亮点在于广度与深度的结合。广度上，它的模型覆盖面在开源框架中首屈一指，尤其是对国产模型和多模态模型的支持非常及时，新模型发布后往往能在短时间内完成适配。深度上，它对前沿训练技术的跟进速度极快，GRPO 家族算法的集成密度远超多数同类项目，让研究者无需自行实现即可开展对比实验。
另一个亮点是工程化程度高。框架提供了统一的命令行接口和 Python API，通过简单的配置即可切换模型、训练方法和并行策略，大幅降低了使用门槛。同时，项目文档提供中英文双语版本，对国内开发者尤为友好。Discord 和微信社区的存在也保证了问题反馈的及时性。
与同类项目对比
与 LLaMA-Factory 相比，ms-swift 在多模态支持和分布式并行能力上更为突出，尤其是 Megatron 并行和 EP 专家并行的集成，使其在 MoE 模型训练上具备优势。与 HuggingFace TRL 相比，ms-swift 的模型覆盖面更广，且提供了更完整的部署与量化链路。与 Axolotl 相比，ms-swift 对国产模型和中文生态的适配更加深入。总体而言，ms-swift 在模型覆盖广度、训练技术前沿性和工程完整度三个维度上均处于第一梯队。
上手指南与快速开始
安装方面，ms-swift 要求 Python 3.12、PyTorch 2.0+ 和 ModelScope 1.23+，可通过 pip 直接安装。快速开始推荐从官方文档的 Quick Start 入手，选择一个中小规模模型（如 Qwen3 系列）进行 LoRA 微调，熟悉命令行参数后再逐步尝试全参数训练和 GRPO 强化学习。对于多模态任务，可参考文档中的视觉指令微调示例。建议初学者先在单卡环境跑通 SFT 流程，再根据需求引入并行策略和量化部署。
总结与展望
ms-swift 凭借极广的模型覆盖、前沿的算法集成和完善的工程链路，已经成为大模型微调领域不可忽视的基础设施。它的优势在于一站式解决从训练到部署的全流程问题，尤其适合需要快速实验和规模化落地的团队。当然，框架功能繁多也带来一定的学习曲线，新手需要花时间熟悉配置体系。未来随着更多模型和算法的加入，ms-swift 有望进一步巩固其作为国产微调框架标杆的地位。
项目信息
| 项目名称 | modelscope/ms-swift |
| 编程语言 | Python |
| Star 数 | 15673 |
| Fork 数 | 1689 |
| 主题标签 | deepseek-r1, embedding, grpo, internvl, liger, llama, llama4, llm, lora, megatron, moe, multimodal, open-r1, peft, qwen3, qwen3-6, qwen3-omni, qwen3-vl, reranker, sft |