github modelscope/ms-swift

SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是一个轻量级的、可扩展的基础设施，专为微调大型语言模型（LLM）和多模态大型语言模型（MLLM）而设计。以下是关于SWIFT的一些关键信息：

  1. 简介：

    • SWIFT由魔搭ModelScope开源社区推出，是一个基于PyTorch的轻量级、开箱即用的模型微调和推理框架。
    • 它支持超过400个LLM和150个MLLM的训练（包括预训练、微调、对齐）、推理、评估和部署。
    • SWIFT集成了最新的训练技术，如LoRA、QLoRA、Llama-Pro等，并提供了一个完整的适配器库，以支持这些技术。
    • SWIFT还提供了基于Gradio的Web界面，方便用户控制训练和推理过程。

  2. 环境安装：

    • 可以通过pip命令安装SWIFT，支持全量能力安装、仅LLM、仅AIGC等不同安装选项。
    • 也可以通过源代码安装或在Docker镜像中使用SWIFT。

  3. 支持的技术：

    • SWIFT支持参数高效微调技术（PEFT），并提供了丰富的适配器库，支持最新的训练技术。
    • 它还支持加速推理、评估和部署模块，使用vLLM和LMDeploy技术，并支持使用GPTQ、AWQ和BNB等技术对大型模型和多模态大型模型进行量化。

  4. 使用案例：

    • SWIFT可以用于微调专属于自己的大模型，使得AI爱好者可以使用消费级显卡玩转大模型和AIGC。
    • 它还提供了详细的文档和最佳实践，帮助研究人员和开发者更容易地微调和应用大型模型。

  5. 开源和社区：

    • SWIFT是一个开源框架，遵循Apache License (Version 2.0)。
    • 用户可以通过Discord和WeChat等渠道加入SWIFT的社区，进行交流和获取支持。

SWIFT作为一个轻量级的微调基础设施，旨在帮助研究人员和开发者更高效地微调和部署大型模型，特别是在资源有限的情况下。