Janus-Pro-7B是DeepSeek推出的一款多模态模型，它在图像生成、视觉问答等任务中表现出色，甚至超越了如OpenAI的DALL-E 3和Stable Diffusion 3这样的行业领先者。以下是关于Janus-Pro-7B的一些关键信息：

  • 参数量：该模型拥有70亿参数。

  • 分辨率支持：支持384x384像素的图像输入与生成。

  • 性能表现：

  • 在GenEval测试中，文生图质量准确率达到80%，超过了DALL-E 3（67%）和Stable Diffusion 3（74%）。

  • 在DPG-Bench测试中，复杂指令理解准确率为84.19%，能够精确地根据描述生成复杂的场景图像。

  • 在多模态问答方面，其视觉问答准确率也超过了GPT-4V，在MMBench测试中得分达到79.2分。

  • 技术创新：

  • Janus-Pro-7B采用了一种名为“理解-生成双路径”的架构，将视觉处理拆分为两条独立路径：一个用于理解图像的核心信息（理解路径），另一个用于生成图像细节（生成路径）。这种设计有助于提高模型的灵活性和生成稳定性。

  • 模型训练时混合使用了7200万张合成图像和真实数据。

  • 开源与商用：

  • 采用MIT开源协议，允许无限制商业使用。

  • 提供了适合不同显存需求的版本，包括需要16GB显存的1.5B版本和需要24GB显存的7B版本，使得普通显卡用户也能运行该模型。

  • 官方提供了一键生成的功能，例如通过简单的Gradio界面输入文本提示即可批量生成图片。

  • 应用场景：

  • 可应用于创意产业、教育工具、企业隐私保护以及文化传播等多个领域。

你可以访问GitHub上的官方仓库或HuggingFace页面来获取更多关于Janus-Pro-7B的信息，包括下载链接和部署指南。