大模型中的CPT通常是指Continual Pre-Training，即持续预训练。以下是关于它的具体介绍：

含义与背景

持续预训练是在已经预训练好的大语言模型基础上，继续使用特定的数据和任务进行预训练的过程。其目的是进一步提升模型在特定领域或任务上的性能，或者使模型能够适应新的数据集和应用场景，是训练更好的大语言模型的重要组成部分。

作用及意义

  • 增强领域适应性：在很多实际应用中，不同领域有其独特的语言风格、专业术语和知识结构。通过持续预训练，可以让模型更好地理解和处理特定领域的文本数据，例如在医学领域，能使模型更准确地理解医学文献、病历等；在法律领域，能更好地处理法律条文、案例分析等。

  • 提升特定任务性能：针对一些具体任务，如文本生成、问答系统、机器翻译等，持续预训练可以根据任务特点对模型进行优化，使模型在这些任务上的表现更出色。

  • 缓解灾难性遗忘：当模型在新的领域或数据上进行训练时，可能会忘记之前在其他领域或任务上学习到的知识。持续预训练可以通过合理地选择训练数据和方法，在学习新知识的同时，尽量保留模型原有的通用能力，避免灾难性遗忘。

相关研究D-CPT Law

特定领域持续预训练（Domain-specific Continual Pre-Training，D-CPT）的Scaling Law，即D-CPT Law。它主要研究的是在特定领域持续预训练场景下，验证集损失L关于模型大小N、数据集大小D和混合比r的关系。旨在确定不同规模大模型在可接受的训练成本下，通用语料库和垂直领域语料库之间的最佳数据配比。

应用实例

  • PHBS ExpertCPT：北京大学汇丰商学院的PHBS ExpertCPT模型，在商业模式理论研究和实践等管理科研领域有广泛应用，如应用于分析商业模式在不同行业中的应用，探讨商业模式与战略、管理的关系等。