论文

[2402.13667] GCOF: Self-iterative Text Generation for Copywriting Using Large Language Model

1. 研究背景

在商业营销中,运营团队常需创建营销文案,但传统依靠用户反馈的迭代优化方式效率低且费力。同时,可利用各营销活动积累的知识改进文案创作。大语言模型(LLM)虽简化了文案生成,但生成满足领域特定要求(如有效吸引客户)的内容仍是挑战。

2. 研究目的

提出遗传文案优化框架(GCOF),旨在提高营销文案创作的效率和吸引力,实现自动生成具有用户指定属性的文案,并能根据用户反馈自我迭代优化。

3. 研究方法

3.1 GCOF框架

  • 特征工程:在LLM的提示中进行显式特征工程,根据运营团队经验选择重要特征(如营销权益位置、文案风格、关键词等),以关键词为例,预先定义多个关键词类别,从文案中提取关键词并分类,通过遗传算法(GA)迭代选择最优关键词,再输入LLM生成潜在高转化率文案。
  • GA自动特征工程
    • 种群初始化:用运营人员策划的历史活动文案候选集或LLM生成的文案初始化种群。
    • 选择:每次迭代从种群中按与适应度分数成正比的权重选择四个文案分别是种群中适应度最高和最低的文案。
    • 交叉:受差分进化算法(DE)启发进行交叉操作,从选定文案的关键词集中选择关键词,公式为由两部分组成,一是,二是从中随机选择。
    • 变异:最后用LLM根据中的关键词生成文案并插入种群,赋予适应度分数。
  • 奖励模型:采用GPT - 4作为基础模型,基于思维链(CoT)技术引入自奖励概念,实现三元评分系统评估营销文案,以转化率为目标,通过成对学习排序(LTR)方式评估奖励模型,当前奖励模型准确率约为0.75。

4. 实验结果

4.1短信用户获取活动

  • 初始文案:Human 1文案(含“Cash Back”和“Withdraw”关键词)点击率(CTR)为4.90%,Human 2文案(含“Give”、“12 Hours”、“Withdraw”、“Card”和“Good Luck”关键词)CTR为4.66%。
  • GCOF迭代文案:Iter 1(含“Cash Back”、“12 Hours”、“Withdraw”和“Bank”关键词)CTR为5.32%,Iter 2(加入“Instant”关键词)CTR提升至7.18%。结果表明GCOF能发现更有效的关键词协同作用,消费者对即时利益(如“Instant Withdraw”)反应良好。

4.2横幅广告用户获取活动

  • 初始文案:Human 1文案(含“One Click”、“Exclusive”和“Gift Pack”关键词)CTR为0.50%,Human 2文案(含“Savings Plan”、“SIP Rewards”和“Activate”关键词)CTR为0.20%。
  • GCOF迭代文案:Iter 1(保留Human 1部分关键词并引入“2.8 CNY”)CTR为0.63%,Iter 2(加入“Unlock”和“Time - Limited”)CTR提升至0.74%,Iter 3(更简洁聚焦于“Time - Limited”)CTR达到最高的0.78%。GCOF结合紧迫性、排他性、行动召唤和具体价格点的策略有效。

5. 研究结论

提出的GCOF通过将GA优化算法引入提示工程选择关键词指导文案生成,并使用LLM作为奖励函数选择最有潜力的文案以最大化CTR。未来将训练跨活动和渠道的LLM奖励模型提高路径截断效率,还将实施RLHF更有效地探索状态空间。

6. 研究局限

方法依赖运营先验知识,缺乏运营输入时LLM生成过程迭代率可能受影响;在京东金融App生态中关键词作用显著,但该方法对其他营销渠道(如电子邮件活动或推送通知)的通用性存疑。