FOBOS（Forward-Backward Splitting）将迭代过程分为两步，每步迭代公式如下：
第一步求梯度更新，但未加入正则化项
第二步在第一步的基础上进一步求解，第二步有两项。第一项二范数表示不能离第一步结果太远；第二项是正则化项，用来限定模型复杂度抑制过拟合和做稀疏化等。
机器学习相关文章
- 连续归一化流（Continuous Normalizing Flows，简称CNF）
- 流匹配（Flow Matching，FM）
- ALiBibi编码（Attention with Linear Biases）
- inductive learning（归纳学习）和transductive learning（传导学习）
- 机器学习中的稀疏解
- 在线学习算法 FOBOS
- Active Learning
- MMD: maximum mean discrepancy（最大平均差异）
- AUC系列 | AUC计算详解 | AUC与GAUC
- SSB - Sample Selection Bias - 样本选择偏差问题
最近热门
- Straight-Through Estimator（STE, 直推估计器）
- 流匹配（Flow Matching，FM）
- 模型证据下界（Evidence Lower Bound，ELBO）
- LLM | Chain of Thought（CoT，思维链）
- Zero Redundancy Optimizer（ZeRO）内存优化技术
- 面向任意目标的全库向量召回技术PDM
- 多模态对齐（Multimodal Alignment）
- STT模型（Speech-to-Text）
- 论文：HoME - Hierarchy of Multi - Gate Experts for Multi - Task Learning at Kuaishou
- RQ-VAE（Residual-Quantized VAE）变分自编码器和残差量化
最常浏览
- 016 推荐系统 | 排序学习（LTR - Learning To Rank）
- 偏微分符号
- i.i.d（又称IID）
- 利普希茨连续条件（Lipschitz continuity）
- (error) MOVED 原因和解决方案
- TextCNN详解
- 找不到com.google.protobuf.GeneratedMessageV3的类文件
- Deployment failed: repository element was not specified in the POM inside distributionManagement
- cannot access com.google.protobuf.GeneratedMessageV3 解决方案
- CLUSTERDOWN Hash slot not served 问题原因和解决办法
×
![]()