简写：
LB - Large Batch
SB - Small Batch
优缺点：
LB方法探索性太差，容易离起始点附近很近的地方停下来
参考：
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
最近热门
- vue3 vditor
- Straight-Through Estimator（STE, 直推估计器）
- 流匹配（Flow Matching，FM）
- 模型证据下界（Evidence Lower Bound，ELBO）
- LLM | Chain of Thought（CoT，思维链）
- Zero Redundancy Optimizer（ZeRO）内存优化技术
- 面向任意目标的全库向量召回技术PDM
- 多模态对齐（Multimodal Alignment）
- STT模型（Speech-to-Text）
- 论文：HoME - Hierarchy of Multi - Gate Experts for Multi - Task Learning at Kuaishou
最常浏览
- 016 推荐系统 | 排序学习（LTR - Learning To Rank）
- 偏微分符号
- i.i.d（又称IID）
- 利普希茨连续条件（Lipschitz continuity）
- (error) MOVED 原因和解决方案
- TextCNN详解
- 找不到com.google.protobuf.GeneratedMessageV3的类文件
- Deployment failed: repository element was not specified in the POM inside distributionManagement
- cannot access com.google.protobuf.GeneratedMessageV3 解决方案
- CLUSTERDOWN Hash slot not served 问题原因和解决办法
×
![]()