梯度下降有三种变种，主要区别在于计算目标函数梯度下降的数据量。
每次计算的数据量，会影响到训练时间和模型准确率。
[TODO]《An overview of gradient descent optimization algorithms》阅读笔记
最近热门
- SO-PMI（Semantic Orientation Pointwise Mutual Information，情感倾向点互信息算法）
- kimi api
- NPU（Neural Processing Unit，神经网络处理器）
- vue3 vditor
- Straight-Through Estimator（STE, 直推估计器）
- 流匹配（Flow Matching，FM）
- 模型证据下界（Evidence Lower Bound，ELBO）
- LLM | Chain of Thought（CoT，思维链）
- Zero Redundancy Optimizer（ZeRO）内存优化技术
- 面向任意目标的全库向量召回技术PDM
最常浏览
- 016 推荐系统 | 排序学习（LTR - Learning To Rank）
- 偏微分符号
- i.i.d（又称IID）
- 利普希茨连续条件（Lipschitz continuity）
- (error) MOVED 原因和解决方案
- TextCNN详解
- 找不到com.google.protobuf.GeneratedMessageV3的类文件
- Deployment failed: repository element was not specified in the POM inside distributionManagement
- cannot access com.google.protobuf.GeneratedMessageV3 解决方案
- CLUSTERDOWN Hash slot not served 问题原因和解决办法
×
![]()