目录
简介
深度神经网络涉及到很多层的叠加，而每一层的参数更新会导致上层的输入数据分布发生变化，通过层层叠加，高层的输入分布变化会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新。为了训好模型，我们需要非常谨慎地去设定学习率、初始化权重、以及尽可能细致的参数更新策略。 Google 将这一现象总结为 Internal Covariate Shift，简称 ICS。
tensorflow相关文章
最近热门
- SO-PMI（Semantic Orientation Pointwise Mutual Information，情感倾向点互信息算法）
- kimi api
- NPU（Neural Processing Unit，神经网络处理器）
- vue3 vditor
- Straight-Through Estimator（STE, 直推估计器）
- 流匹配（Flow Matching，FM）
- 模型证据下界（Evidence Lower Bound，ELBO）
- LLM | Chain of Thought（CoT，思维链）
- Zero Redundancy Optimizer（ZeRO）内存优化技术
- 面向任意目标的全库向量召回技术PDM
最常浏览
- 016 推荐系统 | 排序学习（LTR - Learning To Rank）
- 偏微分符号
- i.i.d（又称IID）
- 利普希茨连续条件（Lipschitz continuity）
- (error) MOVED 原因和解决方案
- TextCNN详解
- 找不到com.google.protobuf.GeneratedMessageV3的类文件
- Deployment failed: repository element was not specified in the POM inside distributionManagement
- cannot access com.google.protobuf.GeneratedMessageV3 解决方案
- CLUSTERDOWN Hash slot not served 问题原因和解决办法
×
![]()