介绍
Deepseek MOE架构
Group Relative Policy Optimization（GRPO，群体相对策略优化）
Multi-Head Latent Attention（MLA，多头隐式注意力）
Multi-Token Prediction（MTP，多令牌预测）
AI Infra相关
以训练加速为主，如FP8混合精度训练、DualPipe等
强化学习
冷启动-强化学习（推理场景）-SFT-强化学习（全场景）四阶段训练
蒸馏
将R1推理能力蒸馏到小的稠密模型
deepseek相关文章
- DeepSeek-Free-API
- DeepSeek的Native Sparse Attention（NSA）原生稀疏注意力机制
- DeepSeek MLA（Multi - head Latent Attention）
- Janus-Pro-7B：DeepSeek推出的一款多模态模型
- DeepSeek目前发布的模型版本（持续更新）
- DeepSeek关键技术详解
- DeepSeek MOE技术详解
- DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
- DeepSeek-R1-Zero 和 DeepSeek-R1
- 论文：DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
最近热门
- LMDB: Lightning Memory-Mapped Database Manager (LMDB)
- 多模态对齐（Multimodal Alignment）
- 快手OneRec: Unifying Retrieve and Rank with Generative Recommender and Preference Alignment
- LHUC(Learning Hidden Unit Contributions)
- CPT（Continual Pre-Training）
- SSB - Sample Selection Bias - 样本选择偏差问题
- LLM | Self-Verification（自我验证）
- 如何高效整理和分类电脑上的文件
- Masked Language Model（MLM）掩码语言模型
- 推荐系统中的时长建模
最常浏览
- 016 推荐系统 | 排序学习（LTR - Learning To Rank）
- 偏微分符号
- i.i.d（又称IID）
- 利普希茨连续条件（Lipschitz continuity）
- (error) MOVED 原因和解决方案
- TextCNN详解
- 找不到com.google.protobuf.GeneratedMessageV3的类文件
- Deployment failed: repository element was not specified in the POM inside distributionManagement
- cannot access com.google.protobuf.GeneratedMessageV3 解决方案
- CLUSTERDOWN Hash slot not served 问题原因和解决办法
×
![]()