加速比：衡量加速效果的一个重要指标
指标  
访存，访问存储器（Memory Access）
架构  
深度学习技术汇总
深度学习  
BERT中的[CLS]
bert   NLP   DNN  
Efficient Long Sequential Low-rank Adaptive Attention for Click-through rate Prediction
序列建模  
TIGER：Recommender Systems with Generative Retrieval 生成式召回
论文   推荐系统   召回  
LLM4REC
LLM  
数据湖
数据库  
单精度（Single - Precision）、双精度（Double - Precision）、半精度（Half - Precision）、混精度（Mixed - Precision）
深度学习  
网络广告中的pixel（像素）
计算广告  
Cross attention（交叉注意力）
注意力机制  
滑动窗口注意力（Sliding Window Attention）
深度学习   注意力机制  
论文：Temporal Interest Network for User Response Prediction
序列建模   腾讯  
branca库：用于创建和处理富文本文档的 Python 库
python  
python geojson库
python   GIS  
folium库：基于 Python 的交互式地图库
python库   GIS  
H3库：Uber开源的地理空间索引系统
uber   GIS   python库  
H3地理空间索引系统
GIS  
GPU型号 H800和A800
GPU  
英伟达H20与L20的参数对比
GPU  
OmniGraffle技巧
工具  
计算模型大小，单位M
代码  
NCCL（NVIDIA Collective Communications Library） AllReduce
nccl   开发   NVIDIA  
NVIDIA的GPU命名规则
NVIDIA   GPU  
NVIDIA Ada Lovelace架构
NVIDIA   GPU  
Soft MoE《FROM SPARSE TO SOFT MIXTURES OF EXPERTS》
论文  
投机采样（Speculative Sampling）
LLM  
Fisher信息矩阵（Fisher Information Matrix, FIM）
算法  
LLM模型参数量计算
LLM  
TiDB中的RU（Request Unit）
数据库  
PCIE（Peripheral Component Interconnect Express）
架构  
Pre Normalization（预归一化）
深度学习  
SwiGLU（Swish - gated linear unit）激活函数
激活函数  
Meta的M-Falcon推理算法
meta   算法  
ByteTransformer: A High-Performance Transformer Boosted for Variable-Length Inputs
字节   Transformer  
Fast Inference from Transformers via Speculative Decoding
论文  
BF16和FP16
深度学习  
Chinchilla law
LLM  
XLA：加速线性代数
架构  
Model FLOPs Utilization（MFU，模型每秒浮点运算次数利用率）
GPU  
谷歌MLP - Mixer: An all - MLP Architecture for Vision
论文   谷歌  
谷歌DiLoCo: Distributed Low-Communication Training of Language Models
论文   LLM  
LHUC(Learning Hidden Unit Contributions)
机器学习  
TensorRT
SDK   NVIDIA  
TensorRT-LLM
LLM   架构  
论文：KAN: Kolmogorov–Arnold Networks
深度学习  
RQ-VAE（Residual-Quantized VAE）变分自编码器和残差量化
自回归   模型量化  
EVA-CLIP
多模态   LLM  
推荐系统 | 生成式推荐
推荐系统  
推荐系统中的重排算法
推荐系统   重排