Infra

目录

• AI Infra 常用算子：GEMM、Softmax 与 Attention 入门
• AI Infra 推理知识体系：从请求生命周期到容量规划
• AI Infra 高频面试题：推理瓶颈、缓存与并行策略
• BPE 与 WordPiece：大模型 Tokenizer 编码原理
• Chunked Prefill 原理：LLM 调度、延迟与吞吐权衡
• CUDA 与 Triton 学习导览：硬件、编程与分析工具
• CUDA 性能分析：Nsight、Graph、Stream 与 CUTLASS
• CUDA 硬件基础：GPU 存储层次与 Hopper 架构
• CUDA 编程优化：合并访存、Bank Conflict 与 Tiling
• Decode 显存带宽估算：权重、KV Cache 与 Batch
• DP 与 DPA 的区别：SGLang 并行部署与路由
• FlashAttention V1 到 V4：分块、在线 Softmax 与演进
• GQA 与 MQA 原理：注意力结构如何影响 KV Cache
• KV Cache 容量与使用率：延迟、吞吐及稳定性
• KV Cache 显存使用率：OOM、排队与尾延迟风险
• KV Cache 显存计算：注意力布局与 DeepSeek 示例
• PD 分离中的 KV Cache：利用率与 Router 负载均衡
• PD 分离数据流：KV 生成、传输与 Decode 交接
• Prefill FLOPs 估算：模型线性计算与 Attention 成本
• SGLang DP 调度源码：Controller 与负载均衡策略
• SGLang 源码分析：Chat Completions 请求全链路
• Triton 入门教程：Block 编程模型与算子实现
• TTFT 排查手册：首字延迟拆解、观测与优化
• 图解推理并行策略：DP、TP、SP、CP、EP 与 CPP
• 图解模型推理的八种集合通信原语
• 大模型推理性能估算：显存、吞吐与容量规划
• 大模型结构与推理工程：从配置到 SGLang 热路径
• 投机解码端到端解析：EAGLE、接受判定与调优
• 模型 config.json 解析：MLA、MoE、MTP 与量化
• 滑动窗口注意力 SWA：KV Cache 与长上下文推理