热度排名 #1440

大模型推理的计算账：模拟与大型集群｜斯坦福 CS 229S

Dylan Patel - Inference Math, Simulation, and AI Megaclusters - Stanford CS 229S - Autumn 2024

把模型推理拆成计算、传输和等待，看看估算吞吐量时为什么既要算运算量，也要算硬件之间搬运数据的开销。

Scaling Intelligence · 1 串讨论 · 热度 1.869

讨论出处