I · 大模型原理

Harness 的所有工程决策最终都落在模型的物理特性上：注意力是 O(n²) 的，缓存是按前缀命中的，激活是稀疏的，输出是采样的。不理解这四件事，就只能靠感觉调参数。这一部分只讲与工程强相关的原理，不推导公式。