TP
也称 Tensor Parallel
TP（Tensor Parallelism）把模型层内部的张量与计算拆分到多个设备上，让它们协同完成同一层的运算。
如何理解
例如把一个大型矩阵运算划分为多个部分，由不同 GPU 计算，再通过通信组合所需结果。这能分担模型存储与单层计算，而不是要求每张卡都保存完整模型。
设备之间需要交换中间结果，因此互连带宽与通信延迟会影响效率。增加设备数量能缓解容量限制，却不一定带来同比例的加速。
容易混淆的地方
TP 与每张卡运行一份模型副本的数据并行不同，也不同于把不同层分配给不同设备的流水线并行；这些方式可以组合。