暂时用不到的备忘录
复制本地路径 | 在线编辑
工具类
- 显存计算公式：https://zhuanlan.zhihu.com/p/687226668
- 显存可视化和分析实例：https://zhuanlan.zhihu.com/p/677203832
- 参数自动搜索技术：https://zhuanlan.zhihu.com/p/1991878121566279093
- PyTorch 模块可视化工具：https://zhuanlan.zhihu.com/p/1977414887736112704
- Profiling（性能剖析）实例：https://zhuanlan.zhihu.com/p/1981436859470074335
VLLM
- 对 VLLM 增加 Swap 机制的介绍：https://zhuanlan.zhihu.com/p/1999536171961828862
看完了，也能理解。原理很简单，就是满了就换到 CPU 去，细节就不用纠结了。