本地AI

2015 年的 Quadro M6000 24GB 改造成本地 AI 推理机，实测 9 个模型 7 个维度：gpt-oss-20b 跑到 39.9 tok/s，131072 上下文仅占 13.1GB 显存，拆解量化格式与显存带宽三个反直觉发现。