首页 / AI 与算力

AIAI 与算力

本地大模型部署、显卡驱动与显存规划、推理优化

5 篇笔记 1 个分类

本地大模型部署、显卡直通与显存规划。这里的每一篇都是在真实的 PVE 宿主机上跑通之后才写下来的:从 IOMMU 与 vfio 绑定,到驱动版本的选择,再到显存够不够、该跑哪个量化等级。

目前内容还在补充中——Ollama 起步、vLLM 与显存优化的实践会陆续加进来。如果你也在拿旧显卡做本地推理,这里应该能少踩几个坑。

全部笔记

按时间浏览 →

换个专题看看