首页 / AI 与算力

AIAI 与算力

本地大模型部署、显卡驱动与显存规划、推理优化

9 篇笔记 1 个分类
AI 本地部署9

本地大模型部署、显卡直通与显存规划。这里的每一篇都是在真实的 PVE 宿主机上跑通之后才写下来的：从 IOMMU 与 vfio 绑定，到驱动版本的选择，再到显存够不够、该跑哪个量化等级。

目前内容还在补充中——Ollama 起步、vLLM 与显存优化的实践会陆续加进来。如果你也在拿旧显卡做本地推理，这里应该能少踩几个坑。

全部笔记

按时间浏览 →

换个专题看看

SYS

系统与网络

PVE 虚拟化、容器与 Docker、Linux 运维、操作系统、软路由、NAS 私有云

36 篇 → HW

硬件与折腾

IoT 物联网、HomeAssistant 智能家居、3D 打印、机顶盒与刷机固件

36 篇 →