入门必读(5):选一个真正跑得动你 Wiki 的本地模型
Qwen3.5、Qwen3.6、Gemma 4、oMLX——哪个模型在你的硬件上跑得好,要付出什么代价。一份走向完全离线、又不牺牲可用性的实操指南。
你的笔记。 一部活的 Wiki。 在 Obsidian 记录——笔记、PDF、网页剪藏。每一种输入都连接成一张不断生长的网络。
任其散落,还是日渐丰盈?
收藏一篇文章。忘了在哪。回头搜索。一无所获。
从 vault 里挑一条笔记。要点提炼了,页面生成了,摘要备好了。转眼就好。
手动链接笔记。改了其中一条,另一条还停在旧信息。链接断了。
链接始终鲜活。新信息与旧笔记矛盾时,相关页面自动更新。
记了一年,还是一堆文件。每个项目从零开始。反复阅读,原地打转。
一年积累成一部 Wiki。每个新问题,都能调用你积累的全部知识找到答案。知识在生长。
一条笔记,万千连接。
不是功能清单。是你与知识相处方式的改变。
从 vault 里挑一篇笔记——Cmd+P → Ingest。AI 阅读、提炼、构建。无需文件夹,无需标签,无需动手。
像和朋友聊天一样提问。看你看着它思考,再用可追溯的来源给出答案。
Cmd+P → Multi-File Ingest 打开实时队列与文件夹树选择器。一次选中 5 或 50 条笔记——无需临时文件夹。
新文件?自动收录。有矛盾?自动发现。要检查?按需开启。
深入架构、工作流与模型选型
Qwen3.5、Qwen3.6、Gemma 4、oMLX——哪个模型在你的硬件上跑得好,要付出什么代价。一份走向完全离线、又不牺牲可用性的实操指南。
从 vault 中任选 PDF。插件通过你的 LLM 提供商读取、逐字转写为 Markdown,再接入标准的 Wiki 抽取流水线。
把一个自然语言问题变成一条有据可查的 Wiki 答案的四个阶段。这条流水线为什么与普通 RAG 在根本上不同:它借鉴了什么,又在哪里分叉。
只需 Obsidian,别无他求。
设置 → Karpathy LLM Wiki。选你的 LLM,填密钥,测试,保存。
Cmd+P(Windows Ctrl+P)。输 Ingest 添加单条笔记,或 Multi-File Ingest 一次选多条。输 Query 提问。
开始前值得知道的一切。
手动添加 [[链接]] 时,你只能连接你已经知道的关联。这个插件的工作方式不同:它会读取库中所有笔记,提取其中蕴含的人物、概念和理论,然后自动生成 Wiki 页面,浮现出你未曾注意到的联系——相隔数月阅读的论文之间的关联、跨文件夹的主题联系、埋藏在偶尔提及中的洞见。你手动添加的链接保持不变;插件在此基础上增加了一个 AI 驱动的层次,发现那些你不知道本来就存在的联系。
你的 vault 始终保持原样。插件只会在它自己的文件夹——entities/、concepts/ 等——中创建新的 Wiki 页面,这些都在 wiki/ 文件夹下。如果自动生成的页面有误,只需删除它并重新运行摄入操作;它会从头重建。一旦你将某个页面标记为已审阅,AI 就再也不会重写它,只会追加内容。每个对话式回答也会链接回它所源自的笔记,让你可以一键验证任何说法。
Obsidian v1.11.0+(桌面:Windows、macOS、Linux)以及 LLM 提供商 API 密钥。支持:DeepSeek、Gemini、Claude、GPT、Kimi、GLM、MiniMax、OpenRouter,或任何自定义接口。Ollama 或 LM Studio 本地模型无需 API 密钥。
推荐长上下文模型——它们能一次处理整个 Wiki。单次摄入通常花费 $0.05–$0.50。所有费用直接付给 LLM 提供商;插件本身 免费且开源。
完全可以——这正是插件的设计核心。使用 Ollama 或 LM Studio 本地模型,每一个字节都留在你的机器上:笔记、提取的实体、生成的 Wiki 页面——永不发送、永不记录、不触碰任何外部服务器。插件本身零遥测、无后端、无存储、不收集任何数据;它不会主动联网,连检查更新都不做。即使用云端提供商,数据也仅在你主动触发摄入或查询时才传输,且不会在外缓存、不会共享。这种零泄露架构意味着你可以放心处理科研数据、客户资料、个人日记或任何机密内容。云端模型适合批量处理(更大上下文、更快吞吐);本地模型则赋予你日常使用的绝对数据主权。
找到 Bug 了?在 GitHub 上提交 Issue。有问题或想法?在 GitHub 上发起 Discussion。你也可以在 Obsidian 社区插件页面找到该插件并留下评价。
可以——从 v1.25.0 起,PDF 成为正式的一类输入。从 vault 的任意位置挑一份 PDF(Cmd+P → Ingest single source)。插件会通过你的 LLM 提供商原生文件输入读取它(Anthropic Claude、OpenAI GPT-4o 和 Bedrock 系列都原生支持 PDF),通过带防幻觉图表与公式标记的 OCR 风格逐字转写器转成 Markdown,然后回到常规的 Markdown 摄入流水线。转换后的 Markdown 按内容哈希缓存在 .obsidian/plugins/karpathywiki/pdf-cache/ 中,重新摄入会立即完成。默认情况下不会修改你的库;在设置中启用 Write PDF Markdown to Vault 后,还会在源 PDF 旁写入 <basename>.pdf.md 配套文件。
可以——从 v1.24.0 起,插件支持按任务选择模型。在 Settings → Wiki → Model Scope 中,将 Unified(所有任务使用同一模型)切换为 Per-Task,然后分别为 Ingest、Lint 和 Query 选择独立模型。常见搭配是:摄入使用便宜快速的模型(DeepSeek、MiniMax),Lint 使用更强的模型(Claude、GPT-4o),查询使用长上下文模型。Test Connection 会按顺序逐一探测每个已配置的模型,并在首次失败时立即停止——只有所有按任务配置的模型都通过后,连接才会被视为正常。
可以——如果将 PDF 摄入与通过 Ollama 或 LM Studio 运行的本地模型搭配使用,每份 PDF 从头到尾都留在你的机器上。Apple Silicon 上推荐的配置是 oMLX + Markitdown 后端 + 百度开源的 Unlimited-OCR 模型(总计 3B / 激活 0.5B),通过启用 Force PDF Support 的 Custom OpenAI-Compatible 提供商连接。PDF 永远不会离开你的库;转换在本地运行;生成的 Markdown 进入同一套实体提取流程,也全程在本机完成。
不是孤岛。让你喜爱的每个工具,更加出色。
看见链接
Wiki 赋予图谱意义。核心页面、知识聚类、孤立笔记。从装饰变成探索。
收藏文章
把剪藏放在 vault 任意位置,再 Cmd+P → Ingest from folder。AI 提炼、链接、更新。一次收藏,生成 10+ Wiki 页面。
查询数据
AI 添加结构——标签、日期、分类。空表格化作动态仪表盘。
版本记录
见证知识如何演变。每次提交都在讲述你成长的轨迹。
制作幻灯片
一句请求:"为 10 分钟演讲总结我的研究。" Wiki 根据你的知识直接生成幻灯片。
可视化画布
AI 从知识图谱构建概念图、时间线、决策树。不再面对空白画布。
十二家提供商,云端或本地。随时切换——不锁定任何一家。
十二家提供商,下拉框里换一个就行。不喜欢了随时换——你的 Wiki 毫无感觉。
无后端、无追踪、无存储。笔记只发往你选定的 AI——或用本地模型,完全不出本机。
插件本身免费。一次完整摄入只需向 LLM 服务商付 0.05–0.50 美元——挑个划算的模型,几乎感觉不到花钱。
云端或本地——选你信得过的那个。
长上下文模型一次读完整部 Wiki——掌握全貌,而不是拼凑零散片段。Ollama 和 LM Studio 完全在本机运行——无需上传,无需 API 密钥。