作者:大头 SOLO

  2026 年 11 月 13 日,我正式把自己的 Mac Studio M3 Ultra 512GB 卖掉了。

  这台机器是 2025 年 6 月 3 日买的,算上 AppleCare+ 一共花了大约 62,592 元,最后以 105,000 元成交。用了整整 528 天,也就是将近一年半,非但没折旧,反而还赚了 42,408 元。😂

  对于一台用了这么久的电脑来说,这个结果确实有点离谱。不过相比赚了多少钱,这台机器对我还有一个更重要的意义:它是我本地大模型部署的启蒙机器。

从能把模型跑起来,到研究怎么把性能榨出来

Image

Image

图为当时 M4Max 128 和 M3Ultra 512 作最终决策时的双机拍摄

Image

  刚开始接触本地大模型的时候,其实用的都是一些非常简单的部署方式。下载模型,找个推理工具,调整几个参数,能跑起来就觉得挺有意思了。后来随着接触的模型越来越多,才慢慢开始了解量化、上下文长度、KV Cache、内存带宽、Prefill、Decode、并发这些概念。

  最开始我关心的是一台机器能不能装下某个模型,后来逐渐开始研究为什么同一个模型在不同硬件上速度差那么多,为什么有时候增加算力反而没有明显提升,为什么同一套硬件换个推理框架、调整几个参数,性能就会发生很大的变化。

  Mac Studio M3 Ultra 512GB 的超大统一内存,让我有机会尝试很多普通消费级显卡根本装不下的模型,但同时也让我很直观地理解了一件事:模型装得下,和模型跑得好,完全是两回事。

  512GB 的内存容量确实诱人,但面对大权重模型,内存带宽、计算性能、推理框架效率以及模型本身的结构,都会影响最终的使用体验。尤其是生成阶段,有时候模型虽然成功加载了,但每秒生成的 Token 少得可怜,实际上根本谈不上好用。

  也正是因为在这台 Mac Studio 上反复折腾过这些东西,后来我上手四台 DGX Spark、研究多机分布式推理的时候,才没那么陌生。如果没有前面这一年多的经验,我估计现在还得走不少弯路。

  所以虽然最终把它卖掉了,但我对这台机器的评价还是很高的。它不一定是最适合大权重模型推理的硬件,却确实是一台让我学到了很多东西的机器。

用了 528 天,卖掉之后居然跑赢了同期股市

Image

  卖掉以后,我突然很好奇:假如当初没有买这台 Mac Studio,而是把这笔钱拿去投资,结果会怎么样?

  于是我翻了一下从 2025 年 6 月 3 日到 2026 年 11 月 13 日这 528 天的行情,拿英伟达 NVDA 和上证指数做了个简单对比。

  同期 NVDA 股价从 141.22 美元涨到了 162.85 美元,累计上涨约 15.32%,折算几何年化约 10.35%;上证指数从 3,361.98 点涨到了 3,634.35 点,累计上涨约 8.10%,年化约 5.53%。

  而我的 Mac Studio,从 62,592 元的购置成本到 105,000 元的出售价格,累计回报率约 67.75%,折算几何年化约 42.99%。

  如果进一步考虑美元兑人民币的汇率变化,同期 NVDA 换算成人民币的价格收益率大约只有 7%。当然,这里只是按历史收盘价和参考汇率进行的比较,没有计算分红、交易费用和税费。

  这么一算,这台 Mac Studio 不仅陪我学了一年多的大模型,最后卖掉的收益居然还跑赢了同期英伟达股票和上证指数。知识学到了,电脑用了,钱居然还赚了。🤣

  当然,电脑跟股票不是一回事,这也只是一次挺特殊的市场行情。硬件有折旧、故障和流动性风险,二手成交价格也会受到供需影响,不可能指望每次买电脑都能变成投资。但至少这一次,结果确实让我挺开心。

从一台 Mac Studio 到四台 DGX Spark,顺便还卖了 10 台机器

Image

  随着自己对本地大模型的要求越来越高,我后来逐渐转向了 NVIDIA GB10 平台。这几个月陆续买入过华硕 Ascent GX10 和超聚变 FusionXpark,前前后后一共买了 14 台 GB10,其中 10 台已经卖掉,现在自己还留着 4 台。

  四台 Spark 一起跑大模型,和以前在一台 Mac Studio 上部署,又是完全不同的玩法。以前更多研究单机性能,现在还要考虑多机通信、网络延迟、RDMA、张量并行、KV Cache 分配,以及不同并发情况下的吞吐量和稳定性。

  我也尝试了不少不同的推理框架和部署配方。有时候为了提升一点性能,反反复复调整参数、跑 Benchmark,折腾半天也就每秒多几个 Token。但有时候选对一个方案,性能确实会有明显改善。这也是我现在最感兴趣的地方,硬件只是基础,怎么把硬件用好,其实还有很多值得研究的东西。

  这几个月买卖机器,我还专门整理了一份账本。算上这次卖掉的 Mac Studio,全部设备累计采购成本约 48.97 万元,已经出售的设备累计回款约 45.18 万元,另外还有平台手续费、运费、广告投流以及其他交易费用。

  扣除已售设备的采购成本和目前记录的费用以后,累计已实现利润大约 8.05 万元,其中 Mac Studio 贡献了 4.24 万元,DGX Spark 交易贡献了大约 3.81 万元。部分配件和费用还在核对,所以这里先按目前的账本计算。

  更有意思的是,现在我手里还留着四台 Spark,原始采购成本一共 12 万元。把 Mac Studio 和 DGX Spark 的所有采购、销售和费用放在一起算,整个设备组合的净现金占用已经降到了大约 3.95 万元。

  注意,这不是说四台 Spark 的购买成本只有 3.95 万,而是前面已经实现的交易利润,把整个设备组合最终占用的现金大幅降低了。

  按照目前每台约 31,600 元的二手市场参考价计算,这四台机器的估值合计大约 12.64 万元。如果把已实现利润和库存相对采购成本的未实现增值加起来,整个设备组合目前的累计收益大约是 8.69 万元。

  当然,没卖掉的机器不能算已经赚到的钱,最终还得看实际成交价和相关费用。但按目前的行情来看,已经有了不小的缓冲空间。这一轮算力折腾,至少到现在为止,确实挺划算的。😂

  而且这几个月卖掉的 10 台 DGX Spark,也让我认识了不少有意思的人。有游戏公司的老板,有医生,有律师,还有做软件开发的。大家来自完全不同的行业,但都对本地 AI 有自己的需求。

  有的人关心代码能力,有的人希望处理专业资料,有的人更在意数据隐私,还有人跟我一样,就是喜欢研究本地大模型。我也跟一些买家交流过部署方式和使用需求,把自己踩过的坑分享给他们。

  从一开始纯粹为了自己的需求折腾,到后来发现这些经验还能帮助其他人,这件事情本身也挺有成就感的。

Agent 时代,只部署一个大模型已经远远不够了

Image

Image

Image

  这也是我最近思考得比较多的一件事。

  如果放在一两年前,本地部署的目标可能比较简单:找一个足够聪明的开源大模型,下载权重,把它跑起来,最好速度还能快一点。

  但现在进入 Agent 时代,我越来越觉得,单纯把一个大语言模型部署起来,其实只是完成了整套本地 AI 系统里很小的一部分。

  首先当然还是模型本身。推理能力、代码能力、工具调用、上下文长度、指令遵循,这些都很重要。但模型之外,现在还有一个越来越重要的东西,就是 Harness。

  我的理解是,模型更像是负责思考的大脑,而 Harness 是围绕这个大脑搭建的工作环境和执行系统。它负责组织上下文、管理工具、调用文件、执行任务、处理权限和审批,必要的时候还可以协调其他 Agent。

  同一个模型,放在不同的 Harness 里面,最终能完成的任务可能完全不同。模型本身的能力上限当然重要,但怎样组织和使用这些能力,同样会决定最后的实际效果。

  再往下,还有我现在非常重视的记忆系统。

  如果一个 AI 每次跟你聊天,都只能依靠当前对话窗口里的内容,那它其实很难真正了解一个长期使用它的人。你每次都得重新介绍自己的背景、设备、项目和之前做过的决定,这不但浪费时间,也很难让 Agent 连续完成长期任务。

  所以我现在一直在折腾长期记忆,包括 Embedding、Rerank、知识检索、记忆更新,以及怎样避免错误的信息被反复写入和放大。我希望自己的 Agent 不只是能回答当前的问题,而是能长期理解我正在做什么、过去为什么这么做,以及下一步可能需要什么。

  还有语音和多模态。

  语音输入要有 ASR,语音输出要有 TTS;图片和文档需要视觉理解,有时候还需要 OCR;生成图片、视频、音乐,又是不同的模型能力。未来如果希望 Agent 能够实时听、实时看,甚至主动理解周围的环境,对整套系统的要求还会进一步提高。

  这些功能里面,有的模型很小,有的模型非常吃算力;有的要求低延迟,有的可以接受排队;有的需要长期常驻,有的偶尔调用一次就够了。全部堆到一台机器上,不一定是最好的解决方案。

  所以我现在对本地算力部署的理解,已经从“怎样跑好一个大模型”,逐渐变成了“怎样把一整套模型能力组织成一个系统”。

  大语言模型可以跑在高带宽、多机互联的算力集群上。Embedding、Rerank、ASR、TTS 这些服务,可以根据资源需求放到其他设备。图像和视频生成这种消耗比较大、使用频率又没那么高的服务,可以按需加载或者单独安排算力。

  再通过 Harness、工具调用、任务队列和长期记忆,把这些能力连接起来。每个模型负责自己擅长的事情,最终对用户呈现出来的,却是一套完整的 AI 能力。

  当然,真正做好还涉及服务调度、权限隔离、监控、故障恢复和资源管理,不是把几个 API 接在一起就算完成了。

  但我觉得,这才是未来本地 AI 更值得研究的方向。

  不是在桌上放一台机器,运行一个最大的模型,而是建立一套真正属于自己的、能够长期运行和协同工作的 AI 系统。

很多老板可能真正需要的,是一个放在自己桌上的私人参谋

Image

  这几个月跟不同行业的人接触之后,我也越来越觉得,本地 AI 的价值可能远远不只是节省 API 费用,或者在不联网的情况下运行一个聊天机器人。

  对于很多企业老板来说,真正有价值的可能是一个能够了解自己业务、理解自己的处境,还能随时讨论问题的私人参谋。

  做生意的人,谁还没有点不方便对外说的事情?经营数据、客户资料、商业计划、谈判策略、内部管理问题,甚至一些还没有成熟、不想让其他人知道的想法。

  有些事情不适合跟员工讨论,不方便跟合作伙伴说,也未必愿意把全部资料上传到云端。很多时候,老板也不是非要别人替自己做决定,只是希望有人能够帮自己分析利弊,指出可能没考虑到的风险,或者从另一个角度思考问题。

  如果能在自己的桌上放一套本地算力设备,部署合适的大模型,再接入企业的私有知识库、业务资料和长期记忆系统,让 AI 逐渐了解自己的业务和思考方式,那么它就有机会成为一个随时可以交流的私人参谋。

  而且随着 Agent 能力的发展,它未来还可以不只是陪你讨论问题,而是能够在授权范围内主动检索资料、整理信息、分析数据、生成报告,甚至协调其他专业 Agent 完成具体工作。

  当然,本地部署不等于绝对安全,AI 也不可能保证每个判断都是对的。真正要用于企业,还需要解决权限、数据隔离、日志、备份以及结果验证等一系列问题。

  但至少,本地部署给了我们一种选择:可以把更多敏感信息和核心能力掌握在自己手里,而不必完全依赖外部平台。

  这也是我现在特别想继续研究的方向。我自己已经在折腾 Harness、长期记忆、多模型服务和 Agent 的组织协作方式,离理想中的系统还有不少距离,但整个方向正在逐渐清晰。

  如果你也有兴趣给自己的业务搭建一套本地 AI,或者希望拥有这样一个放在自己桌上的私人参谋,欢迎找我交流。机器怎么选、模型怎么部署、怎样优化性能,以及怎样把 Agent 和记忆系统整合起来,我已经踩过不少坑了,至少能帮你少踩几个。😂

机器卖了,折腾还得继续

  回过头来看,从最早一台 Mac Studio,到现在四台 DGX Spark,从最开始学着把模型跑起来,到现在研究多机推理、Agent、长期记忆和各种多模态服务,这一年多最大的收获,确实不只是账面上赚到的这几万块钱。

  我一直觉得,技术变化这么快,最怕的不是有些东西暂时不懂,而是慢慢失去了继续学习新东西的兴趣。

  现在回头看,当初在 Mac Studio 上折腾的很多部署方式已经显得非常简单,有些工具和框架也已经被更新的方案替代了。但正是这些看似简单的尝试,让我逐渐理解了很多以前完全不懂的概念,也让我有能力继续去折腾更复杂的东西。

  未来硬件还会继续迭代,模型也会越来越强。也许过不了多久,今天需要四台 Spark 才能完成的事情,一台新机器就能轻松搞定。到那个时候,我估计又会开始研究下一轮硬件和部署方案了。😂

  至于这台 Mac Studio,就让它留在我的技术折腾史里吧。用了 528 天,学了不少东西,最后还卖出了一个意想不到的价格,确实值得专门写篇文章纪念一下。

  机器可以换,探索欲不能停。 🚀

  注:文中设备交易收益根据本人截至 2026 年 11 月的记录计算,部分费用尚在核对。未售设备采用二手市场参考价估值,不代表实际可成交价格。股市对比为特定历史区间的价格回报,年化使用几何折算,不构成投资建议。