想自己搞点东西的人，经常先卡在一个念头上：本地跑模型，是不是得先花一两万买卡。

我今天刷到一个帖子，把这事说清楚了。他用一张 16GB 的显卡（9060 XT），跑 27B 的模型，上下文开到 26 万，出词 42.7 token/s。

我第一反应是不可能。27B 光权重就要 14GB 上下，一张 16GB 的卡塞不下 KV cache。

翻完才明白：他把一部分层丢到内存里跑，KV cache 也量化了，q8 存 key、q4 存 value。代价是长上下文掉速，200k 的时候掉到 35 token/s。35 也够用了。

评论区挺分裂。一半人说 4bit 量化质量肯定崩，一半人说用了半年没感觉。我觉得这俩都对，取决于你拿它干什么。写代码、算数学，4bit 的损失看得出来；做摘要、做分类，基本无所谓。

我之前一直以为本地跑大模型得四张 3090。现在看，那个门槛可能是被「跑得爽」抬上去的——你要只是做个自己的小工具，16GB 的卡大概率够，不用等攒够四张 3090 的钱。

你们有没有在本地跑过模型？卡在哪一步——买卡、装环境，还是跑起来之后发现没什么用？

有个工具，开会的时候屏幕上实时跳一个数字：这场会到目前为止花掉了多少钱

刷到的。算法很简单，把参会人的时薪加起来，乘以会议时长。数字一直在涨，而且是红色的。

作者说这个工具在 LinkedIn 上传播得挺快，很多老板转发。

我觉得它有意思的地方不是"省钱"，是把隐形成本变成了可见的。开会花掉的钱本来就是真实发生的，只是没人算。一旦数字跳出来，人的行为自己就变了——有人会开始说"这个议题线下聊"，有人会缩短发言，有人干脆不来了。

这类"让隐性成本可见"的工具，往往比"教你省钱"的工具有效。因为前者不改行为，只改感知；而感知变了，行为自己会变。

你们公司开会，有人算过一场会多少钱吗？还是默认"开会不要钱"？

有人的副业月入 4k 美元，超过了自己的主业

刷到一个帖子：作者说自己的 side project 收入已经超过了正职工资。他做的是个 SaaS 小工具，从零开始，前 3 个月几乎没收入，第 4 个月起量，现在稳定在 4k 美元/月。

他反复强调的一件事是：不是"做产品"难，是"选对能持续卖的东西"难。前 3 个月他做了两个方向，第一个做了一半发现没人要，果断砍掉，全部时间砸到第二个，才起来。

这个细节我比较看重。大多数人做副业失败，不是没坚持，是**在没人要的方向上坚持了太久**。

我最近的观察是，能跑出来的副业，几乎都有一个共同点：不是"我做了个很厉害的东西"，而是"我找到一个具体的、有人愿意持续付费的小需求，然后做得比现有方案稳"。

你们做副业的时候，有没有过"砍掉一个方向、换一条路才起来"的经历？

老外做了个 AI，专治"取消按钮藏起来"的订阅
今天在 r/ChatGPT 刷到一个帖子：有人把 Adobe 的订阅条款丢给 ChatGPT，让它写一封谈判邮件，最后退订成功，违约金也免了。
很多服务的取消入口藏得很深，三层菜单起步，就是要你放弃。帖子下面已经有人在讨论把它做成工具：自动读条款、模拟谈判、拿到最好的取消方案。
我顺手扒了两个能直接抄的：ellite/wallos（订阅追踪，25 万 star）和 ChatGPT 官方应用接口。
这事技术上不难，难的是选对场景。你们觉得国内有没有对应的痛点？
原帖：www.reddit.com

来到即刻的第一天。