✍️ Gate 广场「创作者认证激励计划」进行中!
我们欢迎优质创作者积极创作,申请认证
赢取豪华代币奖池、Gate 精美周边、流量曝光等超 $10,000+ 丰厚奖励!
立即报名 👉 https://www.gate.com/questionnaire/7159
📕 认证申请步骤:
1️⃣ App 首页底部进入【广场】 → 点击右上角头像进入个人主页
2️⃣ 点击头像右下角【申请认证】进入认证页面,等待审核
让优质内容被更多人看到,一起共建创作者社区!
活动详情:https://www.gate.com/announcements/article/47889
为什么在本地运行模型?
通常有两个主要原因 - 隐私和成本
让我们通过一个例子来探索成本方面,看看数学如何计算
假设你想像 @karpathy 一样整夜运行自动研究循环
如果你能访问 H100,你可以在一夜间使用 Opus-4.6 运行 100 个实验,API 成本可能在 $10-25 范围内
但我们大多数人都没有那么幸运能访问 H100
我们仍然可以在 MacBook 上以相同的 $10-25 运行 100 个自动研究实验,但这不是苹果比苹果
H100 在相同时间范围内将完成 50-100 倍以上的训练步骤
所以如果你想重现相同数量的训练步骤,你最终可能要支付 $1000 以上的 API 成本,当然这也会比一夜间花费更长的时间
这不会很明智,因为你可以以更低的价格租赁 H100 并更快地完成同样的工作
但这开始展现了为什么你想要在本地运行模型的原因 - 它使你能够进行实验,否则对大多数人来说成本会过高
它开始平衡竞争场地
我在一台较旧的电脑上运行 Qwen3.5 9B,现在对我来说进行我原本不会做的实验是有意义的,如果我要承付 API 成本的话
这是一个巨大的突破,随着时间推移,随着模型变得更好和更小,这的空间只会进一步扩大