Feature Reading

本地跑大模型要多少内存?16GB Mac实测只到20B

将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。

本地跑大模型要多少内存?16GB Mac实测只到20B
Sports Insight

当前位置

当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。

本地跑大模型要多少内存?16GB Mac实测只到20B

下载模型之前先算一笔账:它到底进不进得来内存。估算方式是把三样东西加起来,再拿去和机器实际能给模型的内存比一比。 公式很直白: 需求 = 权重 + KV 缓存 + 额外开销 ,判断条件是 需求 ≤ 可用内存的 80% 。下面这组数字来自桌面应用 osFoundry 的本地模型浏览器所用的同一套估算,并已用 16GB M3 MacBook 上应用显示的数字做过核对。 权重:量化方式决定字节数 权重体积等于参数数量乘以每个权重占的字节,而字节数取决于量化。Q4_K_M 之所以用 0.56 而不是 0.5,是因为 K-quants 会为权重的每个小块额外存一个缩放系数,算下来大约每个权重 4.5 比特。 以 Q4_K_M 下的 14B 模型为例:14 × 10⁹ × 0.56 = 7.84 × 10⁹ 字节,约合 7.3 GiB。如果认不出量化名称,就按 FP16 估——这是最悲观的算法,好处是你不会把实际装不下的东西当成"能装下"。 KV 缓存:上下文越长越吃内存 生成时模型要保留上下文中每个 token 的 key 和 value,体积由层数、KV 头数、头维度、上下文长度和每元素字节共同决定。Qwen2.5 14B 有 48 层、8 个 KV 头(用了分组查询注意力)、头维度 128,配 FP16 缓存时: 4K 上下文:2 × 48 × 8 × 128 × 4096 × 2 字节 = 768 MiB 32K 上下文:6 GiB 缓存随上下文长度线性增长,所以 4K 下轻松装下的模型,到 32K 就可能装不下。不说明上下文长度的估算参考价值有限,带截图的那种估算默认按 4K 算。 额外开销:权重的一成再加两百兆 llama.cpp 还需要计算缓冲和暂存空间,粗算为权重的 10% 再加约 200 MB。14B 模型这一项接近 0.9 GB。三项相加,Q4_K_M 的 14B 模型落在 8 到 9 GB 之间,应用显示的是 8.4 GB。 可用内存:最容易算错的一步 独立显卡:显存就是上限。12 GB 的卡就是 12 GB,系统内存再大也没用。 Apple Silicon:内存是统一的,但 GPU 用不满全部,系统也要留自己的一份。按总内存的 75% 算是个能用的数字,16 GB 约合 12 GB。 然后做比较:需求不超过可用内存的 80%,算装得下,还给系统和其它应用留了余地;80% 到 100% 之间是紧张,能加载,但得先关掉别的应用;超过 100% 就开始往磁盘上换页,慢到没有使用价值。 在 16GB Mac 上结果是这样:Q4_K_M 8.4 GB(70%,装得下)、Q5_K_M 10.4 GB(87%,紧张)、Q6_K 12.3 GB 和 Q8_0 14.9 GB(超出上限)。按 Q4_K_M 横向套到多个模型上,这台机器的分界线落在 20B(11.9 GB,紧张)和 27B(15.9 GB,太大)之间。 速度也由这个数字决定 每生成一个 token,都要把全部权重从内存里读一遍,所以生成速度的上限等于内存带宽除以模型体积。基础版 M3 带宽约 100 GB/s,8.4 GB 的模型最多跑到每秒 12 个 token 上下,4.9 GB 的 8B 模型约 20 个。实际数字会低于这个值,但模型之间的比例关系相当准。 也就是说,体积估算一次回答两个问题:模型能不能加载,以及加载之后大概写得多快。 特别

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
国米伤停名单再添一人,左腿内收肌拉伤至少缺阵两场
国米伤停名单再添一人,左腿内收肌拉伤至少缺阵两场

国际米兰的伤病名单又长了一行。俱乐部确认,路易斯·恩里克左大腿肌肉拉伤,此时距离国米在圣西罗迎战佛罗伦萨只剩两天。 这位巴西边路球员周五上午在罗扎诺的Humanitas研究所接受了检查。国米官方发布的伤情通报显示,扫描结果为 左大腿长内收肌拉伤 。通报内容简短,既没有给出恢复时间表,也没有安排复查日期。 没有官方时间表,意大利媒体的估计并不一致。Internews24报道称,路易斯·恩里克是在最近

三镇vs浙江首发:3外援PK3 若卡、莱昂纳多先发
三镇vs浙江首发:3外援PK3 若卡、莱昂纳多先发

10月18日晚上,19点35分中超第28轮,武汉三镇主场迎战浙江队。 武汉三镇首发:32-刘殿座、4-姜至鹏、5-朴志洙(F)、23-任航、25-邓涵文、28-王毅、12-张晓彬、16-张辉、37-达兰-门德斯(F)、7-陶强龙、14-若卡(F) 替补:31-郭嘉宇、38-陈星、18-刘奕鸣、43-张涛、6-阿布拉汗、10-罗森文、21-何超、34-熊继政、35-阿卜杜热合曼、41-夏晓曦、20-

弗拉格正在用表现证明,他很快就可跻身联盟顶级球星?
弗拉格正在用表现证明,他很快就可跻身联盟顶级球星?

113比109,独行侠客场击败热火,热火开季四连败。但这场比赛里的焦点数据来自库珀-弗拉格:29分、11次助攻、6个篮板、5次抢断、3次盖帽,出场40分钟,23投12中,正负值+8。得分、组织、抢断、护框,这四件事在同一场比赛里同时做到了这个量级。 先说清楚他在这场比赛里承担了什么。独行侠全场送出31次助攻,弗拉格一个人占了11次;全队11次抢断,他占了5次;全队10次盖帽,他占了3次。一个19岁

40球20助VS27球1助!绝代双骄的遮羞布,该被扯掉了
40球20助VS27球1助!绝代双骄的遮羞布,该被扯掉了

一直以来,梅西和C罗都被并称为绝代双骄,可真实情况似乎从来没有那么温情脉脉,尤其是到了生涯末期,两人之间的对比更是显得无比凄凉。有媒体专门晒出了2026年至今两人的数据对比,越对比就越能发现,两人之间的差距真的不是一星半点。 根据阿拉伯媒体winwin近日晒出的数据显示,2026年至今梅西合计出战了46场比赛,合计交出40球20助攻,场均制造直接进球数达到了1.42个。反观C罗在2026年合计出战

11.17日:东盟峰会晚宴合影,黄循财站中间核心圈,高市早苗第三排紧挨李在明,莫迪居侧
11.17日:东盟峰会晚宴合影,黄循财站中间核心圈,高市早苗第三排紧挨李在明,莫迪居侧

一张晚宴合影,把东盟这盘棋的亲疏,摆得很直白。 11月16日晚,菲律宾马尼拉,第49届东盟峰会晚宴。 四排人站定,镜头扫过去,谁在中间、谁在边上、谁在最后,比任何通稿都诚实。 东道主马科斯夫妇站最正中间。 左边是东帝汶古斯芒、越南黎明兴;右边是新加坡黄循财和夫人吕子蕊。 文莱苏丹哈桑纳尔带着儿子,压在右轴。 黄循财笑得舒展。 他站的位置,离C位就半步,这不是巧合。 新加坡2027年接任东盟轮值主席