140TB 存储与 640GB A100 GPU 服务器，该下载哪些模型
140TB of storage and 640gb A100 gpu server, what models to download
r/LocalLLaMA 上的一篇求助帖。发帖者称在 Hugging Face 相关限制变化后想下载重要模型，已列出 GLM5.3 (Flash)(abliterated)、DS4 Flash 等，并询问在剩余存储空间下应保存哪些模型和量化版本，还表示想涉足图像和视频模型，同时征集其他人的使用情况。适合关注本地模型部署与硬件配置的读者。
- 分级
- 值得看
- 收录时间
- 2026-10-26
原帖
Since hugging face got token over I want to download the most important models. These include GLM5.3 (Flash)(abliterated) DS4 Flash and more. But since I still have storage left, the question is, what models and quants I should safe that could benefit me the most in the future.
中文大意
发帖人有 140TB 存储和 640GB 显存的 A100 服务器，因 Hugging Face 被收购（"got token over"），想趁现在把最重要的模型下载到本地。他打算保存 GLM-5.3 Flash（abliterated）和 DS4 Flash 等，还剩余大量空间，因此询问该存哪些模型和量化版本、未来最有用，并表示想涉足图像和视频模型，同时想了解大家平时用什么。评论区给了具体模型清单（Mimo v2.6 pro、Kimi K3.1、DeepSeek v4.1 Flash、Flux、Kling 类视频模型等）与"存全权重以便日后自行量化"的建议，也讨论了模型是否几个月就过时、A100 不支持 FP8 的硬件限制，以及自建存储与云存储（AWS Glacier、ModelScope 等替代源）的取舍。适合有大容量本地硬件、想做离线模型归档和本地推理的人阅读。
讨论区核心观点
依据 23 条评论
- 建议按用途（如文生文）筛出近半年的主流模型，按下载量排序把每个大模型都收下来，并优先存全权重，这样以后需要任何量化版本都能自己生成。 出处（新标签页打开）
- 有人提醒这些模型几个月后就会过时，存下来解决不了 Hugging Face 被收购的问题，最多保障生产稳定性；反方认为本地推理在固定硬件上近一年提升已放缓，同尺寸下现有好模型不会很快被淘汰。 出处（新标签页打开）
- 不必纠结量化版本，140TB 空间足够大，问题只在留哪些量化；有评论者曾存满 FP16 版本，结果因加载太慢而闲置。 出处（新标签页打开）
- 具体推荐包括 MiniMax 系列、K2-Horizon、120B 级模型、Flux 及较新的视频模型，以及 Mimo v2.6 pro、Kimi K3.1、DeepSeek v4.1 Flash 等。 出处（新标签页打开）
- 关于存储方案，有人主张自建服务器存储可控、只付硬盘成本，云存储（如 Glacier）价格和条款都不可控，也有人建议找 ModelScope 等 Hugging Face 替代源。 出处（新标签页打开）
- 技术上提醒 A100 只硬件支持 F16、没有 FP8，不少新模型对 A100 缺少开箱优化，想跑起来要折腾；发帖人回应自己主要用 FP6/BF16 和 Int8/4，FP8 能跑但更慢。 出处（新标签页打开）