twitter 巨屌 国产之光DeepSeek把AI大佬全炸出来了！671B大模子西席只需此前算力1/10，细节全公开

DeepSeek 新版模子认真发布twitter 巨屌，本事大佬们都转疯了！

延续低廉大碗特色的基础之上，DeepSeek V3 发布即十足开源，胜利用了 53 页论文把西席细节和盘托出的那种。

若何说呢，QLoRA 一作的一个词评价等于：优雅。

具体来说，DeepSeek V3 是一个参数目为671B的 MoE 模子，激活 37B，在14.8T高质料 token 上进行了预西席。

在多项测评上，DeepSeek V3 达到了开源 SOTA，高出 Llama 3.1 405B，能和 GPT-4o、Claude 3.5 Sonnet 等 TOP 模子正面掰掰手腕——

而其价钱比 Claude 3.5 Haiku 还低廉，仅为 Claude 3.5 Sonnet 的 9%。

更关键的是，大众伙儿还第一时刻在论文中发现了关节细节：

DeepSeek V3 通盘西席进程仅用了不到280 万个 GPU 小时，比拟之下，Llama 3 405B 的西席时长是3080 万 GPU 小时（p.s. GPU 型号也不同）。

直不雅地从钱上来对比等于，西席 671B 的 DeepSeek V3 的资本是 557.6 万好意思元（约合 4070 万东谈主民币），而仅仅西席一个 7B 的 Llama 2，就要消耗 76 万好意思元（约合 555 万东谈主民币）。

OpenAI 创举成员 Karpathy 对此赞谈：

DeepSeek V3 让在有限算力预算上进行模子预西席这件事变得容易。

DeepSeek V3 看起来比 Llama 3 405B 更强，西席消耗的算力却仅为后者的 1/11。

Meta 科学家田渊栋也咋舌 DeepSeek V3 的西席看上去是"黑科技"：

这口舌常伟大的责任。

全网强烈实测中

先来看官方说法，新模子这次主要有以下几个特色：

最初从模子才智来看，其评测跑分不仅高出了 Qwen2.5-72B 和 Llama-3.1-405B 等开源模子，致使还和一些顶尖闭源模子（如 GPT-4o 以及 Claude-3.5-Sonnet）不分手足。

从本色反应来看，其生成速率提高了3 倍，每秒生成 60 个 tokens。

在又快又好的同期，DeepSeek V3 的API 价钱也被打下来了。

每百万输入 tokens 0.5 元（缓存掷中）/ 2 元（缓存未掷中），每百万输出 tokens 8 元

单讲价钱，正如一启动提到的，它险些是 Claude 3.5 Sonnet 的 1/53（后者每百万输入 3 好意思元、输出 15 好意思元）。

而如果要平衡性能和资本，它成了 DeepSeek 官方绘制中惟一闯进"最好性价比"三角区的模子。

对了，DeepSeek 这次还搞了一个45 天优惠价钱体验期，也等于在 2025 年 2 月 8 日之前，通盘用户使用 DeepSeek V3 API 的价钱差别下落了 80%（输入掷中）、50%（输入未掷中），75%（输出）。

每百万输入 tokens 0.1 元（缓存掷中）/ 1 元（缓存未掷中），每百万输出 tokens 2 元

临了，官方这次一同开源了原生 FP8 权重，并提供了从 FP8 到 BF16 的转移剧本。

具体而言，SGLang 和 LMDeploy 这两个框架已撑抓 FP8 推理，另外两个框架 TensorRT-LLM 和 MindIE 则撑抓 BF16 推理（合适需要更高精度的场景）。

当今庸俗用户不错通过官网（chat.deepseek.com）与 DeepSeek V3 伸开对话，API 也已同步更新，接口设置无需改换。

著名 AI 博主 AK 亲测，只需几行代码就能将它部署到 Gradio。

Okk，话说到这里，咱们胜利来看一些实测后果吧。

首位全职指示词工程师出新题，DeepSeek V3 十足答对

这第一关，来自首位全职指示词工程师 Riley Goodside。

新题为" Which version is this? "，西席模子对本人版块的知道。经受造就的选手除了 DeepSeek V3，还有 Claude、Gemini、ChatGPT 和 Grok。

先说论断，按 Riley 的说法，这几位的回应主打"各不换取"，不外 DeepSeek V3 十足答对了。

Claude 3.5 Sonnet 也对其版块了如指掌——不仅说对了版块号（好多用户非官方地称这个版块为 3.5.1 或 3.6），还给出了发布月份。

（不外 Claude 3.5 Haiku 出错了，误识别为 Claude 3 Haiku。）

不事后头几位选手就启动各式出错了，尤其是 ChatGPT 和 Grok。

ChatGPT 要么给出空乏谜底（基于 GPT-4 架构），要么胜利自信给出诞妄版块，总之处于比较懵圈的情状。

而 Grok 更是独到，表面倒是一套一套，但等于不说我方的版块。（除非胜利问它是哪个 Grok 模子）

除此除外，一些网友还进行了更多测试。

更多网友整活

比如这位 Tom 小哥诧异暗示，DeepSeek V3 无需确立者细致解释，就能"诡异"知道通盘方式。

倏得嗅觉机器里约略有鬼

他惟一作念的，等于告诉 DeepSeek V3 最终筹备是什么。

固然，老章程还是要测一下数草莓中的" r "以及" 9.9 和 9.11 哪个大"这种行业贫寒。 ( doge）

很欣忭，这次它都答对了，并且谜底和分析进程都没问题。

临了，还有东谈主胜利将 4 个 M4 Mac mini 堆叠在一王人来运行 DeepSeek V3 了……

惟一值得缺憾的是，现时版块的 DeepSeek V3暂不撑抓多模态输入输出。

模子预西席：＜2 个月，600 万好意思元

测试收场，咱们持续掰开论文细节。先来看最受存眷的预西席部分：

官方先容，通过在算法、框架和硬件方面的协同优化，DeepSeek V3 的西席资本变得畸形经济。

预西席阶段，在每万亿 token 上西席 DeepSeek V3 仅需要 18 万 GPU 小时，等于说，在官方 2048 卡集群上，3.7 天就能完成这一西席进程。

研发团队用了不到 2 个月的时刻就完成了 DeepSeek V3 的预西席，奢靡了 266.4 万 GPU 小时，再加上险峻文长度彭胀的 11.9 万 GPU 小时，和后西席的 5000 GPU 小时，总西席资本为 278.8 万 GPU 小时。

假定 GPU 租出价钱为每 GPU 小时 2 好意思元，那资本换算过来等于 557.6 万好意思元。

是以，具体是什么样的协同优化？

官方标注了几个重心：

最初，架构方面，DeepSeek V3 经受了翻新的负载平衡战略和西席筹备。

研发团队在 DeepSeek-V2 架构的基础上，建议了一种无缓助耗费的负载平衡战略，能最大秩序减少负载平衡而导致的性能下落。

具体而言，该战略为 MoE 中的每个巨匠引入了一个偏置项（bias term），并将其添加到相应的亲和度分数中，以笃定 top-K 路由。

研发团队还解释，多 Token 瞻望筹备（Multi-Token Prediction，MTP）成心于提高模子性能，不错用于推理加快的预计解码。

预西席方面，DeepSeek V3 经受 FP8 西席。研发团队瞎想了一个 FP8 夹杂精度西席框架，初度考据了 FP8 西席在极大畛域模子上的可行性和有用性。

论文中还提到了跨节点 MoE 西席中的通讯瓶颈问题。科罚战略包括，瞎想 DualPipe 高效活水线并行算法：在单个前向和后向块对内，重迭筹画和通讯。

这种重迭能确保跟着模子的进一步扩大，只有保抓恒定的筹画和通讯比率，就仍然不错跨节点使用细粒度巨匠，收场接近于 0 的 all-to-all 通讯支拨。

另外，研发团队还确立了高效的跨节点 all-to-all 通讯内核等。

后西席方面，DeepSeek V3 引入了一种翻新作为，将推理才智从长想维链模子（DeepSeek R1）中，蒸馏到圭臬模子上。这在显赫提高推感性能的同期，保抓了 DeepSeek V3 的输出作风和长度适度。

其他值得存眷的细节还包括，DeepSeek V3 的 MoE 由 256 个路由巨匠和 1 个分享巨匠构成。在 256 个路由巨匠中，每个 token 会激活 8 个巨匠，并确保每个 token 最多被发送到 4 个节点。

DeepSeek V3 还引入了冗余巨匠（redundant experts）的部署战略，即复制高负载巨匠并冗余部署。这主如果为了在推理阶段，收场 MoE 不同巨匠之间的负载平衡。

临了，来看部分实验搁置。

大海捞针实验：

不错看到，在各项基准测试中，DeepSeek V3 在开源模子中达到 SOTA。

贾扬清谈 DeepSeek 团队：其成就根植于多年专科学问

新版块模子引爆热议，更多关联 DeepSeek 过甚背后团队的信息也被存眷到。

其中，贾扬清还表露了与 DeepSeek 团队早年的相处细节。

那时是 2019 年，他正策画向团队推选一个 AI 云科罚决策，并试图劝服这群东谈主：

国产在线视频不卡一

不需要复杂的云捏造化，只需要容器和高效的调整器。

需要委果快速、互相勾通的专用网罗，如 RoCE 或 Infiniband。

需要像 NFS 这么的通用存储，不需要太复杂，但必须快速。

要让 AI 确立者适意，而不是系统可靠性工程师（SREs）适意。

有爱慕的是，团队暗示这些东西他们早已本质了多年，并转而让他维护向一些大学实验室捐赠算力资源。

固然临了也照实帮上忙了，而贾扬清也再次惊羡：

DeepSeek 团队的伟大成就在某种进程上植根于多年的专科学问，这些专科学问部分被好多东谈主疏远了。

最临了，除了本次官方公布的测试搁置，Imsys 匿名竞技场也出来提前预热了。

家东谈主们，快来用你最难的指示考考 DeepSeek V3。（后续发布竞技场榜单）

体验地址：

chat.deepseek.com

本事评释地址：

https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf

抱抱脸开源地址：

https://huggingface.co/deepseek-ai/DeepSeek-V3

参考纠合：

https://mp.weixin.qq.com/s/iFZOQsUNkpkXPDvOkE99wQ

—  完  —

点这里� � 存眷我，铭记标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿发扬日日相遇 ~