很多行业/企业都在接入DeepSeek一体机,表明了行业/企业都在积极拥抱AI大模型,拥抱AI大模型等于拥抱未来!
接入DeepSeek一体机没有错,但如何选对一体机则大有学问,不要以为,接下来要谈满血版、残血版的话题,实际上,接下来要言谈话题,更为重要。这就是DOIT视频号《选型中的学问,DeepSeek一体机不仅是满血版!》直播,安擎计算机信息股份有限公司(以下简称'安擎')首席架构师张骏、安擎产品技术总监刘龙、百易存储研究院负责人宋家雨等嘉宾希望交流的话题。
你要关注一体机显存容量
接入DeepSeek一体机,显存容量是一个特别重要的指标,实际上,671B满血版也好、70B残血版也好,体现在一体机上,其中最需要关注的指标就是GPU显存容量,因为事关一体机的性能表现,如TTFT(Time to First Token,首Token响应时间)、后续Token 延迟 (TPOT) 、TPS(Tokens Per Second),也就是,DeepSeek一体机好用与否的问题。
有些领导会对私域部署的DeepSeek一体机性能有所质疑,其性能不如云版本提供的服务,质疑其响应速度缓慢不好用,其中部分问题就出在显示内存容量上。对于Deep Seek一体机的显存容量有一个计算公式,重点考虑大模型参数(如671B、70B)、激活参数、参数精度,以及上下文的数据缓存等要素,因为它们都要加载到显存,否则就会影响推理的速度。对此,在直播对话中,嘉宾也给出了一个简单计算方法,就是参数量◊2。
实际上,不同的GPU处理器版本,其内置显存容量不同,有大有小,如果DeepSeek一体机的显存容量确定了,所需要的GPU卡的数目也就确定了。也就是说,选择GPU不仅是看谁的计算能力强,同时也需要看显存容量的配置。
为什么GPU设计不尽可能多配一些HBM显存,让问题简单化?实际上,高带宽是HBM显存的优势,但其容量偏小,且价格昂贵! GPU灵活配置不同容量HBM,有助于用户进行更加合理的选择,既然如此,在DeepSeek一体机的选型中,就应该认真观察显存特别是HBM显存容量配置,这就是经验之谈。
有场景的用户会选择70B,更为领先
接入DeepSeek一体机是个好的开始,例如三大运营商之中,有的使用DeepSeek辅助办公,对于内部会议进行纪要、整理;的使用DeepSeek辅助软件开发、代码生成,但这些都是在使用DeepSeek一体机的基础能力,私域部署DeekSeek一体机,主要是考虑公有云服务所不具备的私密性和掌控性,但是不利的方面,用户需要自己管理和运维系统。
接入DeepSeek一体机,更为重要的是DeepSeek和行业数据以及行业业务经验的紧密结合,需要让DeepSeek成为真正的行业专家,与行业的业务发展进行深度融合,与行业场景的融合就需要使用行业私有数据,或对DeepSeek大模型进行微调(Finetune)或者采用RAG(Retrieval Augmented Generation,检索增强生成)并结合知识图谱的方案。此外,不仅仅是文本、图像、视频、音频等非结构化数据,同时也要结合数据库、ERP等应用中的结构化数据,对于业务进行创新,这才是大模型给行业带来的本质性变化。
接入DeepSeek一体机就是一个开始,接下来还有很多业务开发的工作。对此,需要企业培养自己的专业技术团队,发挥人力资源的优势。也只有依赖自己的专业团队,才能够随时、随地将开源最新的技术进步付诸实践,从而构建敏捷、迭代的业务创新模式,原有的Total Solution的IT服务外包模式显然难以满足需求,这意味着企业需要从购买产品方案的模式,转型为养人DIY的模式,DeepSeek一体机应用也是如此。
有意思的是,购买DeepSeek 70B等残血版一体机用户,常常会有非常明确的场景需求,会有清晰的分析和规划,以适用、够用为原则;相比,没有明确场景用户的需求,往往会惟恐不能满足需求,常常会愿意支付更多费用,购买671B满血版,采取更加稳妥和保守的策略。
某种意义上衡量,购买DeepSeek一体机残血版的用户,往往在应用上更为领先,当然敷衍、投机者除外,这也是一个非常有意思的现象。
一体机不等同于一台机器
有些人会把DeepSeek一体机等同于一台机器,实际上,前面说过,为什么会有感觉私有部署DeepSeek一体机不好用,性能不行,除了显存等硬件配置之外,一台DeepSeek一体机所能够支持的用户数,所谓并发性能的限制也是重要原因,当超出上线就会出现等待的现象,这也是为什么DeepSeek官方发布声明:服务器资源限制导致有些用户访问效果不佳,响应缓慢的原因。私域部署DeepSeek一体机当然概莫能外,需要衡量所支持的客户数量,有时候就要考虑构建DeepSeek一体机的集群,如果这样,则网络带宽以及存储的性能,都会影响DeepSeek一体机的整体访问性能。
DeepSeek一体机也同样遵循RPM(Roofline Performance Model,屋顶线性能模型),也就是屋顶线模型(Roofline Model),其依据算术强度(即计算量与数据量的比值)来判定程序性能是受限于硬件的算力峰值、内存以及IO带宽,用于分析模型在特定计算平台上所能达到的理论计算性能上限(由于环境等因素的影响,实际性能测试结果一般差于Roofline模型给出的结果)。对应的场景不同,对于算力、I/O以及存储性能的需求有所不同。
有些用户选择70B模型为例,就是充分考虑了RPM,对于参数、精度等不同因素的影响和需求。
冷板×浸没双模出击:超流体液冷定义散热新维度
尽管DeepSeek大幅度拉低了算力门槛,但高算力必然带来高能耗,以GPU为例,单张GPU显卡的功耗达到700W左右,一台DeepSeek一体机往往配备8张GPU卡,如此其功耗就达到了5600W,在加上CPU(500W)以及DRAM、SSD、网卡等电力消耗,DeepSeek一体机就是一台耗电的怪兽。
更为头疼的是高能耗必然带来集中散热的需求,这也是液冷技术备受关注的原因。其中,超流体液冷最为引人注目。
超流体液冷技术的灵感源自三菱重工在远洋船舶领域的“空气润滑系统”:通过向船底注入气泡降低阻力,提升航行效率。英特尔于2023年提出将这一原理应用于数据中心散热:在冷却液中注入可控微气泡,显著提升流速与热传导效率,同时结合冷板散热与新型介电液(不导电、防漏液),实现散热效能与安全性的双重突破。该技术既可适配冷板式液冷(精准定向散热),也能扩展至浸没式液冷(全机浸没高效均温),并通过在循环分配单元(CDU)中集成超流体生成器,灵活应对不同场景需求。
测试数据显示,超流体技术可使散热效率提升30%以上,助力数据中心在同等能耗下承载更高算力密度。
在直播对话中,安擎嘉宾透露将推出单机16 GPU卡配备的DeepSeek一体机,很重要的一个因素就是超流体的液冷技术提供保驾护航。
小结
购买一台一体机,接入DeepSeek看似简单,但简单之中更有大学问。此外,DeepSeek一体机和私有数据的结合,更是颠覆式的创新,而这将直接决定企业的未来。
更多细节参见DOIT传媒视频号《选型中的学问,DeepSeek一体机不仅是满血版!》直播回看!
注:该文转自DOIT传媒公众号