本地部署d p c r e到底需要什么配置？同型号的r一模型性能差别有多大卡，四零二模型是怎么七百人并发需求服务器应该如何配置？我打算购买硬件，应该如何才能避免踩坑呢？本期视频为你带来全网最详细的deep i c r e模型本地部署硬件配置方案，关切提醒大模型硬件选配其实并不复杂，但非常繁琐，需要匹配不同场景下各类的硬件参数。因此我为大家准备了一份速查表，方便大家随时查阅这套速查表，包括大模型推理和训练通用硬件选配表、c r e各类硬件需求表，以及一份deep sr一硬件选配思维导图。这应该是全网最详细的资料了。接下来我从一个大家最关注的问题开始讨论，它就是本地部署满血版diep sc r一模型到底需要什么样的配置。我们假设并发量在一百左右，一个稳定的配置方案是双节点服务器。每个节点的服务器配置是八卡a一零g p u以及两颗英特尔至强八三五八或者六三四八c p u，并且哎配置五百一十二g内存和五t硬盘。单节点服务器价格在一百八十五万上下，双节点服务器总成本约在三百五十万到三百七十万左右。需要说明一点的是，国内g p u价格水很深，视频中报价都以一些公开渠道的价格为参考，具体采购价格需要根据实际情况确定。并且如果是配置a一百h p u，还需要额外将deep seek r一一模型的权重精度由原先的b f八转换为f p十六再进行计算。而如果想要进一步的提高模型性能，可以考虑将g p u升级为h二或者是h八零，会有更好的推理性能，并且原生支持d八推理。而如果是希望进行d p c r e满血版模型的无微调，目前最高效的方案是采用classa a i的分布式lora高效微调。相比其他框架，classa a i高效微调方案能节省将近百分之五十的显存占用，仅需四个节点。a零八卡服务器即可运行。也就是在原先的服务器硬件组上翻一倍，高效微调，相当于是重新训练模型的一部分参数。往往呢也需要更大的显存这样的一套服务器。好，倒是挺好的，但价格太贵了。有什么方法能够以更低的成本部署deep sir一模型吗？有，但是需要做一些取舍。总的来说，低成本、高性能的部署方案有三种，其一，将g p u更换为推理芯片，放弃模型的训练功能。其二，将deep sc r一模型更换为量化模型或者是蒸馏模型，放弃部分推理性能。其三，采用c p u加g p u混合推理，牺牲部分推理速度。三套方案如图所示。那么接下来就大家逐一来进行介绍。首先如果我们不需要对大模型进行训练或者是微调，那么可以考虑将a一百显卡替换为一些推理卡，或者是国产显卡，甚至是使用mac mini系列芯片，成本呢将大幅降低，但服务器将不再支持模型训练和微调。这里我们需要简单做一下科普，什么是大模型的推理，什么是大模型的训练？一般情况下我们和大模型聊天，或者让大模型完成某些任务。这个呢属于模型推理。而所谓的模型训练指的是通过输入大量的数据让模型进行学习，从而调整模型某方面的能力。比如说前面谈到的模型微调，就是模型训练的一种具体形式。而对于像a一百这种级别的g p u，是同时具备模型训练和模型推理能力的。但如果实际使用场景不需要进行模型训练，那确实可以考虑配置，只适合进行模型推理的显卡。比如说英伟达的专业图，显卡，像r t x六千，总共四十八g显存，市场价在五万左右，到a一百的三分之一。这类显卡原本是为三d渲染工作设计，现在呢可以进行大模型推理，但训练或者微调方面性能非常弱。此外，deep sc r一也是全面适配国产芯片的，因此也可以考虑采用华为升腾芯片，总成本可以降低百分之五十以上，服务器成本可以控制在八十万到一百六十万之间。而如果是个人或者小团队使用并发量呢，在十以内还可以考虑直接使用苹果的m系列芯片，仅需三十万就可以采购二十台六十四g mac mini。借助e x o搭建服务器集群，可以流畅运行d p c r e模型。这些芯片都是只能进行模型推理，无法进行模型训练或者微调的解决方案。这三种芯片的方案优劣势对比如图所示，如果说更换芯片是牺牲模型的训练性能来换更低的呼吸成本。那么第二套方案就是适度的牺牲模型的推理性能来降低硬件成本。其实很多场景下我们并不一定要用到最顶尖的b c c r一六百七十一b模型。有的时候也可以考虑deep c r一的量化模型或者蒸馏模型。这些模型能够在保证性能的情况下大幅降低硬件成本。首先我们先来看deep cr一一量化模型。所谓量化模型指的是经过了精度压缩之后的模型。模型量化的过程和文件压缩过程类似。比如我们用微信传图片，图片太大就会被压缩。量化呢会导致模型的精度下降，但是运行所需的硬件门槛也会大幅降低。当然量化也分等级的deep c r一模型的量化一般分为以下几个等级，分别是q二、q三，一直到q八。其中q二、q四、q八也被称作inter into四和i八。量化数值越高，代表的保留的模型的精度呢也越高，模型体积更大，性能更强，运行所需要的算力也更大。反之数值越小，则代表压缩程度很大，性能更弱，运行所需的算力也更少。最低的q二p m量化模型仅在双卡a一百的服务器上即可运行，并且模型性能和响应效率都能够得到保障。而如果是八卡a一百单单节点服务器的话，则可以流畅运行q四k i模型。该模型也是目前公认的能够比较好的平衡模型性能和计算效率的量化模型，也是欧拉玛默认支持的量化模型。当然如果还能进一步的放宽模型的性能要求，那可以考虑deep sc r一的真流模型组。这组模型是deep sir e模型。蒸馏了千问拉马的模型之后，得到的模型，模型推理能力很强，而且模型的尺寸从一点五b到七十b不等，可以适配从消费者显卡到服务器及显卡，各类硬件最小的一点五b模型，g t x幺幺零显卡即可运行。编程能力可以达到g p t四o级别，而最大的七零b模型则需要双卡a零服务器才可以运行。和deep sir一q二量化模型，运行条件相当详细的r一蒸馏模型组运行所需的配置如图所示。当然，如果你既不想在模型性能上上步，同时又希望能够节省g p u成本，那么最后还有完了就是同时借助c p u跟g p u进行混合推理。由于采用了c p u来执行计算任务，g p u的负载就会大幅降低，整体的硬件成本也会大幅下降。但是毕竟c p u并不适合进行深度学习计算，所以模型整体的推理速度会很慢，而且无法进行模型训练和微调。虽然这套方案牺牲了计算速度，但仍然是目前热度最高的低成本高性能补助方案。你要了解这套方案背后的玄机，我们需要补充一些基础知识。其实早在二零二三年三月，也就是拉玛蒂弹模型开源不久，有一位森源大神在k x b上发起了一个名为拉马点c p p的项目。该项目非常夸张的用c语言写了一整套深度学习底层的张量计算库，极大程度上降低了大模型等生物学算法的计算门槛，最终使得大模型可以在消费级的c p u上来进行运行。值得一提的是，拉马点c p p现在已经成了大模型量化的标准解决方案。前面我们谈到的q二、q四、q八等模型量化都是借助拉马点c p p完成的这个神奇项目。现在kk top上已经斩获了七十五k的stars，借助腊八点c p p可以使用纯c p u的方式呢来运行deep sit r e模型。只不过此时模型需要大量的内存来加载模型权重，并且运行速度非常慢。不过呢硬件价格倒是可以很便宜，就比如说网上甚至有五千块运行deep sic r e q四k m模型的主机方案。只不过这个时候采用的是纯c p u推模式，每秒只能输出两个字，并且不支持并发一个三百字的小作文，总得写个两三分钟。那能不能在c p u推理基础上再借助一些g p u的能力来进行加速呢？基于这样的一个思路，清华大学团队和on stop队分别提出了可以同时借助c p u跟g p u进行混合推理的d p c r e部署方案。其中清华大学发起的create transformer项目可以借助r一模型的m o e架构特性，将专家模型的权重加载到内存上，并分配c p u完成相关的计算任务。同时将m l a k b catch加载到g p u上，从而实现c p u加g p u混合推理这个方案中十四g显存加三百八十二g内存即可运行deep stic r e q四k模型。而这套硬件价格最多不超过五万块即可拿下。相比于八卡a百服务器，可以说是节省了至少百万成本。不过这套方案最大的问题在于模型运行速度会大幅受到c p u性能的影响，需要四代智强芯片才能到十个以上。talk每秒，并且cc transformers对g p u能力挖掘不足，高并发场景下表现乏力，更适合小团队或者个人使用。相比之下，unstop提出的动态量化方案会更加综合一些。所谓动态量化技术，指的是可以围绕模型的不同层进行不同程度的量化。关键层呢就量化的少一点，非关键层就量化的多一些中得到了一组比q二量化程度更深的模型组，分别是一点五八比特模型、一点七三比特模型和二点二二比特模型。尽管量化程度很深，但实际性能其实并不弱。此外，uns还提供了一套可以把模型权重分别加载到c p u跟g p u上的方法。用户可以根据自己的实际的情况，选择加载若干层到g p u上，然后剩下的模型权重加载到c p u上来进行计算。例如如果是二十四g显卡，并且运行一点五八米的模型，那么最多可以加载七层的模型，权重到g p u上，其他的就要给c p u来进行计算。而如果假设有双卡a一百服务器，并且选择二点二二比特模型，那么可以将四十九层加载到g p u上来进行运行，并且加载到g p u上的层数越多，并发量也越大。例如假设运行一点五八比特模型，如果把全部的六十一层模型选中，全都加载到双卡a一零g p u上，那么服务器的吞吐量将达到一百四十tok每秒，支持百人并发，并且能够保证每人十四tok每秒的响应速度。很明显，这套方案灵活度更高，也能更加充分的去挖掘g p u的性能，从而保障并发量，更适合有一定硬件基础的企业来使用。总的来说，这三套低成本高性能部署方案中，c p u加g p u混合推理应该是性价比最高的方案了。不过，这套方案的技术难度却很高，我们团队攻坚克难，为大家提供了完整的零基础保姆级部署流程。这也是全网独家的部署教程，大家扫码即可领取。同时相关救援视频也可以在我的b站主页上看到。好了，以上就是deep c r一完整部署方案介绍，具体的选配流程可以参考这个思维导图视频的最后给正在采购硬件的伙伴们提供一份避坑指南。伴随着deep sc r e本地部署需求暴增，也有很多厂商提出了deep sc r一一服务器，并且有些r e服务器简直便宜的离谱，几万块钱的服务器就能号称部署r一满血版模型。硬件市场一般不会有天上掉馅饼的好事。这个时候我们需要从以下四个方面进行仔细的甄别，一、确认运行的模型版本。我们需要确认运行到底是哪个耳音模型，以及是不是经过量化后的模型，或者是蒸馏模型。其二，确认硬件型号和运行模式。如果是c p u加g p u混合推理，那么四代至强c p u推理性能更强。而如果是纯g p u推理，则需要确认是图形显卡，如a六零还是推理训练一体显卡如a一，零。如果是图形显卡，那么未来可能无法进行模型训练和模型微调。其三，需要确认响应速度和并发量。一般来说，单人响应速度在六tok s每秒属于能够接受的范围。十四talk s每秒属于比较舒服的响应速度，同时还需要考虑服务器并发量。也就是假设团队多人使用情况下，能不能够达到每人十四talk s每秒。其次需要确认硬件是否全新以及未来的保修策略。硬件市场鱼龙混杂，有很多以次充好的翻新硬件，需要仔细的确认硬件的情况以及未来保修的策略。在确认以上信息后，可以根据实际需求来采购硬件。好了，以上就是本期视频的全部内容，我是九天。如果觉得视频有用，记得三连支持，我也将本期视频的全部内容制作成了这张思维导图，大家扫码即可领取更多deep seek教程，会在近期上线。