最近一直忙于训练大模型,厂商咨询了各家云厂商,高性要不就是价比H800没货,要不就是云服价格贵得离谱 ,还真是推荐个令人头疼的事
,最后千辛万苦租下来38台8卡H800,厂商安全高防云终于算是高性手里有上规模算力的玩家了。
在跟各大厂家掰扯的价比过程中,也积累了不少知识和经验 ,云服跟大家分享一下,推荐购买CPU算力和购买GPU算力是厂商不同的,GPU在使用几年以后,高性就会变成没人要的价比矿渣卡 ,毕竟大模型要求越来越高 ,云服新的推荐GPU性能越来越高 ,新版GPU出来 ,老版GPU就不好卖了。比如H200一出来 ,原来的A100、H100瞬间就不香了,如果不是英伟达对中国市场限售,老GPU真的毫无竞争力 。

但是CPU不一样,哪怕是上架5年 ,财务计提为零的设备 ,只要还在机房里通电,有网络 ,云厂商仍然可以把老的CPU+内存以云服务器的形式卖出去 ,只要售价能够覆盖运营成本(机房费用 、电费、网络费用)即可 。也是要感谢云厂商这么多年持之以恒的建机房、买设备,然后设备到期 ,DDOS防御高防服务器租用我们才能在今天看见大量的1C2G低配云主机 ,卖出一年不到100块钱的超低价格,像我于公于私都买了不少云服务器。

这是一个技术平民化的时代 ,有动手能力的同学,是应该控制几台云服务器让他帮你完成日常工作的。比如我会用Rsshub获得海量的自定义订阅源,用huginn完成基础的舆情自动化,用FastGPT搭建自己的大模型Agent ,用Joplin搭建自己的多终端文档服务器 ,用wallabag收集自己浏览过的好文章 ,再搭一个PostGres向量数据库支持大模型,最后搭一个微信机器人搭配AI辅助自己工作 ,都可以用一百块钱不到的云服务器搞定 。值得入手 。
那么