买了一台二手Dell PowerEdge R730xd后的一些体会和成长
我大概在2022年底买了一台Dell PowerEdge R730xd。间断用了一阵子,歇着的时候比跑着的时候多,突发奇想地记录一下在家里放一台服务器的体会的个人成长。我也不知道要写什么。教程是没有必要写的,有文档,非常详细的文档。我就想到什么写什么吧。所以就发到了天南海北里,意识流作品。也并不打算真的写很硬核的东西。
这台机器是在无情开评家买的,双路E5-2696V4,192G(16G*12)内存,500G SATA SSD+12T SAS HDD(3T*4),NVDIA Tesla P4,这么个配置。(下文不严格规范大小写了 太累了)
我不是专业搞的,也没见过一手产品,就是玩,轻喷。
第〇个问题 万事查文档 文档比搜索引擎靠谱
拿到设备肯定要升级一下bios和idrac的。如果在搜索引擎上搜,基本都是在idrac的某个页面上传本地下载好的包,然后选升级就行。但是,一定会报错,提示无法验证签名。Dell的bios,在某个版本之前用sha1,某个版本只有换了,需要从现有版本升级到过度版本,然后从过度版本升级1个版本(不是版本号,是发布的包),再从这个新版本升级到最新版。这个过程在文档里会写的非常清楚,也只有文档里才会写。在dell官网搜支持的时候,搜设备系列,不要用快速服务代码。二手设备过了支持期的话,新的包、新的文档、新的各种东西都不显示。
第一个问题 兼容性 还是要查文档
我的这张P4并没有真的起到生产力作用。装上之后风扇长期在76%甚至更高,空载都下不来,当时我只有一个房间,即使放到门外去,也吵得干不了活,而且我觉得真的跑起来邻居会投诉。看别人的文章,说是能用的,我相信也是能用的,但是官方文档没有明确说兼容,其实就是不怎么兼容。服务器的配件,扩展件,一定要明确兼容才靠谱。这里的兼容不一定非要原厂件,但要明文兼容。比如服务器的硬盘背板是sas向下兼容sata的,你说我用场景存储全闪行不行,文档上没说行,自己非要搞,有三种问题,一是插上不认,二是风扇狂转,三是坏的很快;当然不是说绝对不能用,多少会出点问题。还是拿硬盘说事,比如文档说支持dell原厂(贴牌),wd,Seagate,toshiba的hdd,我搞一个三星的怼上去能不能用,还真不一定。要是真不能用了,二手硬盘不好出手吧。
第二个问题 服务器需要至少两条线接路由器 看看口够不够
idrac管理网卡和业务网卡,在物理上是两个东西,所以至少要有两条线,两个ip地址,如果网络设置比较复杂,记得留出来。再不行就要接交换机了。但是,交换机的配置比服务器还难,NAT之后鬼知道会出什么问题。
第三个问题 第一次配置服务器还是需要显示器的
idrac非常强大(这是第四个问题了),但是需要给idrac配置ip地址啊。到手之前,你并不知道卖家或者上家会给服务器配什么奇葩网络,如果手里没有console线,没有串口(以及不会用上面的两种东西),还是老老实实弄显示器和键鼠吧,把idrac的ip配好,才能真远程。这个挺痛苦的。服务器配好之前很吵闹,机旁操作很蛋疼。idrac的配置界面莫名会英文,压力挺大的。
第四个问题 idrac非常强大
idrac就算服务器没开机也能访问,还能通过idrac开机关机。idrac是一个半图形化的东西(很简陋的网页),但至少不需要输入命令。不是很精确的说,可以把idrac理解成比较牛逼的家用pc的uefi那一部分。(现在很多uefi也有gui了不是么),idrac是直接调整硬件的。idrac这个东西是能直接调整raid卡的,能升级bios的,会备份的话还能回滚bios,idrac自己也有固件,而且和bios之间存在版本号的不严格对应关系。就是说idrac和bios如果他们的版本(包发布的日期)跨越的过大,可能会出问题(或者不让刷)。用服务器一般都是虚拟化。装个esxi,然后在esxi里装虚拟机,虚拟机里再装熟悉的操作系统,比如winserver什么的。esxi可以当成服务器的基础/基本操作系统。但是在idrac下,可以直接对硬盘阵列操作。比如有esxi,在idrac下重建raid,esxi就直接没了,数据和虚拟机也直接没了。所以管理网络是才和业务网络分开的,泄露还是很危险的。通过idrac还可以重装系统,装esxi也好,装winserver也好,装ubuntuser也好,装redhat也好,服务器是可以在本机硬盘空空如也的情况下通过网络装操作系统的。很神奇,接受了之后,发现家用pc好笨啊。
第五个问题 重启服务器很慢
服务器重启会自检硬件,所以很慢,非常慢。这个东西设计出来就是一直跑着的。
第六个问题 esxi
dell会发布定制化的esxi的,包里包含完整的驱动。在网上搜esxi装机,很多是工控机跑软路由那套东西,也有蜗牛星际搞nas那套东西,什么自建驱动啊,什么屏蔽签名啊之类的。esxi是vmware发布的,但是dell会自己发布客制化的包,直接用这个就行。esxi安装过程是全键盘操作的,类似debian的安装过程。装好之后会有一个ip,就可以从前台访问了。
第七个问题 电费和噪音
服务器两路电源,基本都1500W以上了,当然空载不会这么大功率,但是这个东西一直开着,一天几度电是没问题的。而且这个东西散热之后会让周围热起来,如果配外置散热的东西,比如服务器放房间,开空调,空调的功率也会需要的比较大,就又花了一分钱。然后是噪音。我搬家之后服务器放阳台,屋子里好一些。之前一室一厅,服务器放客厅,受不了的时候会更多,所以它闲置了很久。还挺心疼的。
第八个问题 所谓个人的成长吧
我没有手册,没有技术支持,没有团队,甚至我自己都不是专业的IT。我就只能求助于互联网,在真正认识第〇个问题之前,走了很多弯路,不只是中文互联网,英文的环境下,垃圾消息也很多。(想象一下遇到日常生活问题查百度知道的感觉)文档以外的东西基本不可信的占大多数,就算有用,也很可能是绕远的路子。比如我向重建raid,各种互相转发甚至剽窃的帖子都要进bios,但是完全没必要,idrac就可以实现。这个领域技术门槛很高,最开始学习那些名词解释都需要一些功夫(不仅是时间,还有精力),我这篇帖子没解释任何东西,idrac/esxi,如果没经历过,是没法理解的。现在回头看看自己折腾的路,特别像那片老梗帖子“观看当代大学生使用电脑”,摸索过来了,而且没淹死,就挺不容易的。这个摸索过程,我中英文皆看,那又怎么样,虽然相关关检测搜索的东西很少遇到资讯农场,但看了一大堆重复且没有营养的东西之后,越来越觉得,世界就是个草台班子。这个领域吧,价格相对透明,海鲜市场上看看,没太大波动,最开始入门买机器或者配件,找个靠谱的门脸还是挺重要的。选择无情开评家,也是看了他的视频之后觉得还行,才开始尝尝看的。这篇帖子没有交易,我的服务器是我自己花钱买的,而且他家那么大的买卖,不至于找我一个非专业人士做推广。我这一轮接触服务器,接触企业设备,很大程度上就是接触了一个新领域,服务器,虽然也是电脑,方方面面的,和pc差别真的挺大的,但真的捅破了那层纸,真的踏进一点点,又觉得似曾相识。折腾本身就是这么个过程吧。我买服务器,最开始是想训练ai模型,真的折腾一圈下来,真的不是很推荐个人在家里买服务器,哪怕是二手三手。有这个钱和想法,不如买台好pc,装个win+lin双系统,显卡加上(不知道4090还买不买的到,真想搞,4090d也不是绝对不行),内存堆上,搞个tb硬盘柜(这不就是搞个高端游戏主机么),比折腾服务器,开篇门槛要低很多了。
综合感触
其实搞一台服务器,还是有点后悔的,钱花了,成果没多少,感觉哪怕二手,性价比也不是很高。我真的不推荐自己在家买服务器,在多数甚至绝大多数情况下,如果不是专业学这个搞这个的,高配pc能解决的问题比服务器并不少。
但是从另一个角度来说,玩起来,会有当年折腾东西的快感。上次有这种快感,还是在2015rmbp上搞可移动磁盘wtg的时候,也就是2015年我刚来论坛的时候。一台服务器,让我找回了那种久违的成长我自我进化的快感,又怎么能说完全没有意义呢。
写了一篇其实没什么价值的帖子。
其实从这一轮回归论坛以来,已经不追求全精华了,最近几篇也都没有精华。
但为什么还是回来呢,就像刚才说的,为了找回那种久违的成长我自我进化的快感。
也为了几年和祭奠曾经的青春。我这些年告别了中文互联网,唯一的记忆,只在这里。回头看看,回来重温过去的“习以为常”,也努力找回之前的从容。
Per aspera ad astra
循此苦旅 以達星辰
viploser
https://arcice.org
UTC+8.00 2024-01-13 23:10
更新一下帖子
纠正几个错误
P4是明确支持的
P40和P100没有明确支持,插上能用,但是需要自制(手搓)供电转接线,我搞不定,也怕着火,所以淘宝解决的。运费高于售价的东西。
更神奇的是我的双路395W电源,插P4提示电源供电不足,插P40和P100不提示。(P4只需要75W,PCIe直接供电;P40要250W、P100要300W,而且需要接供电线;当然不排除我的P4或许有问题,也有可能五改过服务器iDrac设置忘了)
前几天升级了一下服务器
目前最新的配置是
双路Intel E5 2696 V4(单路2.20GHz 22核 44线程)
6块 960GB Intel SSD 组RAID5
6块 8TB Dell 7200转 HDD 组RAID5
2133内存 16GB 共24条插满 理论内存384GB
Nvida Tesla P40显卡 1张 3840cuda核心 1303MHz 384-bit 480GB/s 24GB FP16-0.184TFLOPS FP32-11.76TFLOPS FP64-0.367TFLOPS GP102
(备Nvida Tesla P100显卡 1张 3584cuda核心 1190MHz 4096-bit 732GB/s 16GB FP16-19.05TFLOPS FP32-9.526TFLOPS FP64-4.763TFLOPS GP100)
(闲置Nvida P4显卡 1张2560cuda核心 886MHz 256-bit 192GB/s 8GB FP16-0.089TFLOPS FP32-5.704TFLOPS FP64-0.178TFLOPS GP104)
关于预算
所有件都是二手 就是所有 机箱主板CPU硬盘内存GPU电源线插线板都是二手
低端GPU计算卡的价格跳水很严重 P4目前300上下就能买到 P40和P100大概800上下就能买到
关于无情开评
他家有个淘宝店 无情开评严选
直接给B站号发私信也很快就有人回
他在B站发过粉丝群二维码 里面有Evan(彭总)
补充一点体会
ToB的设备和ToC的完全不是一回事,上手门槛很高。我主业和IT毫不相关,目前也算能搞服务器折腾的不怎么年轻(但也不敢说老)挨踢了。
个人非常不建议自己搞服务器放家里。真的还是挺吵闹的。我搬了新家有阳台了,把服务器放在阳台上才基本做到不影响生活吧。 真不错,其实精华不精华没这么重要,重要的是把自己想写的都写出来,当然如果能放一些图表会更好一些,毕竟文字比较单调啊。 官方说明文件是最权威的。
服务器不能和家用计算机相比,最大的优点是稳定和安全,其他的都是缺点!! 我还是比较喜欢用笔记本。 这配置真的好强大。花了多少预算 天亮去看流星雨 发表于 2024-1-15 20:18
我还是比较喜欢用笔记本。
我也是手边随时备有笔记本,携带方便,随时可用。 无情开评他家居然有to C的业务{:7_287:}一直以为只有to B的,想问下楼主是如何联系的? ssuoi 发表于 2024-1-16 15:01
无情开评他家居然有to C的业务一直以为只有to B的,想问下楼主是如何联系的? ...
我也是第一次知道!