区块链园区发热检测靠谱吗？运维老手说几句实话

在区块链算力园区待了三年, 我见过太多机柜因为散热问题半夜宕机, 所谓发热检测, 说白了就是用红外热像仪、温度传感器把异常热点揪出来, 别让一个芯片过热把整排设备带崩, 这事看着简单, 踩坑的不少。

园区发热检测怎么查

在进行实际操作的时候, 大家会把热像仪的色温设定在50摄氏度到90摄氏度这个区间里, 主要去扫描GPU集群还有矿机背板。一次巡检的工作大概需要花费四十分钟的时间, 对于每一个机柜就要拍摄三到五个不同的角度。

等数据传回来以后, 再用软件做成伪彩叠加的效果，一旦某块板卡的温度比旁边的机器高出8度以上, 基本就得重点盯着这一方面了。

如果只是靠人来一个个地检查机柜, 那肯定是没法实现的, 因为园区里面的机柜数量实在是非常多, 动不动就会达到上千个的样子。

我们在后来采取了自动化的巡检方式, 每隔两个小时就派出一辆轨道车, 让车上携带的热成像仪去扫描一次设备情况, 这样一旦发现存在异常的数据, 就直接发送提醒到运维人员的微信群里, 把误报率成功地控制在了百分之五以下这个水平。

红外热像仪测量出来的数据实际上是温度表面的情况, 这个数值的差异可以达到十几度的程度, 这和芯片结温的情况是完全不一样的。因此绝对不能仅仅依据热图像的展示就做出判断, 必须把板载温度传感器也纳入使用范围, 来进行交叉验证的工作, 只有当这两个数据之间出现相互对不上的情形时。

就在上周, 刚刚处理完毕一起存在隐患的情况, 原因是三排矿机的空调滤网发生了堵塞, 设备表面温度迅速升到了82摄氏度, 在介入进行检查的时候, 发现该设备已经触发了三次降频操作。

如果这种问题再拖延一周时间不去解决, 整个机柜的算力损失比例能够达到百分之二十。关于发热检测这件事务, 确实是实实在在的日常工作, 并不是走个过场而已。