浪潮服务器CS5280H2、NF5280M6安装海飞科GPU方法，Pcie通道拆分本领
1、配景某客户必要一台CS5280H2服务器，必要安装2张海飞科C20 GPU,经过测试服务器始终无法识别GPU，后来通过非官方的改配方法使GPU可以识别。
2、本次改配难点
海飞科C20卡物理上看是一个X16的通道，实际上是2张X8通道的卡。也就是说看着是一张卡实则是把2张卡焊在了同一张板上。通过和海飞科的技能人员沟通得知必要把服务器X16通道手动拆分为2个X8，就可以识别出2张C20的GPU卡。
到这里问题来了，浪潮服务器在M4以后都只能自动拆分，不支持手动拆分，默认插上后是个X16通道，导致终极一张卡都识别不出来！
3、服务器Riser卡(Pcie套件)
CS5280H2必要搭配Riser卡才能插Pcie卡，共有3种转接卡，图片是NF5280M6的实际状况和CS5280H2差不多，可以参考
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvMDgxNTNkYWY3ZTg2NGQ5Mjg2YmZlMmVmODM5ZDAyZTIucG5n
Pcie通道数如下图
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvNDEyNGZmMmI4YjM3NGQ4ODlhOTIwYjNiODlhNDM0MWEucG5n
由于海飞科这款GPU是双宽，GPU安装位置只有3个
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvYTYxMTcwZjlmM2I1NDQ0ZTkzNTE2ZDg2ZTdmMjc1NGYucG5n
4、测试思路
第一次安装左边转接卡时，插在中间位置的完整X16通道，结果一张都没识别出来，转接卡接线如图
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvY2Y1MmMxZWQwNmE2NGNkMmIyNWQxZDE4MTU1Yzg1ZjkucG5n
后来把转接卡金属壳拆了，只插上面的x8通道可以识别出1个GPU卡。
可以得出一个结论，PCIE通道必须要拆分，否则插在X16通道上一张不会识别。
5、使用中间套件
服务器的PCIE中间套件全部接口都是使用Slim线毗连的，是否可以通过插不通的通道，物理上的拆通道，每根Slim线是1个x8通道，中间转接卡通道接口如图
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvZmEyZmRhZmVmZTQzNDNlMTg0ODdiOTY4ZGI2MTMzMmMucG5n
经过测试发现，可以把左侧两根线插到不通的PCIE通道就可以实现通道拆分，。但是这个PCIE通道2个x8接的是同样设备通道又会集并起来。
也就是说只必要找到4个PCIE通道，并且只用此中1个x8就可以让GPU卡全部识别。
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvMDZiNDZkYjVhZWNhNDRmZmE2ODhkNTE4MDU0NTI3ZGYucG5nI3BpY19jZW50ZXI=
中置套件的Slim毗连线比较短可以用一根稍长的线毗连，和M6的NVME线是不兼容的，注意区分
物料PN：V01668E000000000
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvMTNiNTVkOTY5Y2JiNDI4OWJhNDM4ZTk0NDcxN2EzM2YucG5n
毗连完成后如图
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvOGJiNDQ1NzcyZDNkNDNmMThmYzA0ZGQyM2MxNGUwOWMuanBlZyNwaWNfY2VudGVy
6、验证识别环境
在BIOS中 主页>PCIE信息 中检察PCIE，海飞科C20的VID号是1FAA，一张卡识别出2个1FAA就对了，如果识别为FFFF就是通道未拆分。
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvM2VlZDIzYjBiN2UyNGUyN2FjYmMyMzk1MjgwOWU0OWMucG5n
没装驱动时可以输入ls /dev |grep gpu 或lspci |grep 1faa
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvNjJlY2Q2NWRiMTgyNGJmN2E0NTFmMDRjZGIzZTJiZGMuanBlZw==
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvODVmZjI3ZjUzYTAxNDZhOWJlZGNkZTY1YTA5OGJmMzYucG5n
装好驱动后可以输入hxsmi检察
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvNjgxNjAxMmRiMGUwNDc2ZGIwMzA0MTc5NGViZDE2ZTAucG5n
7、驱动程序
驱动程序及安装分析下载，不带dkms的驱动安装会简朴很多，建议是找海飞科的技能人员支持。
https://download.csdn.net/download/wo325866145/90071203
8、其他必要注意的环境
这种方式使用了2个中间PCIE转接卡，但主板上只有1个3.3v电源接口（细的那根电源线）只有一张转接卡有3.3v，如果还想加网卡、阵列卡这些卡必要3.3v的电源，GPU有12v就能识别，也就是说最多再加1张PCIE卡，还有一个OCP接口可以插。
如果插了网卡并且和GPU同一个通道，没有3.3v电源也会造成拆分失败。
页:
[1]