Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Все, что не подходит под определение "старого софта и железа", обсуждается здесь
falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 02.09.2019,16:33

Постепенно, не торопясь, по мере наличия денег и приезда запчастей начал собирать свой уже третий по счету "суперкомпьютер".
На этот раз система будет действительно монструозной, рассчитанной на 8 GPU пускай и подключенных через PCI-E 16x 2.0 коммутаторы.
Сам основной компьютер - 2U сервер ASUS RS720-E7/RS12 с мордой под 12 салазок для дисков, в нем материнская плата формата ЕЕВ ASUS Z9PE-16D/2L которая поддерживает до 512 гигов оперативки DDR3 ECC REG, процессоры Xeon E5 2600 v2 и главное имеет 4 полноценных слота PCI-E 16x. В слоты будут установлены 4 карты Nvidia P797 HIC которые обеспечат работу двух боксов Nvidia Tesla S2050, в каждый из которых можно установить по 4 GPU-карты с некоторыми "но и если" конечно, после доработки самих боксов бокорезами и паяльником.

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 02.09.2019,20:28

А теперь "любимые картинки Робота Бендера(с)" - сиречь немного техно-порно.

https://i.imgur.com/YBtpR3s.jpg
Материнка ASUS Z9PE-D16/2L на которой 2х16 гб DDR3 ECC REG и пара Xeon E5-2603 V1 под 1U медными китайскими кулерами LGA 2011.
Рядом лежит платка-доска ASUS Pike 2008 RAID.

https://i.imgur.com/ncn0hvY.jpg
https://i.imgur.com/XqIu13P.jpg
Этот самый ASUS Pike 2008 крупным планом.

https://i.imgur.com/vhXt2E7.jpg
https://i.imgur.com/uHwBNwe.jpg
Установлен на плату.
Имейте виду, у него на втором конце от крепления под винт есть "крючок" который цепляется за выступ на корпусе слота, и чтобы его снять надо крючок отжимать отверткой.

https://i.imgur.com/5qT2ZK3.jpg
Собрано перед установкой в корпус.

https://i.imgur.com/R4tSoDr.jpg
Корпус 2U ASUS RS720-E7/RS12 с мордой под 12 дисков в открытом виде.

https://i.imgur.com/SRUKNAK.jpg
Плата в корпусе, пока нет задней планки под порты, но все равно красиво.

https://i.imgur.com/4BcTQqA.jpg
Подключено питание АТХ и спецкабель управления серверными блоками питания.

https://i.imgur.com/JFtkHHL.jpg
Подключил разъемы кулеров передней панели, их тут 4 на креплениях быстрой замены. Но кулеры надо еще найти...

https://i.imgur.com/JVdjicN.jpg
Подключил кнопку питания и индикацию передней панели.

https://i.imgur.com/SAo9QuG.jpg
Управление "корзинами" для дисков.

https://i.imgur.com/61Kwsww.jpg
Пара фронтальных USB.

https://i.imgur.com/ZA2V4QV.jpg
Пластиковый воздуховод направляющий поток воздуха на кулеры процессоров. Крепится тремя винтам которые одновременно крепят плату к корпусу.

https://i.imgur.com/9pIjVqy.jpg
Пара PCI-E 16x 2.0 коммутаторов Nvidia P797 HIC со снятыми крепежными планками которые не лезли в корпус по высоте, карты лезут как родные.

https://i.imgur.com/CYPZKVh.jpg
Карты Р797 на своем месте.

Жду остальные запчасти...

reftop123
Advanced Member
Сообщения: 2116
Зарегистрирован: 14.06.2016,16:25
Откуда: Москва

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение reftop123 » 03.09.2019,00:21

falanger писал(а): 02.09.2019,20:28 на которой 2х16 гб DDR3 ECC REG
А память так не медленно будет работать? Один проц через другой будет обращаться?

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 03.09.2019,11:01

reftop123, пока у меня только 2 планки по 16 - будет работать так. Когда куплю еще - буду делить равномерно.

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 04.09.2019,14:12

Вот и видео снял

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 07.09.2019,19:17

Насобирал SATA-кабели с защелками 8 штук и подключил корзину сервера к плате.

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 08.10.2019,00:55

Новое видео, установка запчастей из США.

romanson
Advanced Member
Сообщения: 1560
Зарегистрирован: 24.08.2012,11:50
Откуда: Калуга
Контактная информация:

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение romanson » 08.10.2019,09:11

Николай приветствую! Супер работа и супер компьютер!
Поправь в названии видео если можно "ДЕПЕВЕНСКИЙ"

ПС ржал с названия уж кто кто ;-)

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 08.10.2019,10:11

Я не Николай. Название поправил.
Ну а название - я живу в деревне и стебаю тех городских снобов кто думает что тут только алкаши и бичи живут.
Мне тут нравится, куда лучше чем в "идеальном человейние на 9 м2". Ну и вот занимаюсь всяким. Только со связью проблема, никак пока не сделать 100 мбит интернет.

romanson
Advanced Member
Сообщения: 1560
Зарегистрирован: 24.08.2012,11:50
Откуда: Калуга
Контактная информация:

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение romanson » 08.10.2019,10:36

Упс ... не красиво получилось Сорри перепутал с .... Ну Он наверное читает :-)

Ничего плохого сказать не хотел

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сборка GPGPU-кластера на ASUS RS720-E7/RS12

Сообщение falanger » 13.11.2019,14:49

Продолжается моя эпопея со сборкой машины для deep learning. Подарили мне на ДР пару карт GTX 1070 турбинных, которые я слегка доработал - удалил декоративные кожухи и турбины, чтобы они не мешали воздушному потоку от фронтальных кулеров бокса Nvidia Tesla S2050 который я слегка доработал чтобы отвязать от работы только с Tesla M2050.
Вот собственно фото:
Изображение
Примерка.
Изображение
Карты на своем месте.

Ответить