Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и собрать спецвычислитель с GPGU для работы с TenzorFlou.)

Все, что не подходит под определение "старого софта и железа", обсуждается здесь
falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение falanger » 17.05.2019,11:36

CodeMaster писал(а): 17.05.2019,09:20 У тебя есть мануал на материнку? Положи ссылку в первый пост, а то вчера попробовал посмотреть в нэте, такое очучение, что мы о разном говорим.
https://www.dell.com/support/home/ru/ru ... 00/manuals
У меня С8220Х плата версии V1.2
CodeMaster писал(а): 17.05.2019,09:20 А что у тебя за ось, нельзя от свопа отказаться вообще? Вообще бы, хотя бы общими линиями, текущюю конфигурацию системы хорошо бы в первый пост выкладывать, тема разрослась и перелистывать не есть комильфо.
Операционка Ubuntu-Server 16.04 + драйверы Nvidia 410 + CUDA 10.0
Процессоры - 2 х Xeon E5-2650L V1
Оперативка - 24 Gb ECC REG
GPU - 2 х Nvidia Tesla K20Mx
Диски
/ - RAID 0 2 x Samsung 860 EVO 500 Gb
/home - RAID 5 4 x Seagate 1 Tb
/swap - M.2 NVE SSD PCI-E 4x Samsung 960 EVO 250 Gb
От физического swap-раздела я могу отказаться сделав файл подкачки на системном рейде, но совсем отказаться от свопа не могу. На машине будет работать Astro Pi с загруженным свежим каталогом звезд нашей галактики, считать новое скопление и все нужные данные которые будет смстема гонять на Теслы не влезут в 24 гига оперативки, будет постоянно шуршать дисками которые у меня ноутбучные бытовые, а не серверные.
Почему собственно и нужны мне теслы и чем больше тем лучше. Но система штатно рассчитана на 2 GPGPU по мануалу и на 3 GPU видимо просто не хватает разведенных на плате линий.
Потому что 16x + 16x + 16x выдает ошибку при старте Биос по ресурсам шины и nvidia-smi 3-ю Теслу не видит, хотя по lspci | grep -E "VGA|3D" она отображается на шине.
А вот конфигурация 16х + 16х + 4х работает нормально.

Аватара пользователя
CodeMaster
Advanced Member
Сообщения: 7669
Зарегистрирован: 27.08.2010,11:17
Откуда: Воронеж
Контактная информация:

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение CodeMaster » 17.05.2019,21:27

falanger писал(а): 17.05.2019,11:36 нужные данные которые будет смстема гонять на Теслы не влезут в 24 гига оперативки
Допустим, но ИМХО накидать туда 96 гигов ОЗУ чутка дороже SSD для свопа, но явно эффективней будет.
falanger писал(а): 17.05.2019,11:36 Но система штатно рассчитана на 2 GPGPU по мануалу
Я не читал внимательно, но по монтажке там только один слот под GPGPU.
falanger писал(а): 17.05.2019,11:36 видимо просто не хватает разведенных на плате линий.
Так не может быть, они бы тогда не писали что на плате три 16x и один 8x слот, не могут же PCI-E быть с разделяемыми линиями. Скорее всего у Tesla проблемы не просто с физическими линиями.
"Во времена всеобщей лжи говорить правду - это экстремизм" © Джордж Оруэлл, "1984"

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение falanger » 22.05.2019,14:22

Ну вот, дособрал сервео, подвязал кабели, накатил систему... Осталось в городе "разморозить" 100 Мбит интернет и поставить там сервер настроив удаленный доступ.
https://youtu.be/Z4dnhUvKcGw

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение falanger » 27.05.2019,11:06

Ну что, подсобрал первую плату назад, от первого варианта сервера с одной Теслой К20М. Чтобы запустить вторую машину я с первой снимал радиаторы чипсета усиленные, кулеры, Е5-2650L процессоры и кабели дополнительного питания. Теперь вот доехали 1U кулеры и скомплектовал вторую плату. Еще надо будет спаять кабели питания на райзеры и мамку. Ну и вот видео снял

И вот теперь сижу думаю а куда бы ее применить и как? Даже голосование в коменнтариях объявил.
Предлагаем свои варианты что сделать на основе этой платы.

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение falanger » 31.05.2019,20:35

Приехала ко мне "волшебная коробка" Nvidia Teslf S2050 Server. Теперь нужна пара интерфейсных карт Nvidia P797 HIC и кабели.

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение falanger » 01.06.2019,22:11

А вот и оно

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение falanger » 17.07.2019,23:59

Народ, подсказали почету Nvidia Tesla S2050 стопорит фронтальные вентиляторы.
Контроллер опрашивает слоты и если нет Tesla M2050 хотя-бы одного - останавливает вентиляторы.
Нужно изучить схему и найти где, что и как перемкнуть чтобы кулеры не отключались. Работать сами слоты я смог заставить, для этого зафиксировал кнопку контроля открытия крышки на плате. Теперь нужно чтобы работали кулеры все время.
Посоветуйте многоканальный логический анализатор и осциллограф чтобы можно было посмотреть сигналы в динамике сопоставив их с включением-выключением кулеров.

Аватара пользователя
CodeMaster
Advanced Member
Сообщения: 7669
Зарегистрирован: 27.08.2010,11:17
Откуда: Воронеж
Контактная информация:

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение CodeMaster » 18.07.2019,15:25

falanger писал(а): 17.07.2019,23:59 Посоветуйте многоканальный логический анализатор и осциллограф чтобы можно было посмотреть сигналы в динамике
Не проще ли собрать схемку на MOSFETах которая будет их включать при появлении какого-то напряжения на плате?
"Во времена всеобщей лжи говорить правду - это экстремизм" © Джордж Оруэлл, "1984"

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение falanger » 25.07.2019,14:04

CodeMaster, я бы хотел задействовать штатную схему. Там еще надо понять как работает БП, отключается питание вентиляторов просто мосфетом от общей шины +12В или там отдельный канал питания на них.
По хорошему бы найти толкового специалиста по железу тут у меня в Калининградской области и заплатить ему чтобы все сделал, но в городе таких только один и тот завален заказами выше ушей. А в Калининграде я никого такого не знаю.

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение falanger » 25.07.2019,14:29

Разобрал сегодня рек, завтра сделаю подробные фото как очнусь с ночной смены.

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Плата Dell PowerEdge c8220, запуск и сборка вычислителя. (Собираюсь запустить плату ноды сервера Dell PowerEdge С8220Х и

Сообщение falanger » 26.07.2019,17:10

Снял новое видео про Nvdiia Tesla S2050 Server - более подробный обзор железа с пояснениями.


Заставил работать вентиляторы бокса. Методом научного тыка установил что надо вытащить 2 синих провода из разъема жгута идущего на кросс-плату вентиляторов и они будут работать все время.
Вместо кнопки впаял две перемычки, слоты 16х тоже заработали.

Ответить