Шасси NVIDIA Mellanox SX6518 MSX6518-NR

Шасси NVIDIA Mellanox SX6518 MSX6518-NR — модульное шасси InfiniBand для крупных вычислительных фабрик.

Mellanox стал NVIDIA. Сетевое подразделение Mellanox вошло в состав NVIDIA в 2020 году. Оборудование то же самое, изменилась только маркировка: на новых партиях стоит логотип NVIDIA, в документации встречаются оба названия, а заводские артикулы вида MSN, MQM и MCX остались прежними.

Что такое InfiniBand. InfiniBand — отдельная сетевая технология, не Ethernet. Управление потоком в ней работает по кредитам: отправитель передаёт данные только тогда, когда у получателя гарантированно есть место в буфере, поэтому потерь из-за перегрузки нет в принципе. Задержка на порту измеряется сотнями наносекунд. Это стандарт де-факто для суперкомпьютеров и кластеров обучения моделей.

Модульное шасси. В шасси устанавливаются линейные карты с портами, модули коммутационной матрицы, управляющие модули, блоки питания и вентиляторы — и всё это меняется без остановки фабрики. Портовая ёмкость наращивается установкой карт, а не заменой оборудования, поэтому кластер растёт постепенно.

Зачем шасси вместо стойки коммутаторов. Шасси-директор заменяет собой целый уровень фабрики: сотни портов в одном корпусе вместо двух десятков отдельных коммутаторов с кабельной обвязкой между ними. Меньше кабелей, меньше переходов между устройствами, ниже задержка и заметно проще эксплуатация.

SHARP: вычисления внутри сети. Технология SHARP выполняет коллективные операции — сложение и усреднение градиентов при обучении нейросети — прямо на коммутационных микросхемах, пока данные идут по сети. Ускорителям не нужно обмениваться промежуточными суммами между собой: объём трафика падает кратно, а фаза синхронизации, которая обычно и упирается в сеть, заканчивается быстрее.

Управление фабрикой InfiniBand. Сетью InfiniBand управляет подсетевой менеджер (Subnet Manager). Он строит таблицы маршрутизации для всей фабрики целиком, а не для каждого узла отдельно. У управляемых моделей менеджер работает на самом коммутаторе, у неуправляемых — выносится на сервер или в платформу NVIDIA UFM.

RoCE и работа с ускорителями. Коммутаторы рассчитаны на RDMA поверх Ethernet (RoCEv2): данные передаются из памяти одного сервера в память другого, минуя процессор и стек операционной системы. Задержка падает до единиц микросекунд, а процессорное время остаётся вычислениям, а не обработке сетевых прерываний. Именно так графические ускорители обмениваются данными при обучении моделей.

Технические характеристики

• Артикул производителя (OPN): MSX6518-NR
• Модель: SX6518
• Порты: 324 порта FDR, модульное шасси
• Коммутационная микросхема: SwitchX-2
• Дополнительно: Кристалл SwitchX-2 снят с производства по LCR-000585: последний заказ 31.12.2021, последняя отгрузка 30.06.2022
• Статус в каталоге производителя: Снята с производства

Комплект поставки

• Шасси NVIDIA Mellanox SX6518 MSX6518-NR
• Комплект документации

Линейные карты, модули коммутационной матрицы, блоки питания и вентиляторы к шасси заказываются отдельно под нужную конфигурацию.

Где применяется

Ядро крупных вычислительных фабрик: суперкомпьютерные центры, кластеры обучения больших моделей, научные расчётные комплексы.