Коммутатор NVIDIA QM9790 MQM9790-NS2R

Коммутатор NVIDIA QM9790 MQM9790-NS2R — коммутатор InfiniBand для высокопроизводительных вычислений и обучения моделей.

Mellanox стал NVIDIA. Сетевое подразделение Mellanox вошло в состав NVIDIA в 2020 году. Оборудование то же самое, изменилась только маркировка: на новых партиях стоит логотип NVIDIA, в документации встречаются оба названия, а заводские артикулы вида MSN, MQM и MCX остались прежними.

Что такое InfiniBand. InfiniBand — отдельная сетевая технология, не Ethernet. Управление потоком в ней работает по кредитам: отправитель передаёт данные только тогда, когда у получателя гарантированно есть место в буфере, поэтому потерь из-за перегрузки нет в принципе. Задержка на порту измеряется сотнями наносекунд. Это стандарт де-факто для суперкомпьютеров и кластеров обучения моделей.

Управляемые и неуправляемые исполнения. Управляемое исполнение несёт на борту процессор x86 и запускает подсетевой менеджер само — фабрика поднимается без внешнего сервера. Неуправляемое дешевле и рассчитано на то, что менеджер работает где-то ещё; в крупных кластерах так и делают, вынося управление в UFM.

SHARP: вычисления внутри сети. Технология SHARP выполняет коллективные операции — сложение и усреднение градиентов при обучении нейросети — прямо на коммутационных микросхемах, пока данные идут по сети. Ускорителям не нужно обмениваться промежуточными суммами между собой: объём трафика падает кратно, а фаза синхронизации, которая обычно и упирается в сеть, заканчивается быстрее.

Управление фабрикой InfiniBand. Сетью InfiniBand управляет подсетевой менеджер (Subnet Manager). Он строит таблицы маршрутизации для всей фабрики целиком, а не для каждого узла отдельно. У управляемых моделей менеджер работает на самом коммутаторе, у неуправляемых — выносится на сервер или в платформу NVIDIA UFM.

RoCE и работа с ускорителями. Коммутаторы рассчитаны на RDMA поверх Ethernet (RoCEv2): данные передаются из памяти одного сервера в память другого, минуя процессор и стек операционной системы. Задержка падает до единиц микросекунд, а процессорное время остаётся вычислениям, а не обработке сетевых прерываний. Именно так графические ускорители обмениваются данными при обучении моделей.

Направление воздушного потока. Коммутатор выпускается в двух исполнениях: C2P (connector-to-power, от портов к блокам питания) и P2C (power-to-connector, от блоков питания к портам). Направление подбирается под схему холодного и горячего коридоров в машинном зале. Блоки питания и вентиляторные модули в одном корпусе обязаны обеспечивать поток в одну сторону.

Leaf-spine. Фабрики строятся по двухуровневой схеме: коммутаторы leaf принимают серверы, коммутаторы spine соединяют leaf между собой. Любые два сервера оказываются на одинаковом расстоянии друг от друга — ровно то, что нужно при распределённых вычислениях, где задача идёт со скоростью самого медленного обмена.

Технические характеристики

• Артикул производителя (OPN): MQM9790-NS2R
• Заводской SKU: 920-9B210-00RN-0D0
• Модель: QM9790
• Порты: 64 порта NDR 400G на 32 разъёмах OSFP
• Коммутационная микросхема: Quantum-2
• Операционная система: Внешнее управление
• Форм-фактор: 1U для монтажа в 19" стойку
• Направление воздушного потока: C2P — от портов к блокам питания (connector-to-power)

Комплект поставки

• Коммутатор NVIDIA QM9790 MQM9790-NS2R
• Комплект документации

Оптические модули, медные и активные оптические кабели подбираются отдельно: на скоростях от 100 Гбит/с и в фабриках InfiniBand совместимость проверяется по официальному списку NVIDIA LinkX.

Где применяется

Суперкомпьютеры, кластеры обучения моделей, расчётные фабрики в науке и промышленности, высокопроизводительные системы хранения.