Коммутатор NVIDIA MetroX-3 XC MTQ8400-HS2R

Коммутатор NVIDIA MetroX-3 XC MTQ8400-HS2R — шлюз между InfiniBand и Ethernet либо устройство для соединения удалённых площадок.

Mellanox стал NVIDIA. Сетевое подразделение Mellanox вошло в состав NVIDIA в 2020 году. Оборудование то же самое, изменилась только маркировка: на новых партиях стоит логотип NVIDIA, в документации встречаются оба названия, а заводские артикулы вида MSN, MQM и MCX остались прежними.

Зачем нужен шлюз InfiniBand–Ethernet. Вычислительный кластер живёт на InfiniBand, а хранилища, серверы приложений и корпоративная сеть — на Ethernet. Шлюз соединяет эти два мира без выделенных серверов-посредников: трафик переходит из одной технологии в другую на скорости линии.

Соединение удалённых площадок. Дальнобойные решения продлевают фабрику InfiniBand за пределы одного здания — на десятки километров по арендованной оптике. Два машинных зала работают как один кластер, а площадка резервного копирования получает полноценную скорость, а не узкий канал.

Что такое InfiniBand. InfiniBand — отдельная сетевая технология, не Ethernet. Управление потоком в ней работает по кредитам: отправитель передаёт данные только тогда, когда у получателя гарантированно есть место в буфере, поэтому потерь из-за перегрузки нет в принципе. Задержка на порту измеряется сотнями наносекунд. Это стандарт де-факто для суперкомпьютеров и кластеров обучения моделей.

RoCE и работа с ускорителями. Коммутаторы рассчитаны на RDMA поверх Ethernet (RoCEv2): данные передаются из памяти одного сервера в память другого, минуя процессор и стек операционной системы. Задержка падает до единиц микросекунд, а процессорное время остаётся вычислениям, а не обработке сетевых прерываний. Именно так графические ускорители обмениваются данными при обучении моделей.

Технические характеристики

• Артикул производителя (OPN): MTQ8400-HS2R
• Заводской SKU: 920-9B020-00FA-0DZ
• Модель: MetroX-3 XC
• Порты: 2 дальнобойных порта QSFP112 100 Гбит/с
• Форм-фактор: 1U для монтажа в 19" стойку
• Дополнительно: Готовность к DWDM; 2 БП AC; рельсы в комплекте
• Статус в каталоге производителя: Инженерные образцы

Комплект поставки

• Коммутатор NVIDIA MetroX-3 XC MTQ8400-HS2R
• Комплект документации

Оптические модули, медные и активные оптические кабели подбираются отдельно: на скоростях от 100 Гбит/с и в фабриках InfiniBand совместимость проверяется по официальному списку NVIDIA LinkX.

Где применяется

Стыковка вычислительных кластеров InfiniBand с корпоративной сетью Ethernet и объединение удалённых машинных залов в одну фабрику.