Коммутатор NVIDIA Mellanox SN3800 MSN3800-CS2R

Коммутатор NVIDIA Mellanox SN3800 MSN3800-CS2R — Ethernet-коммутатор для центра обработки данных на микросхеме Spectrum-2.

Mellanox стал NVIDIA. Сетевое подразделение Mellanox вошло в состав NVIDIA в 2020 году. Оборудование то же самое, изменилась только маркировка: на новых партиях стоит логотип NVIDIA, в документации встречаются оба названия, а заводские артикулы вида MSN, MQM и MCX остались прежними.

Что такое Spectrum. Spectrum — собственная коммутационная микросхема NVIDIA для Ethernet. Её ключевое свойство — полностью общий буфер пакетов: любой порт при всплеске трафика может занять весь буфер целиком, а не только выделенную ему долю. Для распределённого обучения моделей и сетевых хранилищ это критично: там трафик идёт короткими одновременными всплесками от множества узлов, и именно на них обычные коммутаторы начинают терять пакеты.

Что дало второе поколение. Spectrum-2 поднял пропускную способность микросхемы и довёл скорость порта до 200 Гбит/с. Линейка SN3000 покрывает и доступ на 25 Гбит/с (SN3420), и плотную агрегацию на 100 и 200 Гбит/с (SN3700, SN3800) — в фабрике из этих моделей собираются оба уровня, leaf и spine.

Операционные системы: выбор за вами. Коммутаторы Ethernet поставляются либо с Cumulus Linux, либо в исполнении ONIE — с загрузчиком, но без операционной системы. Cumulus Linux — это настоящий Debian, где сеть настраивается конфигурационными файлами и разворачивается Ansible-ролями наравне с серверами. Исполнение ONIE позволяет поставить SONiC или другую совместимую ОС по своему выбору — вы не привязаны к одному вендору программного обеспечения.

RoCE и работа с ускорителями. Коммутаторы рассчитаны на RDMA поверх Ethernet (RoCEv2): данные передаются из памяти одного сервера в память другого, минуя процессор и стек операционной системы. Задержка падает до единиц микросекунд, а процессорное время остаётся вычислениям, а не обработке сетевых прерываний. Именно так графические ускорители обмениваются данными при обучении моделей.

Адаптивная маршрутизация и контроль перегрузок. Коммутатор распределяет потоки по маршрутам с учётом реальной загрузки каналов, а не только по хешу заголовков, и умеет сигнализировать отправителям о приближающейся перегрузке. Без этого в фабрике из сотен узлов один перегруженный маршрут тормозит всю задачу целиком.

Диагностика What Just Happened. Фирменная телеметрия NVIDIA фиксирует каждый отброшенный пакет и объясняет причину: переполнение буфера, ошибка контрольной суммы, отсутствие маршрута, запрет списком доступа. Вместо счётчика «потеряно 12 000 пакетов» администратор видит, что именно произошло и с каким потоком.

Направление воздушного потока. Коммутатор выпускается в двух исполнениях: C2P (connector-to-power, от портов к блокам питания) и P2C (power-to-connector, от блоков питания к портам). Направление подбирается под схему холодного и горячего коридоров в машинном зале. Блоки питания и вентиляторные модули в одном корпусе обязаны обеспечивать поток в одну сторону.

Leaf-spine. Фабрики строятся по двухуровневой схеме: коммутаторы leaf принимают серверы, коммутаторы spine соединяют leaf между собой. Любые два сервера оказываются на одинаковом расстоянии друг от друга — ровно то, что нужно при распределённых вычислениях, где задача идёт со скоростью самого медленного обмена.

Технические характеристики

• Артикул производителя (OPN): MSN3800-CS2R
• Заводской SKU: 920-9N210-00R7-0X0
• Модель: SN3800
• Порты: 64x QSFP28 (100GbE)
• Коммутационная микросхема: Spectrum-2
• Операционная система: Onyx (MLNX-OS)
• Форм-фактор: 2U для монтажа в 19" стойку
• Направление воздушного потока: C2P — от портов к блокам питания (connector-to-power)
• Дополнительно: Замена — MSN4600-CS2R
• Статус в каталоге производителя: Снята с производства
• Примечание к фотографии: NVIDIA публикует один снимок на всю серию коммутаторов этого поколения и использует его на странице продукта для всех моделей серии; исполнения различаются набором портов, направлением обдува и комплектацией блоков питания

Комплект поставки

• Коммутатор NVIDIA Mellanox SN3800 MSN3800-CS2R
• Комплект документации

Оптические модули, медные и активные оптические кабели подбираются отдельно: на скоростях от 100 Гбит/с и в фабриках InfiniBand совместимость проверяется по официальному списку NVIDIA LinkX.

Где применяется

Фабрики центров обработки данных на 100 и 200 Гбит/с, подключение серверов с ускорителями, сети хранения и облачные платформы.