Коммутатор NVIDIA SN4600C MSN4600-CS2FO

Коммутатор NVIDIA SN4600C MSN4600-CS2FO — Ethernet-коммутатор для центра обработки данных на микросхеме Spectrum-3.

Mellanox стал NVIDIA. Сетевое подразделение Mellanox вошло в состав NVIDIA в 2020 году. Оборудование то же самое, изменилась только маркировка: на новых партиях стоит логотип NVIDIA, в документации встречаются оба названия, а заводские артикулы вида MSN, MQM и MCX остались прежними.

Что такое Spectrum. Spectrum — собственная коммутационная микросхема NVIDIA для Ethernet. Её ключевое свойство — полностью общий буфер пакетов: любой порт при всплеске трафика может занять весь буфер целиком, а не только выделенную ему долю. Для распределённого обучения моделей и сетевых хранилищ это критично: там трафик идёт короткими одновременными всплесками от множества узлов, и именно на них обычные коммутаторы начинают терять пакеты.

Что дало третье поколение. Spectrum-3 — это 12,8 Тбит/с коммутации в одном юните и порты до 400 Гбит/с. SN4700 даёт 32 порта по 400 Гбит/с, SN4600 — 64 порта по 200, и такой плотностью одна пара коммутаторов закрывает целый ряд стоек. Именно это поколение стало основой для эталонных архитектур NVIDIA под обучение моделей.

Операционные системы: выбор за вами. Коммутаторы Ethernet поставляются либо с Cumulus Linux, либо в исполнении ONIE — с загрузчиком, но без операционной системы. Cumulus Linux — это настоящий Debian, где сеть настраивается конфигурационными файлами и разворачивается Ansible-ролями наравне с серверами. Исполнение ONIE позволяет поставить SONiC или другую совместимую ОС по своему выбору — вы не привязаны к одному вендору программного обеспечения.

RoCE и работа с ускорителями. Коммутаторы рассчитаны на RDMA поверх Ethernet (RoCEv2): данные передаются из памяти одного сервера в память другого, минуя процессор и стек операционной системы. Задержка падает до единиц микросекунд, а процессорное время остаётся вычислениям, а не обработке сетевых прерываний. Именно так графические ускорители обмениваются данными при обучении моделей.

Адаптивная маршрутизация и контроль перегрузок. Коммутатор распределяет потоки по маршрутам с учётом реальной загрузки каналов, а не только по хешу заголовков, и умеет сигнализировать отправителям о приближающейся перегрузке. Без этого в фабрике из сотен узлов один перегруженный маршрут тормозит всю задачу целиком.

Диагностика What Just Happened. Фирменная телеметрия NVIDIA фиксирует каждый отброшенный пакет и объясняет причину: переполнение буфера, ошибка контрольной суммы, отсутствие маршрута, запрет списком доступа. Вместо счётчика «потеряно 12 000 пакетов» администратор видит, что именно произошло и с каким потоком.

Направление воздушного потока. Коммутатор выпускается в двух исполнениях: C2P (connector-to-power, от портов к блокам питания) и P2C (power-to-connector, от блоков питания к портам). Направление подбирается под схему холодного и горячего коридоров в машинном зале. Блоки питания и вентиляторные модули в одном корпусе обязаны обеспечивать поток в одну сторону.

Leaf-spine. Фабрики строятся по двухуровневой схеме: коммутаторы leaf принимают серверы, коммутаторы spine соединяют leaf между собой. Любые два сервера оказываются на одинаковом расстоянии друг от друга — ровно то, что нужно при распределённых вычислениях, где задача идёт со скоростью самого медленного обмена.

Технические характеристики

• Артикул производителя (OPN): MSN4600-CS2FO
• Заводской SKU: 920-9N302-00F7-0N0
• Модель: SN4600C
• Порты: 64x QSFP28 (100GbE)
• Коммутационная микросхема: Spectrum-3
• Операционная система: ONIE (без ОС)
• Форм-фактор: 2U для монтажа в 19" стойку
• Направление воздушного потока: P2C — от блоков питания к портам (power-to-connector)
• Дополнительно: NVIDIA публикует для SN4600C только варианты Cumulus; извещения EOL нет
• Статус в каталоге производителя: Нет в текущей таблице NVIDIA
• Примечание к фотографии: NVIDIA публикует один снимок на всю серию коммутаторов этого поколения и использует его на странице продукта для всех моделей серии; исполнения различаются набором портов, направлением обдува и комплектацией блоков питания

Комплект поставки

• Коммутатор NVIDIA SN4600C MSN4600-CS2FO
• Комплект документации

Оптические модули, медные и активные оптические кабели подбираются отдельно: на скоростях от 100 Гбит/с и в фабриках InfiniBand совместимость проверяется по официальному списку NVIDIA LinkX.

Где применяется

Фабрики на 200 и 400 Гбит/с, кластеры обучения моделей, высокоплотные сети хранения и облачные платформы.