Коммутатор NVIDIA Mellanox SN2700 MSN2700-BS2FC

Коммутатор NVIDIA Mellanox SN2700 MSN2700-BS2FC — Ethernet-коммутатор для центра обработки данных на микросхеме Spectrum-1.

Mellanox стал NVIDIA. Сетевое подразделение Mellanox вошло в состав NVIDIA в 2020 году. Оборудование то же самое, изменилась только маркировка: на новых партиях стоит логотип NVIDIA, в документации встречаются оба названия, а заводские артикулы вида MSN, MQM и MCX остались прежними.

Что такое Spectrum. Spectrum — собственная коммутационная микросхема NVIDIA для Ethernet. Её ключевое свойство — полностью общий буфер пакетов: любой порт при всплеске трафика может занять весь буфер целиком, а не только выделенную ему долю. Для распределённого обучения моделей и сетевых хранилищ это критично: там трафик идёт короткими одновременными всплесками от множества узлов, и именно на них обычные коммутаторы начинают терять пакеты.

Что закрывает линейка SN2000. Первое поколение Spectrum: порты от 10 до 100 Гбит/с, корпус 1U, полная скорость на всех портах одновременно. Линейка выросла из оборудования Mellanox и до сих пор стоит в тысячах машинных залов — её берут под подключение серверов, под сети хранения и на замену вышедшего из строя оборудования в уже собранных фабриках.

Операционные системы: выбор за вами. Коммутаторы Ethernet поставляются либо с Cumulus Linux, либо в исполнении ONIE — с загрузчиком, но без операционной системы. Cumulus Linux — это настоящий Debian, где сеть настраивается конфигурационными файлами и разворачивается Ansible-ролями наравне с серверами. Исполнение ONIE позволяет поставить SONiC или другую совместимую ОС по своему выбору — вы не привязаны к одному вендору программного обеспечения.

Onyx (MLNX-OS). Onyx — фирменная операционная система Mellanox с классической командной строкой в стиле промышленных коммутаторов. Она удобна там, где сеть настраивают руками, а не разворачивают автоматизацией, и остаётся штатной прошивкой у моделей предыдущих поколений.

RoCE и работа с ускорителями. Коммутаторы рассчитаны на RDMA поверх Ethernet (RoCEv2): данные передаются из памяти одного сервера в память другого, минуя процессор и стек операционной системы. Задержка падает до единиц микросекунд, а процессорное время остаётся вычислениям, а не обработке сетевых прерываний. Именно так графические ускорители обмениваются данными при обучении моделей.

Диагностика What Just Happened. Фирменная телеметрия NVIDIA фиксирует каждый отброшенный пакет и объясняет причину: переполнение буфера, ошибка контрольной суммы, отсутствие маршрута, запрет списком доступа. Вместо счётчика «потеряно 12 000 пакетов» администратор видит, что именно произошло и с каким потоком.

Направление воздушного потока. Коммутатор выпускается в двух исполнениях: C2P (connector-to-power, от портов к блокам питания) и P2C (power-to-connector, от блоков питания к портам). Направление подбирается под схему холодного и горячего коридоров в машинном зале. Блоки питания и вентиляторные модули в одном корпусе обязаны обеспечивать поток в одну сторону.

Leaf-spine. Фабрики строятся по двухуровневой схеме: коммутаторы leaf принимают серверы, коммутаторы spine соединяют leaf между собой. Любые два сервера оказываются на одинаковом расстоянии друг от друга — ровно то, что нужно при распределённых вычислениях, где задача идёт со скоростью самого медленного обмена.

Технические характеристики

• Артикул производителя (OPN): MSN2700-BS2FC
• Заводской SKU: 920-9N101-00F4-0C0
• Модель: SN2700
• Порты: 32x QSFP28 (40GbE)
• Коммутационная микросхема: Spectrum-1
• Операционная система: Cumulus Linux
• Форм-фактор: 1U для монтажа в 19" стойку
• Направление воздушного потока: P2C — от блоков питания к портам (power-to-connector)
• Статус в каталоге производителя: Снята с производства
• Примечание к фотографии: NVIDIA публикует один снимок на всю серию коммутаторов этого поколения и использует его на странице продукта для всех моделей серии; исполнения различаются набором портов, направлением обдува и комплектацией блоков питания

Комплект поставки

• Коммутатор NVIDIA Mellanox SN2700 MSN2700-BS2FC
• Комплект документации

Оптические модули, медные и активные оптические кабели подбираются отдельно: на скоростях от 100 Гбит/с и в фабриках InfiniBand совместимость проверяется по официальному списку NVIDIA LinkX.

Где применяется

Подключение серверов и систем хранения в центрах обработки данных, узлы leaf в фабриках, сети виртуализации и облачных платформ.