Коммутатор NVIDIA SN6800-LD 920-9N67K-00LA-GC0

Коммутатор NVIDIA SN6800-LD 920-9N67K-00LA-GC0 — Ethernet-коммутатор для фабрик искусственного интеллекта на микросхеме Spectrum-4 или Spectrum-6.

Mellanox стал NVIDIA. Сетевое подразделение Mellanox вошло в состав NVIDIA в 2020 году. Оборудование то же самое, изменилась только маркировка: на новых партиях стоит логотип NVIDIA, в документации встречаются оба названия, а заводские артикулы вида MSN, MQM и MCX остались прежними.

Что такое Spectrum. Spectrum — собственная коммутационная микросхема NVIDIA для Ethernet. Её ключевое свойство — полностью общий буфер пакетов: любой порт при всплеске трафика может занять весь буфер целиком, а не только выделенную ему долю. Для распределённого обучения моделей и сетевых хранилищ это критично: там трафик идёт короткими одновременными всплесками от множества узлов, и именно на них обычные коммутаторы начинают терять пакеты.

Spectrum-X: сеть под обучение моделей. Spectrum-4 и Spectrum-6 — ядро платформы NVIDIA Spectrum-X, где коммутатор работает в паре с сетевыми картами BlueField. Вместе они распределяют трафик по всем маршрутам фабрики и гасят перегрузки в реальном времени. Разница на практике: в обычной сети совпавшие по хешу потоки садятся на один маршрут и обучение упирается в него, здесь этого не происходит.

Скорости. Spectrum-4 даёт 51,2 Тбит/с коммутации и порты до 800 Гбит/с. Spectrum-6 удваивает это до 102,4 Тбит/с. Часть исполнений выпускается с жидкостным охлаждением — на таких мощностях воздух перестаёт справляться.

Операционные системы: выбор за вами. Коммутаторы Ethernet поставляются либо с Cumulus Linux, либо в исполнении ONIE — с загрузчиком, но без операционной системы. Cumulus Linux — это настоящий Debian, где сеть настраивается конфигурационными файлами и разворачивается Ansible-ролями наравне с серверами. Исполнение ONIE позволяет поставить SONiC или другую совместимую ОС по своему выбору — вы не привязаны к одному вендору программного обеспечения.

RoCE и работа с ускорителями. Коммутаторы рассчитаны на RDMA поверх Ethernet (RoCEv2): данные передаются из памяти одного сервера в память другого, минуя процессор и стек операционной системы. Задержка падает до единиц микросекунд, а процессорное время остаётся вычислениям, а не обработке сетевых прерываний. Именно так графические ускорители обмениваются данными при обучении моделей.

Адаптивная маршрутизация и контроль перегрузок. Коммутатор распределяет потоки по маршрутам с учётом реальной загрузки каналов, а не только по хешу заголовков, и умеет сигнализировать отправителям о приближающейся перегрузке. Без этого в фабрике из сотен узлов один перегруженный маршрут тормозит всю задачу целиком.

Диагностика What Just Happened. Фирменная телеметрия NVIDIA фиксирует каждый отброшенный пакет и объясняет причину: переполнение буфера, ошибка контрольной суммы, отсутствие маршрута, запрет списком доступа. Вместо счётчика «потеряно 12 000 пакетов» администратор видит, что именно произошло и с каким потоком.

Направление воздушного потока. Коммутатор выпускается в двух исполнениях: C2P (connector-to-power, от портов к блокам питания) и P2C (power-to-connector, от блоков питания к портам). Направление подбирается под схему холодного и горячего коридоров в машинном зале. Блоки питания и вентиляторные модули в одном корпусе обязаны обеспечивать поток в одну сторону.

Технические характеристики

• Заводской SKU: 920-9N67K-00LA-GC0
• Модель: SN6800-LD
• Порты: 512x MMC-16 (CPO) + 4x QSFP112 + 64x ELS
• Коммутационная микросхема: 4x Spectrum-6, 409,6 Тбит/с
• Операционная система: Cumulus Linux с проверкой подписи
• Форм-фактор: 5U для монтажа в 19" стойку
• Направление воздушного потока: жидкостное охлаждение
• Дополнительно: Питание от шины 48 В DC

Комплект поставки

• Коммутатор NVIDIA SN6800-LD 920-9N67K-00LA-GC0
• Комплект документации

Оптические модули, медные и активные оптические кабели подбираются отдельно: на скоростях от 100 Гбит/с и в фабриках InfiniBand совместимость проверяется по официальному списку NVIDIA LinkX.

Где применяется

Фабрики искусственного интеллекта, кластеры обучения больших моделей, ядро сети крупных центров обработки данных.