Коммутатор H3C S12500AI-18EP20EP-NCPN

Коммутатор H3C S12500AI-18EP20EP-NCPN — узел платформы H3C S12500AI для вычислительных сетей искусственного интеллекта. Элемент распределённой фабрики DDC с ячеечной коммутацией и сетью нулевых потерь.

Порты доступа — 18x 800GE OSFP сервисных + 20x 800GE OSFP SFI.

Что такое S12500AI. S12500AI — принципиально другой продукт, чем классическое шасси. Это DDC (Diversified Dynamic-Connectivity): традиционное модульное шасси «разобрано» на отдельные коробочные устройства, разнесённые по разным стойкам. Линейные карты становятся узлами NCP, коммутационные фабрики — узлами NCF, и они соединяются кабелями вместо объединительной платы. Выигрыш: лучше охлаждение, равномернее распределение питания, фабрику можно наращивать узел за узлом и нет единой точки отказа в виде одного корпуса.

Роли узлов. NCP (Network Connectivity Processor) — интерфейсный узел: терминирует внешние порты к серверам с ускорителями и к хранилищу, обрабатывает протокольные пакеты. NCF (Network Connectivity Fabric) — узел фабрики: прозрачно передаёт ячейки между узлами NCP по интерфейсам SFI. NCC (Network Connectivity Controller) — управляющий узел кластера. Тип узла указан в артикуле.

Ячеечная коммутация вместо ECMP. Пакет режется на ячейки фиксированного размера и рассылается параллельно по всем доступным путям, а не отправляется целиком по одному пути, выбранному хешем. Это снимает главную болезнь классических фабрик — поляризацию хеша, когда несколько крупных потоков попадают на один линк и создают затор при свободных соседних. В сценарии «все со всеми», типичном для обучения моделей, эффективность пересылки выше классического ECMP примерно на 2,5 %.

Виртуальные выходные очереди и кредитная схема. Входной узел NCP не отправляет данные, пока не получит «кредит» от выходного узла, то есть подтверждение, что полоса гарантирована; иначе трафик ждёт в локальной очереди. Такая схема полностью исключает потери из-за перегрузки внутри фабрики — именно то, что нужно при обучении больших моделей, где потеря одного пакета откатывает весь шаг синхронизации градиентов.

Адаптивная маршрутизация и балансировка. Доступная полоса пути определяется заранее, трафик распределяется без блокировок; хеширование выполняется не по потокам, а по каждой ячейке отдельно, поэтому один «слоновий» поток не перекашивает линк. Результат — сеть с нулевыми потерями и низкой задержкой.

Управление перегрузкой. Поддерживаются RoCEv2, PFC, ECN и AI ECN с динамической подстройкой порогов для каждой очереди передачи. Наблюдаемость: телеметрия gRPC и mirror-on-drop, видимость RoCE-пакетов, sFlow, зеркалирование SPAN, RSPAN и ERSPAN.

Масштаб и управление. Один POD собирается до 9216 портов 400GE или 4608 портов 800GE. Управление: SDN-контроллер H3C ADDC, NETCONF, OpenConfig, gRPC, Python и Ansible, SNMP v1/v2c/v3, платформа iMC, доступ по SSH 2.0 и SSL с аутентификацией AAA и RADIUS.

Маршрутизация. Функции третьего уровня сознательно сокращены в пользу производительности фабрики: BGP, статические маршруты, ECMP и политики маршрутизации PBR для IPv4 и IPv6, до 128 000 одноадресных маршрутов и по 88 000 записей ARP и ND.

Технические характеристики

• Модель: H3C S12500AI-18EP20EP-NCPN
• Порты доступа: 18x 800GE OSFP сервисных + 20x 800GE OSFP SFI
• PoE: не поддерживается
• Роль в фабрике: интерфейсный узел NCP — терминирует внешние порты и обрабатывает протокольные пакеты
• Порты: 18 × 800GE OSFP сервисных и 20 × 800GE OSFP для межсоединения SFI
• Коммутационная способность: 14,4 Тбит/с
• Скорость пересылки: 5,4 млрд пакетов в секунду
• Память: 32 ГБ оперативной, 64 ГБ флеш-памяти NAND и две микросхемы NOR по 32 МБ, опционально накопитель SSD M.2 SATA на 240 ГБ
• Блоки питания: 2 штуки с резервированием 1+1, питание переменного тока
• Охлаждение: 4 вентилятора
• Потребляемая мощность: типовая 660 Вт с медными кабелями и 1192 Вт с оптическими модулями, максимальная 2135 Вт
• Габариты: 88,1 × 440 × 760 мм, высота 2U
• Масса: 17,2 кг
• Архитектура: DDC — распределённое шасси из отдельных узлов NCP, NCF и NCC
• Коммутация: ячеечная (cell-based) с виртуальными выходными очередями и кредитной схемой
• Балансировка: по ячейкам, а не по потокам; адаптивная маршрутизация
• Функции ЦОД: RoCEv2, PFC, ECN, AI ECN с динамической подстройкой порогов
• Масштаб одного POD: до 9216 портов 400GE или 4608 портов 800GE
• Маршрутизация: BGP, статика, ECMP, PBR для IPv4 и IPv6
• Таблицы: до 128 000 одноадресных маршрутов, 88 000 записей ARP и ND, до 1024 соседей BGP
• Списки доступа: 2560 записей на вход и 1024 на выход для IPv4
• Максимальный размер кадра: 9964 байта
• Управление: SDN-контроллер ADDC, NETCONF, OpenConfig, gRPC, Python, Ansible

Комплект поставки

• Коммутатор H3C S12500AI-18EP20EP-NCPN
• Комплект кронштейнов для монтажа в 19" стойку
• Кабели питания по числу установленных модулей
• Консольный кабель
• Комплект документации

Узел поставляется как отдельное устройство. Полная фабрика DDC собирается из узлов NCP и NCF в нужном количестве; кабели межсоединения SFI, оптические трансиверы и лицензии подбираются отдельно под проект.

Где применяется

Вычислительные сети центров обработки данных под задачи искусственного интеллекта: обучение и инференс больших моделей, кластеры высокопроизводительных вычислений, фабрики соединения серверов с ускорителями, где требуется сеть нулевых потерь с предсказуемой задержкой.

Примечание. Пакетный узел NCP, 14,4 Тбит/с, 2U.