Центральный коммутатор Dell Networking серии 9700

Выбор коммутатора влияет на эффективность использования графических процессоров и скорость выполнения задач. В центре обработки данных для ИИ коммутаторы должны постоянно и с высокой скоростью передавать трафик между узлами с графическими процессорами, обеспечивая при этом низкую и стабильную задержку. Одно слабое звено замедляет групповые операции и приводит к простою дорогостоящих вычислительных ресурсов.Что должно определять ваш выбор при принятии решения? Коммутаторы центров обработки данных следующего поколения Что касается ИИ и высокопроизводительных сетей? Вам необходимо объективное сравнение технологий и практический контрольный список, а не заявления поставщиков.Компания Ailink подробно расскажет вам о производительности, пригодности для конкретных задач, соответствии нормативным требованиям и стоимости. Вы уйдете с доказательствами, которые сможете обосновать перед своей командой, и с четким планом действий для принятия взвешенного решения.Основные выводыПодберите коммутатор в соответствии с вашей рабочей нагрузкой в ​​области ИИ. Для больших объемов задач обучения требуются низкая задержка и высокая пропускная способность.Протестируйте коммутаторы с использованием реального трафика ИИ. Запросите данные о пропускной способности, задержке в конце потока и времени завершения задания.Тщательно настройте управление перегрузкой. Это может повысить производительность до 40%.Проверьте энергоэффективность. Стойки для оборудования, предназначенного для искусственного интеллекта, потребляют много энергии, поэтому выбирайте энергоэффективные коммутаторы.Оцените общую стоимость. Включите в расчет оптику, лицензирование, электроэнергию и квалификацию персонала.Как ИИ меняет требования к коммутаторамДвижение транспорта и коллективные операции в направлении Восток-ЗападВ старых корпоративных сетях трафик в основном идет в направлении «север-юг», то есть запросы от пользователя к серверу. Кластеры ИИ работают иначе. Они создают огромный трафик в направлении «восток-запад», который перемещается вбок между графическими процессорами, серверами и хранилищами, и этот боковой поток является основной частью работы по обучению ИИ.Распределенное обучение постоянно обменивается градиентами, тензорами, параметрами модели и синхронизирует данные. Благодаря параллелизму данных, тензоров и конвейера, каждый графический процессор может одновременно взаимодействовать со многими другими. Это создает шаблоны, использующие огромный объем пропускной способности, такие как All-Reduce, All-Gather, Broadcast и Reduce-Scatter.АспектЧто происходит в кластерах искусственного интеллекта?направление движенияОсновной поток — движение с востока на запад; второй по значимости — движение с севера на юг.форма транспортного потокаНесколько крупных, продолжительных потоков вместо множества мелких.ЧувствительностьКоллективы активно реагируют на задержки, потерю пакетов, перегрузку сети, дрожание сигнала и перегрузку.Коллективные операции очень чувствительны к задержке. Даже небольшая задержка синхронизации приводит к простою дорогостоящих графических процессоров, поэтому стабильная низкая задержка важнее пиковой пропускной способности на бумаге. В архитектурах используются схемы типа «шпиндель-лист», неблокирующие или низкозагрузочные схемы, а также RDMA для снижения скачков задержки.Ограничения устаревших конструкцийСтарые сети типа «лист-магистраль» были построены для трафика в направлении север-юг с множеством небольших, прерывистых потоков. Рабочие нагрузки ИИ, напротив, создают небольшой набор огромных, долгосрочных потоков, напоминающих слоновьи лапы. Каждый ускоритель обменивается состоянием с каждым другим ускорителем, и любая задержка на одном пути останавливает всю коллективную работу.Ключевым показателем здесь является не средняя задержка, а задержка в хвосте распределения. Потоки синхронизированы, поэтому самый медленный пакет определяет, когда вся операция завершится. Традиционные разработки не оптимизируют этот параметр. Библиотеки для обучения ИИ также предполагают нулевую потерю пакетов. Один потерянный пакет может привести к повторной передаче больших наборов данных или к полному перезапуску с контрольной точки.Статический многопутевой трафик с равной стоимостью и случайное распространение пакетов больше не работают достаточно эффективно. Небольшие исправления не могут обеспечить требуемый уровень производительности для рабочих нагрузок ИИ, поскольку эти нагрузки меняются быстрее, чем традиционные сетевые конструкции адаптируются. Рынок движется в сторону большей энергоэффективности, сокращения времени, проводимого внутри сети, и расширенной телеметрии. Высокопроизводительный Ethernet на основе открытых стандартов с интерфейсами до 800 Гбит/с и жидкостным охлаждением демонстрирует, куда движутся разработки. Ailink отслеживает эти тенденции, не отдавая предпочтение какому-либо одному поставщику.InfiniBand против Ultra EthernetПроизводительность, соответствие, соответствие стандартам, стоимостьОбе сети способны передавать трафик ИИ на высокой скорости. Разница заключается в способе достижения этой скорости. InfiniBand использует выделенную сеть без потерь с внутрисетевыми вычислениями. Ethernet с RoCE обеспечивает RDMA на основе привычных открытых стандартов. В таблице ниже показано, как выглядит типовая платформа InfiniBand на бумаге.СпецификацияКоммутатор NVIDIA MQM9790-NS2R Quantum-2 NDR InfiniBandПоколениеНДР 400ГПорты64 x 400G (32 разъема OSFP)Совокупная пропускная способность51,2 Тбит/с, неблокирующий режимЗадержка переключенияСубмикросекундаВнутрисетевые вычисленияSHARP v4ОхлаждениеЖидкость (QM9790); воздух на QM9700Типичная мощность~800–1200 ВтСогласиеСпецификация IBTA v1.5Указанная цена30 000,00 долларов СШАварианты Ethernet, такие как Центральный коммутатор Dell Networking серии 9700 Другие коммутаторы, поддерживающие RoCE, конкурируют по открытости и удобству в эксплуатации. Они работают со стандартными инструментами Ethernet и подходят для сред разных производителей. Пути соответствия также различаются. InfiniBand соответствует стандарту IBTA v1.5, в то время как Ethernet соответствует стандартам IEEE и RoCE, которые ваша команда, вероятно, уже знает.Стоимость — это не только прейскурантная цена. Коммутатор NVIDIA стоит дороже, а его менеджер подсетей и инструменты UFM добавляют затраты на лицензирование и квалификацию персонала. Коммутаторы Ethernet часто стоят дешевле за порт и позволяют использовать знания уже имеющихся сотрудников. Энергопотребление также имеет значение. Полностью загруженный коммутатор Quantum-2 с воздушным охлаждением обычно потребляет от 800 до 1200 Вт в зависимости от оптики и нагрузки трафика. Сравните эту цифру с вашим бюджетом на электропитание стойки, прежде чем принимать решение.Где каждый из них лучше всего подходитРезультаты бенчмарков говорят о многом. В тесте MLPerf Training для BERT-Large, Ethernet завершился за 10 886 секунд против 10 951 секунды у InfiniBand, что является небольшим преимуществом Ethernet. В тесте MLPerf Inference для LLAMA2-70B-99.9, InfiniBand показал на 1,66% более быстрый результат. В нескольких тестах генеративного ИИ оба варианта показали практически одинаковые результаты, разница составила менее 0,03%. Однако скорость сама по себе редко определяет выбор.Форма рабочей нагрузки играет более важную роль. Крупномасштабное синхронное параллельное обучение с использованием 8 или более графических процессоров и десятков миллиардов параметров вознаграждает низкую задержку и высокую пропускную способность InfiniBand. Параллелизм FSDP, ZeRO-3 и тензоров также выигрывает, поскольку частые мелкозернистые коллективные вычисления резко реагируют на задержку. В моделях размером 70 байт и более с большими глобальными размерами пакетов пропускная способность межсоединений становится решающим фактором.Ethernet хорошо подходит для многих других случаев. Параллельная обработка данных в конвейере позволяет передавать меньший объем трафика активации между точками и обеспечивает приемлемую задержку. Асинхронное обучение не имеет барьера синхронизации. Небольшие конфигурации с 2–4 графическими процессорами используют NVLink внутри узла. Для обработки данных в процессе вывода практически никогда не требуется InfiniBand, поскольку NVLink обрабатывает внутриузловой трафик, а высокоскоростной Ethernet покрывает межузловые соединения.InfiniBand предпочтительнее для высокопроизводительных вычислительных нагрузок с тесной взаимосвязью, требующих задержки менее 5 микросекунд, и для внутрисетевых вычислений, где коммутационная инфраструктура выделена для одного пользователя и типа рабочей нагрузки. Современный Ethernet с подходящей архитектурой является надежной альтернативой для многопользовательских сред, смешанных рабочих нагрузок или организаций, стремящихся избежать зависимости от поставщика.Ни один из вариантов не является неправильным. Подберите коммутационную инфраструктуру в соответствии с вашей рабочей нагрузкой, навыками вашей команды и вашим бюджетом. Ailink поможет вам взвесить оба пути при выборе коммутаторов нового поколения для ваших центров обработки данных, не склоняясь к какому-либо одному поставщику.Важные особенности коммутаторов нового поколенияПропускная способность, задержка, управление перегрузкойСкорость портов теперь достигает 800 Гбит/с, а плотная сеть портов 100G, 200G и 400G удовлетворяет современным потребностям в пропускной способности графических процессоров. Однако скорость — это лишь отправная точка. Четыре параметра определяют, сможет ли ваша сеть идти в ногу с ускорителями.ВозможностиНа что обратить вниманиеПочему это важноПропускная способность и плотность портовПорты 100G, 200G, 400G и новый 800GСоответствует требованиям к пропускной способности, необходимым для распределенных учебных групп.ЗадержкаСтабильная низкая задержка между портами, отсутствие дрожания под нагрузкой.Предотвращает отставание участников в синхронных коллективах.БуферизацияГлубокие, динамически разделяемые буферыПоглощает микропорывы и ливни без потерь.Контроль заторовRoCEv2 с DCQCN, маркировкой ECN, PFC в соответствии со стандартом 802.1QbbОбеспечивает передачу данных RoCE без потерь и стабильную пропускную способность.Управление перегрузкой заслуживает более пристального внимания. DCQCN позволяет сетевым картам реагировать на метки ECN, а ECN помечает пакеты до того, как коммутатор их отбросит. PFC приостанавливает определенные приоритеты CoS для защиты трафика RoCE без потерь. OCI создала сеть RoCE, масштабируемую до тысяч узлов, и определила как минимум три профиля управления перегрузкой для рабочих нагрузок, чувствительных к задержке, чувствительных к пропускной способности и смешанных нагрузок. Она применяла PFC только в одном направлении на границе между хостами и коммутаторами верхнего уровня стойки, никогда не применяя его к коммутаторам Leaf или Spine, что предотвращает блокировку в начале очереди. ECN позволяет редко использовать PFC в качестве крайней меры защиты. В небольших кластерах можно использовать Zero Touch RoCE без настройки PFC или ECN на коммутаторах.Без мер по смягчению последствий неравномерное распределение трафика и перегрузка восходящего канала снижают производительность обучения более чем на 30% в одном из развертываний. Хэширование на целевом QP через UDF коммутатора в сочетании с масштабированием QP обеспечило улучшение производительности AllReduce до 40%. Допуск, управляемый получателем, при котором коллективная библиотека и транспортный канал обмениваются пакетами, разрешающими отправку, еще больше ограничивает трафик в процессе передачи.Масштабируемость, программируемость, телеметрияРассматривайте масштабируемость, программируемость и телеметрию как критерии выбора, а не как дополнительные параметры. Спросите, как сеть будет развиваться за пределы тысяч узлов, предоставляет ли коммутатор телеметрию на уровне потоков и какой объем конфигурации должна контролировать ваша команда. Непрерывность работы также имеет значение. Коммутаторы Dell на базе OS10 сохраняют привычный интерфейс командной строки для команд, которые его ценят, а коммутатор Dell Networking 9700 Series Center Switch подходит для сред, стандартизированных на основе этих инструментов.Выбирайте коммутаторы нового поколения для центров обработки данных, соответствующие этим критериям, а затем протестируйте их на собственном трафике, прежде чем принимать окончательное решение.Что показывают испытания в реальных условияхКонтрольные данные от AI FabricsПрежде чем подписывать договор, запросите реальные цифры: пропускную способность, задержку в конце цепочки и время завершения задания от сетей, обрабатывающих реальный трафик ИИ. В коммерческих предложениях эти данные редко приводятся. Запросите их у своего поставщика и у Ailink.Опубликованные данные выглядят хорошо для обеих сетей. Компания Meta создала два кластера ИИ, один на InfiniBand, а другой на Arista Ethernet, для развертывания Llama 3. Meta сообщила об отсутствии узких мест в сети ни на одной из сетей. Meta также поделилась техническими подробностями для кластера RoCE с 24 000 графическими процессорами. В этом кластере RoCE и InfiniBand были настроены на одинаковую производительность, а самые большие модели обучались на сети RoCE. В тестах NCCL сеть RoCE Ethernet соответствует InfiniBand по общей пропускной способности связи. Лабораторные тесты в стиле MLPerf теперь показывают разницу во времени выполнения заданий всего в доли процента.Задержка в хвосте цепи по-прежнему отличает эти два подхода. Управление потоком на основе кредитов в InfiniBand устраняет потери и обеспечивает очень стабильное поведение в худшем случае. Хорошо настроенный AI Ethernet приближается к этому показателю, но неправильная настройка PFC может привести к блокировке в начале очереди или тупиковой ситуации. Суперкомпьютер Colossus от xAI объединил 100 000 графических процессоров NVIDIA Hopper через Spectrum-X Ethernet. Он достиг 95% пропускной способности данных при управлении перегрузкой, настроенном для импульсного обучения ИИ. Традиционный Ethernet в том же масштабе достигает максимума примерно в 60% пропускной способности из-за тысяч коллизий потоков.Уроки, извлеченные из развернутых кластеровУже используемые кластеры позволяют извлечь уроки из выбора подходящего инструмента для решения задачи. Команда, проводящая тесно связанные синхронные тренинги, Коммутатор NVIDIA MQM9790-NS2R Quantum-2 NDR InfiniBand обеспечивает стабильную задержку и внутрисетевые вычисления. Команда, которая стандартизирует использование открытого Ethernet с помощью центрального коммутатора Dell Networking 9700 Series, получает привычные операции и гибкость при работе с устройствами разных производителей.Выбор чипа и алгоритма балансировки нагрузки также влияет на время выполнения задания. Broadcom Jericho3-AI сократил время выполнения задания более чем на 10% по сравнению с конкурирующими чипами. Arista 7800R4 HyperPort, объединяющий 4×800 Гбит/с в 3,2 Тбит/с, сократил время выполнения задания на 44% по сравнению с традиционной балансировкой нагрузки на отдельных портах. Воспринимайте эти результаты как повод для тестирования, а не как окончательный ответ. При выборе коммутаторов нового поколения для центров обработки данных, проверьте их работу в собственной сети.Как выбрать коммутаторы нового поколения для центров обработки данныхСоставление контрольного списка оценкиХороший контрольный список превращает расплывчатое сравнение в решение, которое вы можете обосновать. Оцените каждого кандидата по шести параметрам и присвойте каждому параметру вес, соответствующий вашим условиям. В таблице ниже показано, почему для центров искусственного интеллекта требуются иные ответы, чем для традиционных залов.Критериальная областьТрадиционный центр обработки данныхЦентр обработки данных ИИСоответствие рабочей нагрузкиСтабильная, предсказуемая рабочая нагрузкаДинамичные, импульсные, ресурсоемкие рабочие нагрузкиПлотность мощности в стойке7–10 кВт/стойкаот 30 кВт до более 100 кВт/стойкаОхлаждениеВ основном воздушное охлаждениеЖидкостное или гибридное охлаждениеСетевые технологииСтандартный EthernetСверхвысокоскоростные межсоединения с низкой задержкойНачните с оценки соответствия рабочей нагрузке. Узнайте, обеспечивает ли коммутатор высокую пропускную способность и низкую задержку на множестве узлов с графическими процессорами, а также хорошо ли он справляется с трафиком между узлами. Затем протестируйте производительность в условиях реального трафика ИИ, а не в лабораторных условиях. После этого подтвердите соответствие требованиям для каждого региона, в котором вы развертываете систему, поскольку глобальное присутствие обеспечивает согласованность дизайна продукта и ускоряет развертывание.Энергоэффективность заслуживает отдельного упоминания. Плотные стойки для ИИ теперь потребляют от 30 до более 100 кВт, а NVIDIA GB200 NVL36 потребляет примерно 66 кВт, в то время как NVL72 достигает около 120 кВт. Современные подключаемые модули 800G OSFP обеспечивают примерно на 40% меньшую стоимость за гигабит по сравнению с предыдущими поколениями и примерно на 50% экономию энергии за счет усовершенствованной цифровой обработки сигналов и модуляции. Добавьте телеметрию в качестве оцениваемого параметра. Анализ энергопотребления и нагрузки на инфраструктуру в режиме реального времени предотвращает простои, а модели машинного обучения могут выявлять снижение эффективности охлаждения или ухудшение сигнала в оптоволокне до возникновения сбоя. Наконец, оцените общую стоимость, включая оптику, лицензирование, электропитание и квалификацию персонала.Проверка с помощью AilinkКонтрольный список сужает круг вариантов. Тестирование определяет окончательный выбор. Ailink помогает вашей команде проверить коммутаторы центров обработки данных нового поколения на соответствие вашим собственным рабочим нагрузкам ИИ, прежде чем вы примете окончательное решение. Вы предоставляете профили трафика, общие шаблоны и энергетический бюджет. Ailink строит план тестирования на их основе.Процесс проходит по четкой схеме. Во-первых, вы определяете важные рабочие нагрузки, от синхронного обучения до обработки результатов инференции. Во-вторых, Ailink проводит тесты пропускной способности, задержки и времени выполнения заданий на различных платформах. В-третьих, вы анализируете телеметрические данные и энергопотребление при длительной нагрузке. В-четвертых, вы сравниваете общую стоимость всего развертывания.Такой подход позволяет выбирать коммутаторы нового поколения для центров обработки данных, опираясь на факты, а не на маркетинговые заявления. При таком выборе ваша команда видит цифры еще до оформления заказа. Компания Ailink продает все сравниваемые здесь варианты, поэтому рекомендации остаются нейтральными, а результаты тестов говорят сами за себя.При выборе следует руководствоваться пятью факторами: насколько хорошо устройство соответствует вашей рабочей нагрузке, реальная скорость при работе с трафиком ИИ, соответствие нормативным требованиям, энергоэффективность и общая стоимость. Используйте все эти факторы вместе, и ни одна отдельная спецификация не сможет вас убедить.Проверьте каждый кандидат по контрольному списку. Запросите эталонные данные у платформ, обрабатывающих реальный трафик ИИ. Затем работайте с ними. Эйлинк Прежде чем принимать окончательное решение, протестируйте варианты на собственных рабочих нагрузках. Полученные данные позволят вам с уверенностью выбрать коммутаторы нового поколения для центров обработки данных, и ваша команда увидит цифры, подтверждающие принятое решение.Часто задаваемые вопросыКакую технологию следует выбрать для масштабных синхронных тренировок?InfiniBand лучше всего подходит для обучения с тесной взаимосвязью. Управление потоком на основе кредитов обеспечивает стабильную задержку в конце цепи, а внутрисетевые вычисления ускоряют работу коллективов. Ethernet с RoCE также хорошо работает, если настроить управление перегрузкой. Перед принятием решения подберите инфраструктуру в соответствии с характером вашей рабочей нагрузки, квалификацией команды и бюджетом.Насколько сильно регулирование транспортных заторов действительно меняет результаты?Это сильно меняет ситуацию. В одном из развертываний производительность обучения снизилась более чем на 30% из-за неравномерного трафика и перегрузки восходящего канала. Хэширование на целевом QP с масштабированием QP восстановило до 40% производительности AllReduce. Тщательно настройте ECN и PFC и протестируйте в условиях собственного пикового трафика.Вам сегодня нужны порты 800 GbE?Не всегда. Плотная сеть портов 100G, 200G и 400G удовлетворяет большинству современных потребностей в графических процессорах. Выбирайте 800 GbE, когда это предусмотрено вашим планом развития. Современные модули OSFP 800G снижают стоимость гигабита примерно на 40% и экономят около 50% энергии, поэтому модернизация окупается со временем.Как справедливо сравнивать поставщиков?Оцените каждого кандидата по таким параметрам, как соответствие рабочей нагрузке, производительность в реальных условиях, соответствие стандартам, энергоэффективность, телеметрия и общая стоимость. Запросите данные о пропускной способности, задержке в хвосте распределения и времени выполнения заданий у работающих ИИ-платформ. Затем позвольте Ailink протестировать отобранные варианты на соответствие вашим собственным профилям трафика, прежде чем вы примете решение.Какую роль играет власть в принятии решения?Это очень важный показатель. Мощность современных стоек для ИИ достигает 30 кВт и более 100 кВт, а NVIDIA GB200 NVL72 потребляет около 120 кВт. Полностью загруженный коммутатор Quantum-2 с воздушным охлаждением потребляет примерно 800–1200 Вт. Перед началом работы обязательно сравните все показатели с вашим бюджетом на электроэнергию и охлаждение стойки.