Zettar Inc установили рекордную передачу 1-го петабайта данных. Используя 5 000-мильную сетевую линию, управляемую ESnet, исследователи из Национальной ускорительной лаборатории SLAC (SLAC) Министерства энергетики и Zettar Inc. недавно передали 1 петабайт за 29 часов с шифрованием и контрольной суммой, побив прошлогодний рекорд на 5 часов, улучшение почти на 15 процентов.

На фото: На этом снимке экрана с MyESnet показаны темно-красные южные звенья сети, указывающие на передачу данных со скоростью более 50 Гбит/с во время передачи на 5000 миль, выполняемой SLAC и Zettar Inc.

Проект нацелен на достижение высоких скоростей передачи данных, необходимых для размещения объема данных, которые будут генерироваться источником когерентного света Linac II (LCLS II), который, как ожидается, появится в сети в 2020 году. LCLS — первый в мире аппарат X-лазер на свободных электронах (XFEL) и его стробоподобные импульсы имеют длину всего несколько миллионных долей миллиардной доли секунды и в миллиард раз ярче, чем предыдущие источники рентгеновского излучения. LCLS II обеспечит значительный скачок возможностей — переход от 120 импульсов в секунду до 1 миллиона импульсов в секунду. Ученые используют LCLS, чтобы делать четкие снимки атомных движений, наблюдать, как разворачиваются химические реакции, исследовать свойства материалов и исследовать фундаментальные процессы в живых организмах.

Ожидается, что увеличенные возможности будут генерировать передачу данных со скоростью несколько терабит в секунду, поскольку результаты экспериментов отправляются из SLAC на суперкомпьютерные установки Министерства энергетики (DOE) в национальных лабораториях им. Лоуренса Беркли и Ок-Риджа для анализа. В качестве специализированной сети пользователя DOE для научных исследований ESnet передает данные между университетами и национальными лабораториями DOE, а также национальными учреждениями пользователей по магистральной сети с пропускной способностью в несколько сотен гигабит в секунду (Гбит/с).

Согласно Stanford Emeritus Les Cottrell, текущая демонстрация высокоскоростной передачи данных является частью программы по разработке и оценке инструментов для удовлетворения критически важных требований передачи данных в следующем десятилетии для XFEL следующего поколения в SLAC.

передача в петабайтах составляла треть всего сетевого трафика в ESnet

На графике видно, что в течение 29-часового периода пробная передача в петабайтах составляла треть всего сетевого трафика в ESnet. Фото: Министерство энергетики США.

Zettar, финансируемая Национальным научным фондом программная фирма в Пало-Альто, разрабатывает программное решение для гиперпространственного распределения данных, способное передавать со скоростью более 100 Гбит/с, и сотрудничает с национальными лабораториями ESnet и DOE. Для испытаний команда использовала безопасные схемы и предварительное резервирование системы ESnet (OSCARS) ESnet, чтобы зарезервировать полосу пропускания для прогона.

«Инновационный и универсальный характер ОСКАС от ESnet позволил нам спроектировать уникальную петлю на скорости 100 Гбит/с 5000 миль, которую наши коллеги по ESnet быстро помогли создать в 2015 году», — сказал основатель и генеральный директор Zettar Чин Фанг. «Конструкция ESnet позволяет использовать отдельный выделенный канал для тестирования без влияния или вмешательства со стороны производственного трафика. Таким образом, мы смогли разместить кластеры хранения данных и узлы передачи данных в одной стойке, хотя они были на обоих концах цикла. Физически они были разделены дюймами, но в цифровом виде они разделены на 5000 миль. Кроме того, сами кластеры имеют собственную скорость 80 Гбит/с».

Фанг сказал, что пятичасовое улучшение передачи петабайта данных было достигнуто благодаря усовершенствованиям как программного, так и аппаратного обеспечения. В этом году Zettar значительно улучшила параллельность своего программного обеспечения, чтобы ускорить передачу как зашифрованных, так и незашифрованных данных. Intel также предоставила команде более быстрые процессоры и продукты с твердотельной памятью для более быстрого перемещения данных в основные системы хранения и из них. В этом случае в проекте использовались смоделированные наборы данных с распределением размера файлов, предоставленным Группой управления данными LCLS.

«Гибкая схема организации трафика в сети ESnet обеспечивает эффективное использование протоколов передачи на основе TCP для передачи данных с высокой пропускной способностью», — сказал директор ESnet Индер Монга. «Стратегия ESnet заключается в том, чтобы предвидеть и опережать требования наших научных пользователей в отношении передачи данных. Текущие испытания, подобные тем, которые мы поддерживаем для SLAC, важны для нас, так как мы видим направления, которые возглавляют исследовательские группы, и мы можем улучшить нашу поддержку и инфраструктуру, чтобы быть готовыми, когда такие объекты, как LCLS II, будут подключены».

По материалам phys.org