Big Data 2014: Там, где данные всегда большие | Ofisp.org

Big Data 2014: Там, где данные всегда большие

28 Март 201407:28

Третий форум Big Data 2014, проведенный 20 марта издательством «Открытые системы», познакомил участников с новейшей практикой и проектами в области Больших Данных и стал площадкой для обсуждения актуальных проблем. С пленарным докладом на форуме выступил Массимо Ламанна, старший руководитель проектов группы сервисов и систем хранения данных департамента информационных технологий европейского центра ядерных исследований ЦЕРН.

«Физика высоких энергий всегда требовала значительных вычислительных мощностей и обработки огромных объемов экспериментальной информации», — подчеркнул Ламанна, пояснив, что экспериментальные установки Большого адронного коллайдера (Large Hadron Collider, LHC) генерируют ежегодно свыше 25 Тбайт «сырых» данных.

Информация, полученная в результате экспериментов, проведенных на коллайдере, хранится в центре обработки данных ЦЕРН (ЦОД нулевого уровня) и передается также в 11 центров первого уровня (см. «‘Тривиальный параллелизм’ в поисках модели мироздания», Computerworld Россия, № 43, 2007).

Экспериментальная информация содержится в иерархическом хранилище CASTOR (CERN Advanced STORage manager), разработанном в ЦЕРН для хранения файлов экспериментальных и других физических данных. Эта система, пояснил Ламанна, которая используется в продуктивном режиме уже много лет, теперь применяется также для LHC.

CASTOR имеет компонентную архитектуру, содержит центральную СУБД, обеспечивающую, в том числе, защиту от изменений компонентов, поддерживает единое пространство имен, формирует несколько копий файлов на лентах или в дисковых массивах. В состав CASTOR входит восемь роботизированных ленточных библиотек, содержащих до 14 тыс. картриджей каждая. В настоящее время в ЦЕРН насчитывается свыше 52 тыс. ленточных картриджей емкостью от 1 Тбайт до 5,5 Тбайт.

Для каждой экспериментальной установки LHC в CASTOR установили петабайтные дисковые массивы. На этапах ввода в действие адронного коллайдера были оптимизированы инструменты и протоколы работы с файлами данных, но это не полностью устранило проблемы, связанные с совмещением архивирования информации и оперативного доступа к файлам для анализа данных экспериментов.

Три года назад в ЦЕРНе ввели в действие систему хранения EOS (Exabyte Online Storage), содержащую восемь сотен дисковых серверов и более 17 тыс. дисковых накопителей, значительно снизившую время доступа к данным экспериментов. В EOS перенесена значительная часть сервисов, которые ранее поддерживались дисковыми массивами CASTOR. Система EOS, поддерживающая файловые и блочные протоколы, обладает функциональностью балансировки нагрузки и самовосстановления при выходе из строя отдельных дисков или серверов.

Постоянный рост объемов информации стимулирует повышение производительности и развитие функциональности комплексов хранения данных ЦЕРНа. Наряду с физической информацией, хранящейся в системах CASTOR и EOS, значительные объемы пространства хранилищ данных занимают директории около 30 тыс. пользователей, которые работают с файловыми системами AFS/DFS; служебная информация (AFS/NFS) ИТ-персонала, обеспечивающего поддержку инфраструктуры; резервное копирование данных серверов и настольных систем. Внедрение облачных технологий стимулирует использование блочных протоколов для хранения данных виртуальных машин OpenStack и сервисов AFS и NFS.

«Мы намерены использовать единую модель поддержки сервисов хранения, которая должна не зависеть от отказов дисков, серверов и сети, может поддерживать географическую репликацию данных и, наряду с этим, быть нейтральной по отношению к поставщикам оборудования, а также обеспечивать горизонтальное масштабирование на базе общедоступного ‘железа’» — подчеркнул Ламанна.

Для создания такой модели в ЦЕРНе ориентируются на технологию Ceph. Эта платформа хранения, основанная на программном обеспечении с открытым кодом, использует единый распределенный компьютерный кластер для организации объектного, блочного и файлового хранения, которое может масштабироваться до экзабайтного уровня.

Ceph содержит встроенные инструменты резервируемой репликации данных, которые обеспечивают высокий уровень надежности, а также обладает способностью балансировки нагрузки при изменении числа узлов в системе. Для поддержки ПО могут применяться серверы общего назначения.

Весной прошлого года объем хранящейся в ЦЕРНе физической информации превысил 100 Пбайт. Это данные не только LHC, но и других текущих и проведенных ранее экспериментов в области физики высоких энергий, а также магнитного альфа-спектрометра, расположенного на Международной космической станции. В CASTOR содержится около 88 Пбайт, в EOS – более 13 Пбайт.

В 2015 году, по словам Ламанна, планируется значительно, возможно до двух раз, увеличить производительность комплексов хранения данных.

Похожие материалы

16.01.2013
США может начать вводить экономические санкции против государств, которые поддерживают кибератаки. Соответствующее решение было принято по результатом слушания подкомитета по преступности судебного комитета сената США. Сенаторы США предложили вводить торговые и иммиграционные ограничения против стран, поощряющих деятельность хакеров. В первую очередь эти ограничения будут касаться Китая, который уже длительное время является субъектом критики американских властей. В ходе этих слушаний выступил директор аналитической компании Mandiant Кевин Мандиа (Kevin Mandia).
25.10.2014
Вспоминая о том, что модем — это не роскошь, а всего лишь средство общения, попытаемся при его подборе поступать без притязаний.Интересные по ценнику внутренние модемы похожи по своему виду на карточку, вставляющуюся в "материнку" компьютера, а также функционирующую внутри него. Они производятся для разъёма PCI (это программные модемы), ASA (зачастую аппаратные, сегодня практически исчезли из продажи), ANR/CNR (довольно редкие, а из-за небольшого спроса завозятся в малых количествах), а также для слота PCMCIIA (по большей части программные).
31.05.2016
На сегодняшний день ни для кого не секрет, что может современное видеонаблюдение. Можно установить камеры и наблюдать за видео с любой точки земного шара, имея лишь интернет. Технология пошла дальше и теперь мы может обрабатывать видео, анализировать, распознавать лица, номера машин, а также определенные предметы. Программное обеспечение для таких нужд довольно недешевое, но само видеонаблюдение вполне доступно обычным гражданам. А для небольшого офиса или частного дома можно подобрать подходящий комплект видеокамер и комплектующих, о чем мы и расскажем в этой статье.
16.08.2014
Интернет можно смело назвать окном во внешний мир, он обеспечивает доступ к различным сетевым ресурсам и сервисам. Технически подключение к этим ресурсам можно осуществить разными способами, рассмотрим проводные технологии.ADSL (телефонная линии)Эта технология позволяет подключиться к сети по обыкновенному телефонному кабелю. У пользователя устанавливается оборудование, обеспечивающее скорость на входе 24 Мбит/сек, на выходе - 1,4 Мбит/сек.Но скорость определяется состоянием телефонных линий, а их состояние оставляет желать лучшего.
28.03.2014
Компания Facebook договорилась о покупке разработчика технологий виртуальной реальности Oculus VR за 2 миллиарда долларов и намерена стимулировать развитие компании на рынке видеоигр и коммуникаций, говорится в сообщении Facebook. Oculus VR была создана в 2012 году, ее возглавляет один из основателей, Брендан Ирибе (Brendan Iribe). Ранее стартап привлекал средства с помощью краудфандинг-площадки Kickstarter. На сегодняшний день компания приняла более 75 тысяч заказов на комплекты инструментов для разработки ПО для очков виртуальной реальности Oculus Rift.

Оборудование:

Общие характеристики Тип: Wi-Fi точка доступа Стандарт беспроводной связи: 802.11n, частота 2.4 ГГц...
→ Оставить отзыв
Для начала давайте определим что такое IPTV и мини-роутер. Мини-роутер (маршрутизатор) – сетевое...
→ Оставить отзыв
Подключение При подключении нового роутера к сети интернет необходимо подключить кабель провайдера...
→ Оставить отзыв
Сначала – посмотрим, что такое Wi-Fi 3G роутер вообще, и чем такие решения лучше «модемов». В...
→ Оставить отзыв