Big Data 2014: Интеграторы миров | Ofisp.org

Big Data 2014: Интеграторы миров

19 апреля 201418:19

В центре внимания форума Big Data, проведенного 20 марта издательством «Открытые системы», кроме самих Больших Данных, находились средства работы с ними. Один из лидеров в создании соответствующих технологий — компания Pivotal, входящая в EMC. Она была создана в начале 2013 года с целью объединения всех средств работы с Большими Данными, имевшимися в EMC и VMware. О важности новой структуры можно судить по тому, что генеральным директором Pivotal был назначен Пол Мариц, до этого возглавлявший VMware.

Глава представительства EMC/Pivotal в России и СНГ Сергей Золотарев рассказал об особенностях бизнеса компании, о сферах применения ее продуктов и о том, почему одним из инвесторов Pivotal стала General Electric.

- Решения на базе Hadoop предлагают многие компании. В чем особенность продуктов Pivotal?

Средства обработки Больших Данных вышли из проектов с открытым кодом. Все вендоры добавляют что-то свое к Hadoop. Весь вопрос в том, как «прикрутить» Hadoop к реалиям корпоративной ИТ-среды.

Мы интегрируем два мира — мир стрнуктурированных данных, обрабатываемых обычными SQL-запросами, и мир неструктурированных данных, которые обрабатываются с помощью Hadoop. Когда традиционные средства бизнес-аналитики обращаются к неструктурированным данным, то работа идет очень медленно, посредством интерпретаторов. У нас же есть Pivotal XD и HAWQ.

Первый продукт дает возможность базе данных, размещенной в памяти, напрямую взаимодействовать с Hadoop. Это так называемое предприятие реального времени. Все события, на которые надо немедленно отреагировать, вся сопутствующая информация – все держится в оперативной памяти.

HAWQ — фактически традиционная аналитическая СУБД, которая «интегрирована» с файловой системой Hadoop и за счет этого работает с данными Hadoop в сотни раз быстрее.

- Кто ваши основные клиенты — в России и в мире?

Те, кто первыми столкнулись с Большими Данными. Это интернет-компании, но они и в мире и в России создают на базе Hadoop собственные решения, финансовые организации различного профиля, например Нью-Йоркская фондовая биржа, телекоммуникационные компании. В России у нас есть проекты со Сбербанком и банком «Тинькофф Кредитные Системы», еще несколько проектов находятся на различных стадиях.

- А розничные сети еще не прибегают к вашим услугам?

Интерес есть, делали аналитику кассовых чеков, в том числе и для россиийских заказчиков. А крупнейший референсный проект — это, пожалуй, Wal-Mart. В компании прекратили развивать то BI-решение, которое у них было, и выбрали нашу платформу.

Но в целом российский ретейл к работе с Большими Данными пока не готов. Возможно, там еще недостаточно высокая конкуренция, нет стимула выжимать из имеющихся данных всю содержащуюся в них информацию, например чтобы повысить обороты на 3-4%.

- Геологоразведка пользуется вашими решениями?

Пока мало, в России и вовсе нет. В основном спрос на сбор телематики с различного рода датчиков и их анализ. Как и у крупных промышленных предприятий. Специфических задач пока практически нет.

- От промышленных датчиков, казалось бы, должна поступать достаточно структурированная информация?

Есть такое понятие, как частично структурированные данные. У предприятия есть большое количество разнообразных устройств, каждое из них выдает свой лог-файл. Информацию в нем мы можем легко прочитать и классифицировать, но у всех файлов разные форматы, у одних в одном файле 15 параметров, у других — 300.

То, что называют Интернетом вещей, и состоит из такого рода межмашинных коммуникаций. Поэтому встает задача обрабатывать данные, появляющиеся при таком взаимодействии.

И не случайно единственный внешний инвестор Pivotal – это General Electric. В этой компании решили создать платформу управления и мониторинга всех выпускаемых устройств. По оценкам GE, например, значительная часть всей электроэнергии в мире вырабатывается на ее оборудовании. А кроме того, компания производит медицинскую технику, электродвигатели, реактивные двигатели и т. д. Сначала в GE захотели создать собственную платформу. Но когда оценили размер инвестиций, то посчитали, что гораздо правильнее вложить 100 млн долл. в Pivotal.

- Технологически ваши решения не имеют ограничений сверху?

Нет. На сегодня одно из самых крупных хранилищ, которое мы построили, это хранилище для Skype — размером в несколько петабайтов.

- А снизу? Какие объемы информации выгодно обрабатывать вашими средствами?

Быстрые аналитические витрины размером в 1 Тбайт на массово-параллельных СУБД строятся дешевле, чем на традиционных базах данных. У нас есть такие клиенты, в том числе и в России, например небольшие финансовые организации. Особенно часто к нашим решениям прибегают те, кто строит свою ИТ-систему с нуля. Они видят, что у нас в несколько раз выше скорость работы, на некоторых запросах в десятки раз, в пределе и в сто раз на сложных запросах.

Еще одно из основных отличий наших продуктов по обработке Больших Данных в том, что большинство аналитических платформ доступно только в виде «черного ящика» — закрытого программно-аппаратного комплекса. Мы тоже можем поставить такой комплекс или установить ПО на стандартном оборудовании заказчика. Но мы, точнее наши партнеры — провайдеры услуг, также предоставляем услуги по работе с Большими Данными из облака.

- В России эта модель пока не применяется?

Нет. Планировали с одним из партнеров запустить такой аналитический сервис, но пока этот проект не заработал.

- Кроме GE у вас еще один необычный инвестор — IBM...

IBM — наш партнер по проекту CloudFoundry. Это особый продукт, своего рода операционная система для облака. Изначально считалось, что достаточно просто перенести то, что уже используется, в облако. Мы же считаем, что, если мы в принципе строим приложения нового типа, их и строить надо по-другому, проектировать для виртуальных сред с возможностью многократного масштабирования. Инструменты или компоненты, из которых они будут состоять, тоже должны быть другие и должны уметь в этих средах работать. Подходы к их написанию должны быть другие. CloudFoundry, утрируя, – это платформа как сервис, и для того, чтобы создавать приложения на этой платформе, нам фактически нужен платежный инструмент – заплатить за использование этой среды, а также сама идея и программист, который создает это приложение.

Все необходимые сервисы будут предоставлены виртуально. Возможность это смасштабировать на десятки тысяч узлов тоже заложена в платформе.

Мы сейчас в России это решение показываем в первую очередь разработчикам, потому что оно очень сильно востребовано именно на стадии создания продуктов, длительность цикла разработки программного продукта с использованием облачной среды в несколько раз сокращается.

- Есть планы по созданию в России центров разработки Pivotal, сотрудничеству с учебными заведениями?

У ЕМС очень большой центр разработки есть в России, в нем создается ряд продуктов компании. Ничто не мешает в этом центре — и, насколько я знаю, такие планы есть, — часть продуктов, относящихся к Большим Данным, тоже разрабатывать в России.

Что до университетов, то мы в 2012 году проводили совместно с Высшей школой экономики Data Scientist Day, посвященный профессии data scientist. Приглашали со всей России людей, которые занимаются соответствующей проблематикой, исследованиями в этой области, дали им возможность поделиться своими идеями, обсудить их, пообщаться. Приглашали и западных коллег.

Похожие материалы

27.05.2014
Cо временем интерес к носимым устройствам остынет, после чего на рынке вновь начнется рост, прогнозируют аналитики компании NPD. Ценовой войне в сегменте носимых устройств и быстрому расширению этого сегмента, скорее всего, поспособствует масса безымянных производителей из Китая, которые будут продавать свои изделия дешевле — в этом данный рынок повторит путь персональных компьютеров и мобильных устройств, предсказывают в NPD.
21.12.2013
Часто за множеством рекламных бюджетов и предложений представители бизнеса забывают о самом главном - необходимости поддерживать имидж своей компании в информационной среде. И собственный сайт, имеющий множество самых удобных и понятных посетителям возможностей - только половина вопроса. Вторая половина - корпоративная почта.
03.04.2013
Компания «Доктор Веб» зафиксировала случаи распространения поддельного антивирусного приложения для ОС Android, осуществляемого при помощи рекламных сообщений, которые демонстрируются в различных программах и предлагают проверить мобильное устройство на наличие вирусных угроз. Пользователи, согласившиеся на такое предложение, рискуют загрузить троянца, принадлежащего к семейству Android.Fakealert. Отображаемые в Android-приложениях рекламные сообщения уже давно используются злоумышленниками для распространения различных вредоносных программ. Это весьма эффективный и относительно недорогой способ охватить широкую аудиторию пользователей, поэтому неудивительно, что мошенники решили применить данный метод вновь.
04.04.2014
Nokia анонсировала три новых смартфона в линейке Lumia, которые будут работать на обновленной мобильной платформе Windows Phone 8.1, сообщил на конференции Microsoft Build руководитель подразделения устройств в Microsoft и экс-гендиректор Nokia Стивен Элоп. Как сообщал Digit.ru, ранее Microsoft на конференции Build 2014 в США анонсировала обновление мобильной платформы Windows Phone 8.1, в которую встроен персональный голосовой помощник Cortana и предусмотрены ряд других новых функций. Nokia, которая, по словам Элопа, окончательно войдет в состав Microsoft через несколько недель, об
21.04.2014
Носимые компьютеры в прошлом году сделали «огромный шаг вперед», и до 2018-го поставки «умных» наручных часов и других подобных устройств будут ежегодно увеличиваться на 78%, уверены в IDC. По прогнозу аналитиков, за нынешний год число проданных носимых устройств достигнет 19 млн, что втрое больше по сравнению с 2013-м. В 2018 же году поставки вырастут уже до 112 млн штук

Оборудование:

Общие характеристики Тип: Wi-Fi точка доступа Стандарт беспроводной связи: 802.11n, частота 2.4 ГГц...
→ Оставить отзыв
Для начала давайте определим что такое IPTV и мини-роутер. Мини-роутер (маршрутизатор) – сетевое...
→ Оставить отзыв
Подключение При подключении нового роутера к сети интернет необходимо подключить кабель провайдера...
→ Оставить отзыв
Сначала – посмотрим, что такое Wi-Fi 3G роутер вообще, и чем такие решения лучше «модемов». В...
→ Оставить отзыв