Интеграторы миров | Ofisp.org

Интеграторы миров

16 апреля 201416:16

В центре внимания форума Big Data, проведенного 20 марта издательством «Открытые системы», кроме самих Больших Данных, находились средства работы с ними. Один из лидеров в создании соответствующих технологий — компания Pivotal, входящая в EMC. Она была создана в начале 2013 года с целью объединения всех средств работы с Большими Данными, имевшимися в EMC и VMware. О важности новой структуры можно судить по тому, что генеральным директором Pivotal был назначен Пол Мариц, до этого возглавлявший VMware.

Глава представительства EMC/Pivotal в России и СНГ Сергей Золотарев рассказал об особенностях бизнеса компании, о сферах применения ее продуктов и о том, почему одним из инвесторов Pivotal стала General Electric.

- Решения на базе Hadoop предлагают многие компании. В чем особенность продуктов Pivotal?

Средства обработки Больших Данных вышли из проектов с открытым кодом. Все вендоры добавляют что-то свое к Hadoop. Весь вопрос в том, как «прикрутить» Hadoop к реалиям корпоративной ИТ-среды.

Мы интегрируем два мира — мир стрнуктурированных данных, обрабатываемых обычными SQL-запросами, и мир неструктурированных данных, которые обрабатываются с помощью Hadoop. Когда традиционные средства бизнес-аналитики обращаются к неструктурированным данным, то работа идет очень медленно, посредством интерпретаторов. У нас же есть Pivotal XD и HAWQ.

Первый продукт дает возможность базе данных, размещенной в памяти, напрямую взаимодействовать с Hadoop. Это так называемое предприятие реального времени. Все события, на которые надо немедленно отреагировать, вся сопутствующая информация – все держится в оперативной памяти.

HAWQ — фактически традиционная аналитическая СУБД, которая «интегрирована» с файловой системой Hadoop и за счет этого работает с данными Hadoop в сотни раз быстрее.

- Кто ваши основные клиенты — в России и в мире?

Те, кто первыми столкнулись с Большими Данными. Это интернет-компании, но они и в мире и в России создают на базе Hadoop собственные решения, финансовые организации различного профиля, например Нью-Йоркская фондовая биржа, телекоммуникационные компании. В России у нас есть проекты со Сбербанком и банком «Тинькофф Кредитные Системы», еще несколько проектов находятся на различных стадиях.

- А розничные сети еще не прибегают к вашим услугам?

Интерес есть, делали аналитику кассовых чеков, в том числе и для россиийских заказчиков. А крупнейший референсный проект — это, пожалуй, Wal-Mart. В компании прекратили развивать то BI-решение, которое у них было, и выбрали нашу платформу.

Но в целом российский ретейл к работе с Большими Данными пока не готов. Возможно, там еще недостаточно высокая конкуренция, нет стимула выжимать из имеющихся данных всю содержащуюся в них информацию, например чтобы повысить обороты на 3-4%.

- Геологоразведка пользуется вашими решениями?

Пока мало, в России и вовсе нет. В основном спрос на сбор телематики с различного рода датчиков и их анализ. Как и у крупных промышленных предприятий. Специфических задач пока практически нет.

- От промышленных датчиков, казалось бы, должна поступать достаточно структурированная информация?

Есть такое понятие, как частично структурированные данные. У предприятия есть большое количество разнообразных устройств, каждое из них выдает свой лог-файл. Информацию в нем мы можем легко прочитать и классифицировать, но у всех файлов разные форматы, у одних в одном файле 15 параметров, у других — 300.

То, что называют Интернетом вещей, и состоит из такого рода межмашинных коммуникаций. Поэтому встает задача обрабатывать данные, появляющиеся при таком взаимодействии.

И не случайно единственный внешний инвестор Pivotal – это General Electric. В этой компании решили создать платформу управления и мониторинга всех выпускаемых устройств. По оценкам GE, например, значительная часть всей электроэнергии в мире вырабатывается на ее оборудовании. А кроме того, компания производит медицинскую технику, электродвигатели, реактивные двигатели и т. д. Сначала в GE захотели создать собственную платформу. Но когда оценили размер инвестиций, то посчитали, что гораздо правильнее вложить 100 млн долл. в Pivotal.

- Технологически ваши решения не имеют ограничений сверху?

Нет. На сегодня одно из самых крупных хранилищ, которое мы построили, это хранилище для Skype — размером в несколько петабайтов.

- А снизу? Какие объемы информации выгодно обрабатывать вашими средствами?

Быстрые аналитические витрины размером в 1 Тбайт на массово-параллельных СУБД строятся дешевле, чем на традиционных базах данных. У нас есть такие клиенты, в том числе и в России, например небольшие финансовые организации. Особенно часто к нашим решениям прибегают те, кто строит свою ИТ-систему с нуля. Они видят, что у нас в несколько раз выше скорость работы, на некоторых запросах в десятки раз, в пределе и в сто раз на сложных запросах.

Еще одно из основных отличий наших продуктов по обработке Больших Данных в том, что большинство аналитических платформ доступно только в виде «черного ящика» — закрытого программно-аппаратного комплекса. Мы тоже можем поставить такой комплекс или установить ПО на стандартном оборудовании заказчика. Но мы, точнее наши партнеры — провайдеры услуг, также предоставляем услуги по работе с Большими Данными из облака.

- В России эта модель пока не применяется?

Нет. Планировали с одним из партнеров запустить такой аналитический сервис, но пока этот проект не заработал.

- Кроме GE у вас еще один необычный инвестор — IBM...

IBM — наш партнер по проекту CloudFoundry. Это особый продукт, своего рода операционная система для облака. Изначально считалось, что достаточно просто перенести то, что уже используется, в облако. Мы же считаем, что, если мы в принципе строим приложения нового типа, их и строить надо по-другому, проектировать для виртуальных сред с возможностью многократного масштабирования. Инструменты или компоненты, из которых они будут состоять, тоже должны быть другие и должны уметь в этих средах работать. Подходы к их написанию должны быть другие. CloudFoundry, утрируя, – это платформа как сервис, и для того, чтобы создавать приложения на этой платформе, нам фактически нужен платежный инструмент – заплатить за использование этой среды, а также сама идея и программист, который создает это приложение.

Все необходимые сервисы будут предоставлены виртуально. Возможность это смасштабировать на десятки тысяч узлов тоже заложена в платформе.

Мы сейчас в России это решение показываем в первую очередь разработчикам, потому что оно очень сильно востребовано именно на стадии создания продуктов, длительность цикла разработки программного продукта с использованием облачной среды в несколько раз сокращается.

- Есть планы по созданию в России центров разработки Pivotal, сотрудничеству с учебными заведениями?

У ЕМС очень большой центр разработки есть в России, в нем создается ряд продуктов компании. Ничто не мешает в этом центре — и, насколько я знаю, такие планы есть, — часть продуктов, относящихся к Большим Данным, тоже разрабатывать в России.

Что до университетов, то мы в 2012 году проводили совместно с Высшей школой экономики Data Scientist Day, посвященный профессии data scientist. Приглашали со всей России людей, которые занимаются соответствующей проблематикой, исследованиями в этой области, дали им возможность поделиться своими идеями, обсудить их, пообщаться. Приглашали и западных коллег.

Похожие материалы

27.11.2013
SEO-оптимизатору как никому другому необходимо знать основные принципы работы поисковиков в Интернете. Ведь если мы не знаем те параметры, по которым сайты отбираются роботом поисковика, то как мы сможем успешно оптимизировать свой сайт SEO-методами? Конечно, вы можете легко найти профессионалов, и за определенную плату seo-компания (http://seo.artox-media.ru/) окажет вам множественные услуги. Но не лучше ли самому разобраться в тематике вопроса, чтобы, во-первых, сэкономить деньги, а, во-вторых, стать независимым от чужих услуг.
12.05.2014
Планы Apple приобрести известного производителя наушников и другой аудиотехники Beats Electronics были восприняты с недоумением. Новость о грядущей сделке вызвала оживленную дискуссию в интернете среди фанатов обеих компаний, пишет USA Today. В четверг агентство Bloomberg сообщило, что американская корпорация Apple близка к покупке базирующейся в штате Калифорния компании Beats Electronics. По данным агентства, сумма сделки составит $3,2 млрд.
11.05.2014
Частные дома чаще всего размещены на отдельных участках или вне городской черты, поэтому для них подходят только определенные виды интернет-подключения. В частности, большим преимуществом обладает спутниковая связь, так как в этом случае не требуется прокладка кабеля. Настройка такого интернета не зависит от конкретного расположения, так как зона покрытия спутникового сигнала в значительной степени превышает зону покрытия традиционных провайдеров интернет-услуг.
17.11.2012
В системных файлах ОС Windows 8.1 сборки 9385 был обнаружен пункт «пароль, использующий изображение отпечатков пальцев». Об этом сообщается на портале WinBeta.org. На смену системе блокировки «picture password», в которой для того, чтобы разблокировать устройство, пользователю нужно нарисовать определенные знаки на экране блокировки, может прийти совершенно новая функция.
24.09.2015
Тот, кто решил приобрести проектор, хорошо представляет зачем он нужен. Эта покупка не принадлежит числу дешевых, а поэтому необходимо тщательно взвесить все факторы, прежде чем решиться на покупку.

Оборудование:

Общие характеристики Тип: Wi-Fi точка доступа Стандарт беспроводной связи: 802.11n, частота 2.4 ГГц...
→ Оставить отзыв
Для начала давайте определим что такое IPTV и мини-роутер. Мини-роутер (маршрутизатор) – сетевое...
→ Оставить отзыв
Подключение При подключении нового роутера к сети интернет необходимо подключить кабель провайдера...
→ Оставить отзыв
Сначала – посмотрим, что такое Wi-Fi 3G роутер вообще, и чем такие решения лучше «модемов». В...
→ Оставить отзыв