Big Data 2014: Быстрые Данные | Ofisp.org

Big Data 2014: Быстрые Данные

28 Март 201409:28

Отношение бизнес-сообщества к Большим Данным постепенно меняется, и это хорошо заметно на ежегодных конференциях по тематике Big Data, организуемых издательством «Открытые системы». Если участников первого форума волновал вопрос «Что такое Большие Данные?», то через год им хотелось знать, как на практике реализовать проект. Сейчас же, по мнению участников форума «Big Data 2014: Взгляните на данные как на большие», прошедшего 20 марта, компании все больше интересуются появившимся опытом, чтобы избежать собственных ошибок.

Основной темой практически всех выступлений на форуме стал анализ данных в реальном времени. Это отнюдь не случайно: именно данная концепция является актуальной для многих отраслей, позволяя решить массу задач – от взаимодействия с клиентами до повышения операционной эффективности.

«Представьте себе, что через лобовое стекло машины вы видите дорожную ситуацию, актуальную несколько часов назад. Страшно? А ведь именно так мы привыкли управлять бизнесом», — подчеркнул Ринат Гимранов, начальник управления ИТ «Сургутнефтегаза». Как известно, в традиционных СУБД существует узкое место: обмен между приложением и базой данных. Именно на этом этапе возникают проблемы, связанные с производительностью управленческих систем. Обойтись без этого этапа позволяют технологии обработки данных в оперативной памяти. Не случайно нефтяники из Сургута в 2012 году одними из первых рискнули перейти на новую платформу SAP HANA.

В «Сургутнефтегазе» данные из ERP в реальном времени передаются в СУБД HANA. Это стало реальной инновацией, благодаря которой удалось на порядки сократить основные параметры обработки информации и попутно упростить архитектуру информационных систем. Как уточнил Гимранов, в компании функционирует 29 приложений SAP, и появление резидентных технологий позволило обслуживать их с помощью единой СУБД.

«В обозримом будущем системы, работающие с Большими Данными, будут сосуществовать в корпоративном ландшафте с традиционными решениями», — констатировал Илья Гершанов, руководитель направления «Большие Данные» компании Informatica. Таким образом, отказываться от созданной инфраструктуры и делать ставку только на Большие Данные не стоит.

Технологии, собирающиеся под брендом Big Data, переживают этапы жизненного цикла, традиционные для всех ИТ-решений. Уже есть многочисленные поставщики и первые успешные проекты. В ближайшем же будущем ожидается консолидация рынка, появление разочарованных заказчиков и негативных публикаций; при этом технология будет внедрена у 5% потенциальных пользователей. Лишь за этим пойдет планомерное развитие рынка. Основные проблемы будущих проектов, по мнению Гершанова, будут связаны с недооценкой рисков.

«Зачем нужна аналитика в реальном времени? В первую очередь это сокращение рисков в условиях быстро меняющегося рынка и повышение адекватности принимаемых решений», — заявил Сергей Знаменский, ведущий консультант по продуктам HP. Он отметил, что в ряде случаев платформа HP Vertica выигрывает в производительности по сравнению с более раскрученной SAP HANA.

Сейчас уже успело накопиться довольно много примеров эффективного использования заказчиками таких систем. Например, разработчик сетевых игр Zynga анализирует буквально каждый клик, сделанный клиентами, выясняя их предпочтения, BitBank использует систему обнаружения мошенничества, а Yota анализирует использование сетевых ресурсов.

Про обработку данных в реальном времени говорил и Шон Оуэн, директор по Data Science компании Cloudera. Для успеха подобных проектов крайне важно интегрировать технологии Больших Данных в операционную деятельность компаний. По мнению Оуэна, уже в 2014 году в реализуемых проектах произойдет переход «от лабораторий к заводам». Анализ данных станет осуществляться в промышленных масштабах, и операционная аналитика будет вплетена в деятельность организаций.

Разумеется, при встраивании процессов аналитики в повседневную деятельность компаний крайне важен отраслевой опыт интегратора. «Придя к заказчику, мы стараемся показать свою экспертизу в предметной области, а по возможности – и уже имеющиеся наработки, например, отраслевые модели», — рассказал Сергей Кузнецов, директор по технологиям Дивизиона данных IBS. Справедливости ради следует уточнить, что в большинстве случаев отраслевая модель для конкретной компании не подходит. На рынке по-прежнему доминируют уникальные разработки.

Изменение парадигмы

Как отметил Сергей Лихарев, руководитель по развитию бизнеса IBM Big Data, практически во всех отраслях наблюдается смещение парадигмы работы с данными. Данных становится больше, чем человек способен обработать, они требуют различных подходов, не известных заранее и зависящих от типа данных. Наконец, пользователи не желают ждать и требуют мгновенного ответа на свои запросы.

Когда ценность данных неочевидна, необходимость их обработки, очистки и хранения тоже вызывает сомнения. Поэтому особую важность приобретает обработка данных в реальном времени, в момент их поступления. И именно она помогает решить многие проблемы, связанные со взаимодействием.

Александр Ермаков, ведущий консультант EMC Pivotal, рассказал о возможностях обработки Больших Данных на мощностях внешнего поставщика облачных сервисов с помощью платформы Cloud Foundry. По его мнению, рано или поздно при развитии инфраструктуры Больших Данных инфраструктура становится весьма сложной. Облако представляет собой яркий пример ухода от сложной инфраструктуры, порождая модель BigData-as-a-Service.

«Сейчас к Большим Данным наблюдается скорее интерес, если не сказать 'любопытство', чем реальная востребованность», — признала Ольга Горчинская, директор по исследовательским проектам компании ФОРС. В частности в компании реализовали далеко не все внутренние возможности по использованию корпоративных данных, чтобы заниматься внешними источниками.

Большие Данные – это в первую очередь тенденция развития ИТ-отрасли; именно потому раздаются голоса скептиков, утверждающих, что все технологии, позиционируемые как «новые», существовали и прежде. Тем не менее компании начинают анализировать данные, которыми они раньше просто не занимались. Типовым проектом «новой аналитики» становится совместный анализ текстов и реляционных данных. Например, такое расширение состава клиентской аналитики особенно популярно в банках.

О более экзотическом использовании технологий Больших Данных рассказал Иван Гуз, руководитель направления аналитики Avito. Компания использует их для автоматической модерации размещаемых на площадке Avito.ru объявлений. По статистике, примерно 35% из многомиллионного числа публикуемых объявлений блокируется из-за недопустимого контента. Решить эту проблему вручную просто невозможно.

Задача автоматического анализа содержания решается с помощью хранилища данных HP Vertica, куда собирается информация обо всех действиях пользователей (а это 450 млн событий в день), и построенной над ним c использованием инструментария компании Tableu системы бизнес-аналитики. Задержка попадания транзакционных данных в хранилище составляет не более 20 минут: для эффективной работы необходимо, чтобы данные были «горячими».

Стратегия Real-Time Enterprise, заключающаяся в ускорении бизнеса, была принята в Gartner еще в 2002 году. Тогда сами аналитики признавали, что управление на основе информации, получаемой в реальном времени, было недостижимым – к нему можно было лишь стремиться, и то лишь в наиболее ключевых процессах. Сейчас ситуация радикально изменилась, и пришло время Real-Time Enterprise 2.0, позволяющего полностью устранить задержки в обработке информации, причем не только в бизнес-критичных системах. Принцип «сохрани и обработай» изменяется на «обработай и думай, надо ли хранить».

Наибольшее значение для бизнеса эти изменения будут иметь в сегменте систем поддержки принятия решений, где некоторое время наблюдалось затишье. Радикальное ускорение обработки данных позволит реализовывать в системах управления бизнесом принципиально новые модели.

Похожие материалы

24.04.2014
Точность системы ГЛОНАСС на территории России может стать меньше 1 метра уже в 2014 году, когда начнет работать в полном объеме система коррекции навигационного сигнала "Луч", заявил замглавы Роскосмоса Анатолий Шилов. Таким образом, точность позиционирования ГЛОНАСС и американской GPS станут примерно сопоставимы. илов напомнил, что к 2020 году точность определения координат с помощью системы ГЛОНАСС должна достичь 0,6 метра.
11.11.2013
Современная специальная техника – результат разработок специалистов. Оттачивая особенности конструкции и повышая технические характеристики, они добились того, что эвакуаторы сегодня практичные и мощны.Автомобилисты с некоторых пор с опаской реагируют на слово "эвакуатор". Связано это, прежде всего с тем, что власти и службы дорожной безопасности часто используют этот вид техники для транспортировки неправильно припаркованных машин. Для владельца авто наступают дни поиска автомобиля, выкуп и другие издержки бюрократической волокиты.
27.03.2014
Согласно результатам исследований IDC, в четвертом квартале 2013 года в Россию было поставлено 40550 серверов, совокупная стоимость которых составила 268,2 млн долларов США. Всего же по итогам 2013 года российский серверный рынок сократился на 9,9% по сравнению с предыдущим годом до 145 233 штук. Объем рынка в денежном выражении снизился на 29,3% до 890,1 млн долларов.
04.10.2013
Вчера вечером вице-президент по безопасности Adobe Брэд Аркин сообщил, что обнаружены опасные атаки на клиентскую информацию, а также на исходный код различных продуктов компании Adobe. Хакерам удалось открыть доступ к пользовательским аккаунтам и зашифрованным паролям от них.
28.03.2014
Отечественный рынок источников бесперебойного питания переживает не лучшие времена. В прошлом году, по данным ITResearch, его объем в денежном выражении сократился на 9%. Пора масштабных поставок оборудования для таких проектов, как создание инфраструктуры олимпийских объектов, прошла. Производителям ИБП приходится заново учиться работать в условиях теряющей темп экономики, рассчитывая на проектный и дистрибьюторский бизнес. К таким поставщикам ИБП относится и американская компания Tripp Lite. В начале 2009 года она вторично вышла на российский рынок (см.

Оборудование:

Общие характеристики Тип: Wi-Fi точка доступа Стандарт беспроводной связи: 802.11n, частота 2.4 ГГц...
→ Оставить отзыв
Для начала давайте определим что такое IPTV и мини-роутер. Мини-роутер (маршрутизатор) – сетевое...
→ Оставить отзыв
Подключение При подключении нового роутера к сети интернет необходимо подключить кабель провайдера...
→ Оставить отзыв
Сначала – посмотрим, что такое Wi-Fi 3G роутер вообще, и чем такие решения лучше «модемов». В...
→ Оставить отзыв