Назад к списку Экспертное мнение
25 мая 2015

Специалисты Big Data – как выбрать лучшего?

Последние 2-3 года в России одним из ведущих трендов в области информационных технологий стали Большие Данные – Big Data.

Обработка больших данных позволяет определить ключевые точки взаимоотношений с клиентами и улучшить обслуживание клиентов, внедрять новые услуги, востребованные клиентами и сигнализировать бизнесу, если что-то идет не так.

Компетенции компаний в области больших данных уже сейчас являются конкурентным преимуществом, и часть этого преимущества - наличие в компаниях грамотных специалистов, которые способны работать с Big Data.

Data Analyst, Data Scientist, Data Architect - на рынке значительный дефицит этих специалистов. Это создает серьезную конкуренцию за квалифицированного специалиста по Big Data. В то же время оценка кандидатов требует тщательнойэкспертизы.

Mediajobs.ru попросил специалистов рекрутмента и технологических экспертов компаний, в которых открыты вакансии специалистов по Большим Данным, поделиться опытом в оценке и подборе экспертов Big Data, начав эту новую для многих медийных компаний тему с «простых» вопросов.

Вопросы экспертам:

  • Зачем бизнесу Big Data и как в целом выглядит рынок Big Data специалистов?
  • Как Вы проводите собеседование с экспертами больших данных? Есть ли стандартные вопросы, которые Вы задаете кандидатам?
  • Опишите идеальный профиль специалиста Big Data.
Сергей Виноградов
системный архитектор OORRAA.COM
Александра Ефимова
старший консультант, IT-рекрутмент экспертного агентства Штаты.RU
Любовь Рюмина
менеджер по рекрутменту IPONWEB
Сергей Виноградов
системный архитектор OORRAA.COM
Зачем бизнесу Big Data и как в целом выглядит рынок Big Data специалистов?

Для каждой сферы деятельности понятие "Большие данные" имеет свое определение. Для технических специалистов Big Data это, скорее, размер данных для анализа, совокупность методов доступа, технологий манипулирования данными, способов их хранения, различные аналитические инструменты. Для бизнеса Big Data - это возможность стать "умными" - анализировать жизненный цикл своих клиентов, данные, которые клиенты генерируют в процессе своей деятельность, прогнозировать развитие бизнеса, повышать свою клиентоориентированность. В обоих случаях, имеет смысл говорить о том, что собранные данные будут отвечать следующим характеристикам:

- Объем данных. С точки зрения статистики обработка большого объема разносторонних данных дает гораздо более точный результат, чем те же самые действия, но с малым объемом данных. Особенно хорошо это работает в таких сферах как психология и социология.

- Многообразие данных, возможность собирать и обрабатывать данные, касающиеся различных аспектов деятельности, что позволяет с разных сторон посмотреть на те или иные события и действия, выполняемые нами или касающиеся нас.

- Достоверность данных. Способность отделить недостоверные данные от тех, что представляют собой ценность для обработки и извлечению из сырых данных знаний.

- И самое важное, как мне думается, ценность накопленных данных, возможность конвертировать их в полезное знание и денежные знаки.

Если говорить именно про технологии/инструменты анализа данных, то все зависит от того, сколько денег в инфраструктуру готовы вложить потенциальные владельцы больших данных.

Можно пойти двумя путями:

- первый путь - Enterprise, когда компания использует для сбора и анализа данных инструменты таких корпоративных монстров, как IBM, Oracle, Teradata, SAS, SAP, Microsoft, Informatica. Это дорого, красиво, престижно и даже порой по делу и работает.

- второй путь - Open-source, кстати, корпоративные монстры порой им не гнушаются – использование таких технологий как Hadoop, Apache Spark, Apache Storm и пр.

Что касается технологий анализа, в настоящий момент сформировалось несколько направлений в области изучения данных, которые показывают хорошие результаты в анализе:

- Data mining – инструменты анализа, позволяющие предсказать поведенческую модель исследуемых объектов, определить особенности объектов, их восприимчивость к различного рода раздражителям. Сюда: 

- Генетические алгоритмы – возможные решения представляются в виде "хромосом", которые могут комбинироваться и мутировать.

- Машинное обучение – основное направление – создание самообучающихся алгоритмов на основе анализа эмпирических данных. 

- Обработка естественных языков – обработка естественных языков, на которых говорят люди с помощью методов математической лингвистики.

- Предикативное моделирование – создание математической модели заранее определенного вероятного сценария развития событий. Наиболее часто используемая методика, которую любят операторы связи, позволяющая предсказать условия, которые подтолкнут абонента на смену оператора.

Рынок Big Data специалистов делится по этим сегментам. Есть потребности в инженерах, способных создать инфраструктуру для больших данных, потребности в разработчиках программного обеспечения для сбора и обработки данных, потребности в аналитиках, способных формировать требования для обработки и данных и, зачастую, определять алгоритмы их обработки. Ну и, конечно, специалисты, которые должны уметь воспользоваться этими данными – представители бизнеса.

Как Вы проводите собеседование с экспертами больших данных? Есть ли стандартные вопросы, которые Вы задаете кандидатам?

Я могу говорить только о найме технических специалистов и аналитиков. В зависимости от их специализации задаю разные вопросы, касающиеся их квалификации именно в той сфере, где они специализируются.

Инженеры и разработчики должны понимать, как строить гибкие, масштабируемые, управляемые системы, способные выдержать большие нагрузки, большие объемы данных. 

С аналитиками – в первую очередь смотрю, есть ли серьезное математическое образование, знание статистики, теории вероятности, графов и многого другого, без чего сложный анализ данных не возможен. Выясняю, способен ли вообще аналитик применять эти знания на практике.

Ну и, конечно, что касается всех специализаций – важен их опыт, в каких проектах участвовали, какие успешно завершили, как их деятельность сказалась на бизнесе их компаний. В целом – обычные вопросы на собеседовании для экспертов в какой-либо области.

Опишите, пожалуйста, идеальный профиль специалиста в области больших данных.

Идеальный специалист в области больших данных, это вот такое вот мифическое существо:

Мифической существо Big Data

Александра Ефимова
старший консультант, IT-рекрутмент экспертного агентства Штаты.RU
Зачем бизнесу Big Data и как в целом выглядит рынок Big Data специалистов?

C помощью технологий Big Data компании получают возможность извлекать выгоду из информации, которая ранее не поддавалась аналитике.

Для тех рекрутеров, которые только начинают работать с Big Data, поделюсь своим опытом подбора Big Data аналитиков.

Есть три темы, обсуждение которых на интервью поможет отличить серьезных специалистов по Big Data от тех, кто пытается ими казаться. 

Когда стратегию надо выстроить.

Профессионал в области больших данных не будет говорить о данных в целом, именно на вашем кейсе он расскажет, как собрать, где хранить, какими инструментами анализировать нужные вам данные. Чтобы предложить свое стратегическое видение развития вашей компании, он будет задавать вопросы.  Поэтому прежде чем приступать к поиску аналитика или стратега Big Data в компанию, необходимо провести качественные переговоры с бизнес-заказчиком, идейным лидером, чтобы выяснить цели и ближайшие реперные точки развития компании в направлении обработки данных. Только имея цель, понимая задачи и шаги, можно начинать подбор того человека, который поможет решить проблему конкретной компании. Специалисты по Big Data часто сталкиваются с задачами, которые не были или не могут быть сформулированы руководством компании. Для постановки задачи потребуется не глубокий технический специалист, профессионал кода, а скорее бизнес-лидер, имеющий опыт создания и развития нового направления в компании. Он способен прописать стратегию, утвердить планы у руководства, рассчитать бюджеты, но он никогда не полезет «ручками» в NoSQL. :)

Если все-таки «технарь», то специалист в области анализа данных свободно владеет всеми инструментами обработки. Так, при отборе такого специалиста, стоит обратить внимание на следующие термины:

  • - A/B testing – это методика поочередного сравнения выборок. Полезна при маркетинговых исследованиях, когда надо из нескольких вариантов предложения выбрать наиболее привлекательный для потребителя.
  • - Data mining – глубокое алгоритмичное изучение поступающих данных, позволяющее предсказывать реакцию потребителя на изменения/дополнения/ввод нового продукта. Основывается на алгоритмах и тенденциях, которые просчитывают вероятности появления того или иного случая при прочих равных условиях. Для работы с данной технологией вам понадобится не просто специалист, а алгоритмист, которые в совершенстве владеет математикой и теорией вероятности.
  • - Genetic algorithms – инструмент, близкий к природному инструменту эволюции. Известно, что на рынке выживает сильнейший продукт, сильнейшее предложение и удачная (по всем качественным показателям) идея. Genetic algorithms в состоянии просчитать «эволюционную» конкуренцию вашего продукта на основе имеющихся данных.
  • - Natural language processing, или естественный язык – поддается программистам-лингвистам, которые помимо кода и алгоритмов машин способны анализировать закономерности человеческого языка, его использования, мутации (как, например, в социальных сетях), и сводить результаты с алгоритмами. Так появляется возможность следить за обратной связью без привлечения целого штата модераторов.

О технологиях. Профессиональные разработчики, аналитики и специалисты самого кодане смогут объяснить вам коммерческой выгоды, но они на своем опыте знают, что делать с: 

  • - 1010data,
  • - Apache Chukwa,
  • - Apache Hadoop,
  • - Apache Hive,
  • - Apache Pig!,
  • - Jaspersoft,
  • - LexisNexis Risk Solutions HPCC Systems,
  • - Map Reduce,
  • - Revolution Analytics (на базе языка R для мат.статистики). 
Как Вы проводите собеседование с экспертами больших данных? Есть ли стандартные вопросы, которые Вы задаете кандидатам?

Полезным и для себя, и для разработчика, который пришел к вам на интервью, задать ему три вопроса:

  1. 1. Какие из перечисленных технологий вы лично «руками» использовали?
  2. 2. Опишите необходимость использования Map Reduce (или любую другую) на примере из вашей практики.
  3. 3. Какие технологии необходимо добавить к данному списку? Чем они хороши? (попросите привести примеры).
Опишите, пожалуйста, идеальный профиль специалиста в области больших данных.

Если кандидат на вашу вакансию разбирается во всех вышеперечисленных теориях и практиках, логично объясняет, какой инструмент и зачем нужен конкретно вам, и не стесняется объяснять интересующие вас вещи, то смело нанимайте!

Любовь Рюмина
менеджер по рекрутменту IPONWEB
Зачем бизнесу Big Data и как в целом выглядит рынок Big Data специалистов?

Вакансии, связанные с Big Data, возникают у нас нечасто (в среднем одна - две в квартал). Чаще всего это позиции Аналитиков R&D, реже TeamLead, также позиции разработчиков Big Data.

Технологии, которые интересуют нас при подборе, - Hadoop, Python, R, Scala, плюс навыки работы с инструментами мат. статистики.

Как Вы проводите собеседование с экспертами больших данных? Есть ли стандартные вопросы, которые Вы задаете кандидатам?

На рынке профессиональных разработчиков/аналитиков/стратегов кандидатов мало, особенно, отвечающих нашим требованиям: знание мат. статистики на высшем уровне, опыт программирования Python, R, сильные аналитические навыки, ориентированность на результат, увлеченность и ответственность.

Именно эти качества и квалификации мы обсуждаем на интервью. Процесс общения не сложен, особенно, если даешь понять, что немного знаешь специфику. Как минимум, я смотрю их форумы, там, где происходит основная тусовка, также имею общее представление об инструментах, применяемых у нас.

Опишите, пожалуйста, идеальный профиль специалиста в области больших данных.

Идеальный образ кандидата на вакансию «Аналитик данных»/«Data mining expert»/«Аналитик BI», в моем понимании, это умный, готовый к работе в команде, ориентированный на результат, чаще всего выпускник МГУ Мех-мат.

Александра Ефимова
старший консультант, IT-рекрутмент экспертного агентства Штаты.RU
Зачем бизнесу Big Data и как в целом выглядит рынок Big Data специалистов?

C помощью технологий Big Data компании получают возможность извлекать выгоду из информации, которая ранее не поддавалась аналитике.

Для тех рекрутеров, которые только начинают работать с Big Data, поделюсь своим опытом подбора Big Data аналитиков.

Есть три темы, обсуждение которых на интервью поможет отличить серьезных специалистов по Big Data от тех, кто пытается ими казаться. 

Когда стратегию надо выстроить.

Профессионал в области больших данных не будет говорить о данных в целом, именно на вашем кейсе он расскажет, как собрать, где хранить, какими инструментами анализировать нужные вам данные. Чтобы предложить свое стратегическое видение развития вашей компании, он будет задавать вопросы.  Поэтому прежде чем приступать к поиску аналитика или стратега Big Data в компанию, необходимо провести качественные переговоры с бизнес-заказчиком, идейным лидером, чтобы выяснить цели и ближайшие реперные точки развития компании в направлении обработки данных. Только имея цель, понимая задачи и шаги, можно начинать подбор того человека, который поможет решить проблему конкретной компании. Специалисты по Big Data часто сталкиваются с задачами, которые не были или не могут быть сформулированы руководством компании. Для постановки задачи потребуется не глубокий технический специалист, профессионал кода, а скорее бизнес-лидер, имеющий опыт создания и развития нового направления в компании. Он способен прописать стратегию, утвердить планы у руководства, рассчитать бюджеты, но он никогда не полезет «ручками» в NoSQL. :)

Если все-таки «технарь», то специалист в области анализа данных свободно владеет всеми инструментами обработки. Так, при отборе такого специалиста, стоит обратить внимание на следующие термины:

  • - A/B testing – это методика поочередного сравнения выборок. Полезна при маркетинговых исследованиях, когда надо из нескольких вариантов предложения выбрать наиболее привлекательный для потребителя.
  • - Data mining – глубокое алгоритмичное изучение поступающих данных, позволяющее предсказывать реакцию потребителя на изменения/дополнения/ввод нового продукта. Основывается на алгоритмах и тенденциях, которые просчитывают вероятности появления того или иного случая при прочих равных условиях. Для работы с данной технологией вам понадобится не просто специалист, а алгоритмист, которые в совершенстве владеет математикой и теорией вероятности.
  • - Genetic algorithms – инструмент, близкий к природному инструменту эволюции. Известно, что на рынке выживает сильнейший продукт, сильнейшее предложение и удачная (по всем качественным показателям) идея. Genetic algorithms в состоянии просчитать «эволюционную» конкуренцию вашего продукта на основе имеющихся данных.
  • - Natural language processing, или естественный язык – поддается программистам-лингвистам, которые помимо кода и алгоритмов машин способны анализировать закономерности человеческого языка, его использования, мутации (как, например, в социальных сетях), и сводить результаты с алгоритмами. Так появляется возможность следить за обратной связью без привлечения целого штата модераторов.

О технологиях. Профессиональные разработчики, аналитики и специалисты самого кодане смогут объяснить вам коммерческой выгоды, но они на своем опыте знают, что делать с: 

  • - 1010data,
  • - Apache Chukwa,
  • - Apache Hadoop,
  • - Apache Hive,
  • - Apache Pig!,
  • - Jaspersoft,
  • - LexisNexis Risk Solutions HPCC Systems,
  • - Map Reduce,
  • - Revolution Analytics (на базе языка R для мат.статистики). 
Как Вы проводите собеседование с экспертами больших данных? Есть ли стандартные вопросы, которые Вы задаете кандидатам?

Полезным и для себя, и для разработчика, который пришел к вам на интервью, задать ему три вопроса:

  1. 1. Какие из перечисленных технологий вы лично «руками» использовали?
  2. 2. Опишите необходимость использования Map Reduce (или любую другую) на примере из вашей практики.
  3. 3. Какие технологии необходимо добавить к данному списку? Чем они хороши? (попросите привести примеры).
Опишите, пожалуйста, идеальный профиль специалиста в области больших данных.

Если кандидат на вашу вакансию разбирается во всех вышеперечисленных теориях и практиках, логично объясняет, какой инструмент и зачем нужен конкретно вам, и не стесняется объяснять интересующие вас вещи, то смело нанимайте!

Любовь Рюмина
менеджер по рекрутменту IPONWEB
Зачем бизнесу Big Data и как в целом выглядит рынок Big Data специалистов?

Вакансии, связанные с Big Data, возникают у нас нечасто (в среднем одна - две в квартал). Чаще всего это позиции Аналитиков R&D, реже TeamLead, также позиции разработчиков Big Data.

Технологии, которые интересуют нас при подборе, - Hadoop, Python, R, Scala, плюс навыки работы с инструментами мат. статистики.

Как Вы проводите собеседование с экспертами больших данных? Есть ли стандартные вопросы, которые Вы задаете кандидатам?

На рынке профессиональных разработчиков/аналитиков/стратегов кандидатов мало, особенно, отвечающих нашим требованиям: знание мат. статистики на высшем уровне, опыт программирования Python, R, сильные аналитические навыки, ориентированность на результат, увлеченность и ответственность.

Именно эти качества и квалификации мы обсуждаем на интервью. Процесс общения не сложен, особенно, если даешь понять, что немного знаешь специфику. Как минимум, я смотрю их форумы, там, где происходит основная тусовка, также имею общее представление об инструментах, применяемых у нас.

Опишите, пожалуйста, идеальный профиль специалиста в области больших данных.

Идеальный образ кандидата на вакансию «Аналитик данных»/«Data mining expert»/«Аналитик BI», в моем понимании, это умный, готовый к работе в команде, ориентированный на результат, чаще всего выпускник МГУ Мех-мат.

Актуальные вакансии по теме
Подробнее
Санкт-Петербург
от 70 000 до 120 000 руб.
Подробнее
03 декабря
Подробнее
Москва
по договоренности
Подробнее
28 ноября
Подробнее
Россия
по договоренности
Подробнее
20 ноября
Подробнее
по договоренности
Подробнее
51 минуту назад
Подробнее
Москва
от 30 000 до 60 000 руб.
Подробнее
21 час назад
Подробнее
Москва
от 30 000 до 60 000 руб.
Подробнее
21 час назад
Подробнее
Москва
по договоренности
Подробнее
07 декабря
Посмотреть все вакансии