Олег Гриник, Senior Solution Architect, Data Practice, рассказывает, как адаптивные алгоритмы помогают крупному бизнесу в форс-мажорных обстоятельствах, почему разработчикам необходима комплексная экспертиза и почему Big Data – это неограниченные возможности для развития.
Когда я пришел на свой первый IT проект, я думал, что знаю много. Но почти сразу понял, что не знаю ничего
Моя карьера в IT началась в 2007 году, - рассказывает Олег Гриник. - Я начинал на проекте, который был связан с мониторингом и контролем устройств по сети. Наверное, этот этап был одним из самых сложных испытаний за всю дальнейшую карьеру. Почти сразу я понял, что мои знания представляют собой набор разрозненных блоков, которые нужно связать воедино и систематизировать. Было сложно, ведь в те времена готовых решений, которые можно найти в Интернете, не существовало, поэтому большинство ответов приходилось искать самостоятельно, опираясь на информацию, полученную из книг.
За первые годы работы я попробовал себя во многих направлениях: С ++, C #, .NET, Front-End. На определенном этапе я пришел в стартап, и это дало уникальную возможность увидеть процесс создания продукта от А до Я, и попробовать себя почти во всех проектных ролях. Утомительно, но очень полезно с точки зрения профессионального развития. Но однажды - и это характерно для большинства стартапов - я понял, что достиг определенного предела, после которого перестаешь учиться чему-то новому. Поэтому выбрал путь развития в большой компании и именно по направлению Big Data.
Работа с данными сложная, но позволяет понять многие тренды и порой даже найти неожиданные закономерности
Сам термин Big Data - достаточно относительный, он возник в те времена, когда вычислительные возможности были значительно ограничены по сравнению с днем сегодняшним. Сейчас Big Data - это не столько про объем данных, время и частоту их отправки, сколько о возможности превратить массивы информации из разрозненных источников в полезные инсайты для бизнеса. Работа с данными сложная, но очень интересная. Она позволяет понять многие тренды, порой даже найти неожиданные закономерности. Но разработчику данных (Data developer) необходимо хорошо ориентироваться в домене, с которым он работает, без этого невозможно извлечь практическую пользу из аналитической работы.
Пара историй про реальные проекты и вызовы
Один из запоминающихся проектов заключался в разработке решения для «умного» подбора отелей на основе предпочтений пользователей. Сложность заключалась в том, что система должна была работать очень быстро и самообучаться, то есть пробовать разные подходы для формирования рекомендаций и работать с самым удачным из них. Мы разработали специальный инструмент для определения наиболее эффективного алгоритма на основе заданных метрик. Время от времени система пробует ряд алгоритмов и применяет именно тот, который демонстрирует наибольшую эффективность.
Другой пример - в духе времени. Недавно мы консультировали крупную компанию, специализирующуюся на продаже авиабилетов. Алгоритмы, которые использовали их системы, были построены на уже известных трендах, но не учитывали возможности возникновения непредсказуемых факторов. И даже больше: возврат средств за отмененные рейсы происходил в ручном режиме, ведь в обычных условиях их процент был весьма незначителен, и автоматизация этого процесса не входила в перечень приоритетов. В 2020 году обстоятельства стремительно изменились, в результате чего эффективность работы алгоритмов снизилась до нуля. Мы помогли с внедрением адаптивной модели, но этот случай иллюстрирует, что гибкий подход к аналитике данных мог бы помочь вовремя адаптировать бизнес модель и снизить убытки.
Интересным профессиональным вызовом был проект для агрегатора страховых услуг. Нужно было систематизировать большое количество данных о конечных пользователей, которые хранились в разрозненных документах разного формата. Их необходимо было найти, распознать, проверить актуальность информации. Подогнать данные под единый шаблон было невозможно, ведь количество вариантов достигало десятка тысяч. Поэтому мы разработали модель машинного обучения, которая позволяла находить документ и классифицировать его по определенным атрибутам.
Мне удалось вас заинтересовать? Если да, тогда добро пожаловать в Big Data!
Требования к разработчикам эволюционируют в сторону комплексных знаний и знания бизнес доменов
Актуальные тенденции свидетельствуют о том, что требования к разработчикам эволюционируют в сторону комплексных знаний: кроме владения языками программирования будут востребованы навыки работы с облачными решениями, базами данных, понимание построения API и инфраструктуры. Именно это и является преимуществом направления Big Data: оно сложное, наверное, самое сложное из всего спектра, но дает возможность получить опыт во всех вышеперечисленных технологиях.
Глубокие знания определенного бизнес-домена станут ощутимым преимуществом для дата-инженеров. Ведь для того, чтобы правильно определить тенденции, понять, какая именно информация является действительно ценной для бизнеса, нужно понимать его специфику.
Использование инсайтов, полученных на основе анализа данных - это путь к повышению конкурентоспособности продукта. А отсутствие гибкой аналитики, основанный на адаптивных алгоритмах, оптимистическом / пессимистическом прогнозировании, в сегодняшних условиях напоминает прогулку по минному полю с закрытыми глазами. Закономерно, что бизнес будет все активнее пользоваться возможностями, которые открывают Big Data технологии. Адаптивные алгоритмы - это возможность быть гибкими и максимально точно прогнозировать, а это, в свою очередь, является залогом успешного бизнеса.
Сегодня бизнес- и потребительские модели на основе анализа данных активно используют, например, большие ритейлеры. Эти компании применяют алгоритмы машинного обучения для повышения уровня продаж, прогнозирование количества товаров, которые нужно иметь на складах, чтобы избежать дефицита или чрезмерных запасов, формирование уникальных предложений потребителям на основе персональной истории покупок.
В целом мир развивается в сторону автоматизации, и, вероятно, наступит момент, когда человеку будет отведена роль контроллера процессов, выполняемых машинами. Человек также должен будет реагировать на критические отклонения, и принимать решения, на которые не способна система.
ТОП-3 советов Data-инженерам от Олега Гриника:
1. Искать проекты, которые помогают развиваться. Не бояться изучать что-то новое, составляя единую, структурированную картину из разрозненных блоков информации. Если вы перестаете черпать нечто новое из текущего проекта - настало время перемен.
2. Не откладывать обучение на «потом». Студенческий подход изучения необходимого материала в ночь перед экзаменом (в нашем случае - перед собеседованием или ассессментом) во «взрослой» профессиональной жизни не работает. Если вы хотите развиваться, обучение должно быть интегрировано в вашу жизнь на постоянной основе.
3. Углубляться в бизнес домены. Процесс разработки уже сейчас очень тесно связан с пониманием специфики бизнеса, с которым вы работаете, и эта тенденция в дальнейшем будет набирать обороты. Потребность в разработчиках, которые, кроме технологии, владеют знаниями в определенном бизнес домене и говорят на одном языке с заказчиком, будет возрастать.
Полезные ресурсы:
https://github.com/olehgrynyk/blogs-to-keep-u-up2date
https://www.youtube.com/user/howardjeremyp/videos
https://www.youtube.com/channel/UC_pSCYWbMn4JcsxbWOzkgEQ/videos
