«Меня увлек процесс превращения огромного массива нечитабельных данных в источник полезной информации и инсайтов для бизнеса, потому я выбрала Business Intelligence», - рассказывает Ирина Шкиндер, Software Engineer, направление DWBI (Data Warehouse & Business Intelligence) ЕРАМ.
Работу на проекте Ирина, выпускница BI лаборатории 2017 года, совмещает с преподаванием, менторством и выступлениями на тематических конференциях, а также активным участием в адаптации учебных программ для новичков в сфере Business Intelligence. «Я сама училась в лаборатории и, после начала работы на проекте, сделала выводы о том, какие знания помогли бы мне более эффективно, комфортно и уверенно выполнять рабочие задачи, - комментирует Ирина. – Нынешняя программа – гораздо шире и постоянно совершенствуется, чтобы соответствовать современным реалиям. Также, помимо начитки теоретического и практического материала, во время обучения преподаватели делятся кейсами из собственного опыта». В рамках недавней Junior’s Online Conference Ирина рассказала о специальности DWBI (Data Warehouse & Business Intelligence) и ее роли в современном цифровом мире.
Что же такое Business Intelligence?
Существует огромное количество определений этой специализации, но все их можно свести к одному «знаменателю»: Business Intelligence – это совокупность процессов, инструментов и технологий, которые помогают бизнесу принимать важные решения на основе анализа данных. Некоторые источники отождествляют понятия бизнес-аналитика и Business Intelligence, но это несколько упрощенный подход.
Количество информации в современном мире стремительно растет, и преимущественное большинство данных хранится в электронном формате. Однако, в «сыром» виде такая информация не приносит практической пользы. Обработанные же данные, напротив, являются ценным источником информации. Их можно использовать для повышения прибыльности предприятия, идентификации рисков на ранних этапах и управления ими, оптимизации операционной деятельности и выявления слабых мест в организационной структуре компании. Структурированные данные помогают мониторить производительность систем и процессов с помощью метрик KPI, улучшать коммуникацию с клиентом и прогнозировать спрос.
Что включает в себя работа DWBI инженера?
Работу специалиста в области Business Intelligence можно условно разделить на несколько этапов.
Все начинается с работы с источниками данных, которые могут быть как структурированными, так и разрозненными, хранящимися в разных системах и различных форматах. Безусловно, удобнее всего работать со структурированной информацией, которая чаще всего приходит из реляционных баз данных.
Следующая стадия – подготовка данных или BackEnd-процесс. Цель этого этапа - извлечение данных из источников и их перемещение в хранилище для дальнейшего использования. В зависимости от выбранной архитектуры, применяется ETL (extract -> transform -> load) либо ELT (extract -> load -> transform) подход. (А чтобы узнать в чем разница и почему она существенна – приходите к нам на курсы) Это значит, что данные проходят очистку, стандартизируются, трансформируются, валидируются и сохраняются в подготовленном виде.
Финальная фаза - Front End. На этом уровне происходит работа с предвариательно подготовленными данными, хранящимися в Data Warehouse (или Data Lake). При помощи разнообразных BI-инструментов (в контексте Front End, это утилиты для визуализации данных) создаются отчеты, дашборды, scoreсards, а также интерактивные графики, карты и диаграммы. Также, здесь может происходить общение с заказчиком для уточнения того, какая именно информация ему необходима, формирование инфографик или любых других исследований по запросу стейкхолдеров.
Неужели всем этим занимается один человек?
Все зависит от конкретного проекта, его целей и бюджета. Как правило, в реальных проектах выделяют 3-4 основные роли, и чаще всего их выполняют разные люди. Совмещение смежных ролей возможно, но практически никогда один инженер не занимается всем процессом от начала до конца.
Для эффективной работы с данными и дальнейшей масштабируемости системы их необходимо тщательно и правильно подготовить. Этим занимается DWBI (или ETL) девелопер. Такой специалист разрабатывает модель данных, настраивает и разрабатывает процесс получения, трансформации и загрузки данных в хранилище, а также их очистки для дальнейшего использования в аналитике. Этот человек пишет код, интегрирует все инструменты и процессы. Для DWBI девелопера чрезвычайно важно хорошее знание SQL, поскольку это основа всего инструментария. Общие принципы работы с базами данных также необходимо знать, от этого зависит качество кода и финальных данных. Добавляем понимание принципов и навыки построения ETL-процессов и хранилищ данных, знания в области Big Data (MapReduce, Hadoop, Spark, etc). Для дальнейшего развития в профессии также понадобятся навыки работы в облаке (AWS, Google Cloud, Microsoft Azure, etc), а также владение одним из высокоуровневых языков программирования – чаще всего используются Python, Java или Scala.
Оценкой правильности настройки ETL процессов, тестированием прототипов, написанием тестов и документации, проверкой продукта на соответствие требованиям заказчика занимается Data quality engineer. Для них также критично важно знание SQL, принципов работы с БД, понимание принципов построения ETL-процессов и хранилищ данных. Собственно, Quality Engineer должен владеть той же теоретической базой, что и DWBI Developer, но с уклоном в тестирование. Плюс пригодятся навыки нагрузочного тестирования (performance testing), поскольку Business Intelligence подразумевает работу с большим объемом данных.
Визуализация данных и формирование отчетов входит в обязанности Business Intelligence Reporting Developer. В первую очередь, этот человек занимается разработкой новых и поддержкой существующих отчетов и дашбордов. Также, в его обязанности может входить конфигурирование и настройка используемых BI-инструментов, задачи по улучшению производительности разработанных отчетов. Такой специалист часто работает напрямую со стейкхолдерами, потому помимо владения специфическими инструментами для построения dashboards (а их количество уже сейчас исчисляется десятками и стремительно растет), знаний SQL и опыта работы с базами данных, ему необходимы отличные коммуникационные навыки и уверенное владение иностранным языком при работе с международными клиентами.
Подобную роль выполняет Аналитик данных (Data analyst), который анализирует информацию для выявления определенных зависимостей и тенденций на различных этапах работы с данными. Специалист в данной области должен хорошо разбираться в домене проекта – будь то медицина, туризм или банковское дело – для правильного построения логически заключений. Также пригодится опыт моделирования данных (UML, логические модели) и, конечно же, SQL и опыт работы с базами данных.
Как начать карьеру в Business Intelligence?
Набор базовых навыков для новичков не сложен. Основа основ – это SQL, понимание ключевых понятий реляционных БД и английский язык. Также будет полезным понимание алгоритмов и базовых принципов ООП.
Кроме знания основ, плюсом будут являтся: опыт использования реляционных БД (MySQL, MS SQL, Oracle, PostgreSQL, etc), понимание концепций Data Warehouse и Data Lake), навыки использования инструментов для визуализации данных и/или BI платформ (Tableau, Power BI, QlikView, etc). Однако следует заметить, что онлайн программа Data Warehouse and Business Intelligence от EPAM разработана для тех, кто только делает первые шаги в профессии и включает занятия по всем необходимым темам.
Тем, кто всерьез решит развиваться в профессии нужно быть готовыми регулярно и достаточно быстро изучать новые технологии и инструменты, в том числе: освоить один из языков программирования, облачные технологии, Business Intelligence платформы, инструменты из BigData-стека (Hadoop, Hive, Spark), инструменты ETL (Informatica, Talend, Pentaho), Bash scripting.
Полезные материалы для начинающих:
● Data Engineers: материали для самоподготовки
● Полезные ссылки для самоподготовки по всем направлениям
● Книги про Relational DB Concepts (наприклад, Tom Kyte about Oracle, Icik Ben-Gan about MS SQL)
