01.05.24
Про роботу
Ищем Senior Data engineer в Modus - экспертный центр цифровых технологий.
Компания расширяет штат data engineers в рамках создания и внедрения внутренней Единой Аналитической Платформы на основе технологий Big Data, индустриального IoT, экосистемы Hadoop и платформ облачных вычислений.
Источниками данных являются различные БД, существующие ИС, разнотипные SCADA-системы СЭС, ВЭС, ТЭС и т.п. (от 20 тыс. до 100 тыс. различных сигналов и параметров в каждой).
Навыки и знания нашего будущего коллеги:
- Опыт работы в роли инженера данных не менее 2-х лет;
- Практические навыки проектирования и реализации систем сбора и обработки данных;
- Понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой области;
- Понимание принципов распределенных вычислений;
- Способность осуществлять исследование данных (data exploration) и взаимодействовать с экспертами предметной области с целью достижения бизнес-целей;
- Знание SQL;
- Практический опыт работы с элементами Hadoop экосистемы;
- Apache Spark / Databrics;
- Практический опыт работы с Compute Cloud (AWS, Azure и т.п.);
- Python (Java / Scala).
Nice to have в любой конфигурации:
- Apache Spark / Databrics: Core, Structured Streaming, SQL
- Apache Ignite
- Apache Flink
- Apache (Confluent) Kafka / Apache Pulsar
- NoSQL (Cassandra / Hbase / Kudu / Impala)
- Indexing engines (Elastic Search / Solr)
- Apache Hive (Tez), Pig
- AWS: S3, EMR, EC2, Lambda, Kinesis/Kinesis Firehose, IAM, Athena, Glue, DynamoDB, Redshift, Aurora, Greengrass, IoT Core
- Azure: Blob storage, HDInsight, VM, Functions, IoT Edge, IoT Hub, Event Hubs etc.
Что необходимо делать:
- Разработка конвейеров данных (data pipelines) с целью обеспечения сбора, обработки и структурирования данных для последующего анализа и использования в системе;
- Разработка оптимальной структуры хранения, передачи, предоставления данных по конкретному продукту (подсистеме);
- Разработка и внедрение эффективных механизмов и способов взаимодействия по данным между командами аналитики и ИТ инфраструктуры;
- Взаимодействие с аналитиками данных, владельцем продукта для определения требований к выгрузке, конвертации и представлению данных в рамках конвейеров данных;
- Взаимодействие с архитектором и руководителем группы для обеспечения качества разрабатываемых технических решений обработки данных;
- Участие в создании POC с нуля - проектирование, разработка и прототипирование;
- Участие во всех циклах разработки - дизайн, кодирование, тестирование и релиз;
- Проведение оценки и рецензирования кода целью обеспечения качества разработки;
- Применение концепции непрерывной интеграции и доставки (CI/CD);
- Оптимизация конвейеров данных и усовершенствование; архитектуры с точки зрения эффективности функционирования как отдельных элементов, так и системы в целом.
Что получите от нас:
- Удаленный формат работы (на период карантина);
- Бонусы по итогам года;
- Медицинская страховка (после адаптационного периода);
- Регулярное корпоративное обучение и развитие;
- Работа в ультрасовременном офисе (UNIT.City);
- Возможность применять самые современные технологии;
- Возможность профессионального роста.