- эксперт, специализирующийся на data-продуктах – хранилищах данных, платформах данных (YDL/ADL)
∙ Опыт работы в области управления и обработки данными от 3 лет;
∙ Профессиональное владение SQL;
∙ Более двух лет практического опыта работы с Python, Spark;
∙ Опыт работы с технологиями на основе Hadoop (HDInsight, Spark, Hive, Pig, Scala и т. Д);
∙ Обширный опыт работы с инструментами ETL, такими как Azure Data Factory, SSIS, Pentaho и т.д.;
∙ Обширный опыт работы с технологиями хранения Azure и Yandex;
∙ Практический опыт использования инструментов управления конфигурацией и автоматизации, таких как Azure DevOPS, Ansible, DSC, Puppet, Chef, Salt и т.д
∙ построение цепочек загрузки и трансформации данных и промежуточных витрин данных в Yandex Data Lake:
∙ выявление существующих цепочек трансформации данных, используемых для отчетов в текущих DWH - Yandex DL и Azure DL;
∙ мониторинг выполнения интеграционных заданий(ETL) и работа с инцидентами;
∙ работа с пользовательскими инцидентами по устранению проблем с качеством данных;
∙ оптимизация цепочек загрузки и трансформации данных (при наличии такой возможности);
∙ создание технической документации для дальнейшей поддержки DWH, цепочек загрузки/трансформации данных, промежуточных витрин данных;