Home

ПРОЕКТ: Миграция данных из различных источников на Hadoop для одной из ведущих российских девелоперских компаний полного цикла, реализующих масштабные объекты недвижимости.

На проекте данные загружаются из различных источников – MS SQL Server, REST API, Kafka и т.д. Задача DQ-инженера - проверка качества загружаемых данных, разработка стандартов загрузки, проверка полноты загружаемых данных. Данные проходят обработку, затем из них строятся витрины для бизнес-процессов. Для этого разрабатывается уникальный ID на основе персональных данных. Необходимо выстроить проверки (на полноту, на актуальность, на уникальность, на форматы и т.п.) для корректности данных через SQL-запросы и регулярные выражения.

СТЭК: PostgreSQL; MS SQL Server: Airflow; Debezium; DataHub; JupiterHub; Python; HDFS; HUE; Hive; Impala; HBase; Kafka etc.

ЧЕМ ТЫ БУДЕШЬ ЗАНИМАТЬСЯ:

•  Выстраивать методологию тестирования на проекте.
•  Проводить анализ загруженных данных/витрин на предмет качества.
•  На основе проведенного анализа составлять тест кейсы для дальнейшего написания DQ.
•  Составлять SQL-запросы различного уровня сложности.
•  Тестировать загрузку данных посредством ETL- инструментов.

ТЫ НАШ ИДЕАЛЬНЫЙ КАНДИДАТ, ЕСЛИ У ТЕБЯ ЕСТЬ:

• Опыт работы с DQ системами.
• Знания видов/методов тестирования, умение применять их на практике.
• Опыт составления чек-листов, тест-кейсов, тест-планов и др. документации тестирования.
• Уверенные знания SQL.
• Опыт работы в команде.

СОВСЕМ КРУТО, ЕСЛИ:

• Знаешь основы технологий BigData и экосистемы Hadoop (HDFS, HUE, Hive, Impala, HBase, Kafka etc).
• Работал с ETL- инструментами.
• Знаком с основами бухгалтерского учета.

МЫ ПРЕДЛАГАЕМ:

• Официальное трудоустройство по ТК РФ.
• График работы 5/2.
• Гибкое утро.
• Подключение к программе ДМС (включает стоматологию, обследования, лечение заболеваний и т.д.), а также возможность страхования родственников по корпоративной цене.

У НАС ТЫ СМОЖЕШЬ НАЙТИ:

• Официальное трудоустройство по ТК РФ.
• Амбициозные задачи и проекты на современном стеке.
• Работа в команде профессионалов в доброжелательной атмосфере.
• Корпоративное обучение и развитие (портал обучения и развития удаленным доступом 24/7; собственный Центр развития компетенций).
• Насыщенная корпоративная жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия; мотивационные награждения.
• Прозрачную систему карьерного развития;
• Персонального наставника с первого дня работы;
• Возможность участия в обучении, конференциях, митапах, профессиональная сертификация;
• Неповторимую корпоративную культуру компании;
• Подключение к программе ДМС (включает стоматологию, обследования, лечение заболеваний и т.д.), а также возможность страхования родственников по корпоративной цене.

МЫ ИЩЕМ КАНДИДАТА БЕЗ ПРИВЯЗКИ К ЛОКАЦИИ КОМПАНИИ.

100% УДАЛЁННЫЙ ФОРМАТ РАБОТЫ.

Офисы компании находятся в городах: МОСКВА, САНКТ-ПЕТЕРБУРГ, НИЖНИЙ НОВГОРОД, САРАТОВ, ВОРОНЕЖ, ПЕНЗА, САМАРА, КРАСНОДАР.

Ждем ваши резюме по адресу:  Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript