Описание:
Платформа данных в Циане отвечает за улучшение опыта использования данных для решения бизнес-задач. Мы эффективно организуем большие объёмы данных - сейчас в нашем Data Lake хранится более 3ПБ. Мы также работаем над созданием удобных инструментов для реализации ETL и решения задач ML и аналитики. Ищем Data engineer в команду разработки платформенных инструментов, чтобы вместе интегрировать эффективные решения по работе с данными с использованием современных технологий. Вместе с нами вам предстоит: прорабатывать архитектуру платформенных инструментов и работать над roadmap их развития. Примеры решений которые уже есть: Feature Store для хранения фичей для команды DS Data Catalog для сбора меты и построения data lineage Библиотека для интеграции Spark App с сервисами внутри компании помогать бизнесу, аналитикам и ds решать их задачи при помощи данных проводить исследования с целью оптимизации работы с данными разрабатывать проекты по обмену данными с внешними заказчиками (например, Росреестр, операторы сотовой связи и др.) Мы видим на этой позиции человека, который: кодит на Python: основные типы и структуры данных, понимание концепций работы async кода и его отличий от классической модели, OOP, декораторы/генераторы/итераторы/context manager имеет опыт работы с Hadoop стеком от 2 лет верхнеуровнево понимает архитектуру работы HDFS: какие типы нод за что отвечают, как работает Erasure Coding имеет опыт работы со Spark: может объяснить что такое драйвер и экзекьюторы, пояснить за ленивость и actions, как связаны RDD и Dataframe работал с Kafka У нас интересно, потому что: нашим продуктом пользуется большое количество людей и с ростом аудитории растёт количество интересных задач есть возможность поучаствовать в построении сервисов с нуля или интегрировать что-то новое. Мы всегда прислушиваемся к опыту наших коллег нет зоопарка технологий и довольно понятный стек: Python 3.9/3.10 Spark 3 Yandex S3 Greenplum, PostgreSQL Airflow 2.+ NoSQL DB (Redis, Cassandra) Kafka Scala (есть небольшой процент задач по Spark Streaming) мы постоянно работаем над автоматизацией рутинных процессов Что мы предлагаем: удаленную работу с возможностью приходить в офис в Москве, Санкт-Петербурге и Новосибирске. В офисе – кухни, оборудованные всем необходимым, а также снеки, фрукты, кофе и чай, бесплатная авто и вело парковки рост и развитие: в первые месяцы у каждого сотрудника есть ментор, после появляется личный план развития и возможность прокачивать soft/ hard skills на практике, обучении, конференциях
