Wymagania techniczne:

• Bardzo dobra znajomość Databricks (codzienna praca z tym narzędziem jest kluczowa).
• Python, PySpark, SQL, ETL Processing, AWS (S3, Docker).
• Podstawowa znajomość Azure.
• Mile widziane: Kedro, Airbyte.
• Minimum 8 lat doświadczenia w roli Data Engineera.
• Umiejętności w zakresie System Design.
• Gotowość do pełnienia wsparcia on-call (dodatkowo płatne): reakcja w ciągu 30 minut, wsparcie naprzemiennie z zespołem (tydzień dyżuru, trzy tygodnie przerwy).

Zakres obowiązków:

• Projektowanie systemu przetwarzania i zarządzania danymi w Databricks.
• Implementacja procesów ETL przy użyciu PySpark i SQL.
• Zarządzanie infrastrukturą chmurową: AWS, S3, Docker, Kubernetes.
• Zrozumienie i stosowanie Medalion Architecture w codziennej pracy.
• Wdrażanie rozwiązań w oparciu o CI/CD (CircleCI).
• Wspieranie lidera zespołu oraz współpraca z innymi zespołami technicznymi.

Dodatkowe informacje:

• Praca z dużymi wolumenami danych (od MB do GB).
• Źródła danych: Kafka, RDBMS (Postgres), filesystem (CSV).
• Zespół liczy obecnie 3 Data Engineerów oraz lidera technicznego.