Data Engineer (Python, Pandas, BigQuery) in Constanţa

Kafka (nice to have) Spark (nice to have) SQL (junior) BigQuery (junior) GCP (junior) NumPy (regular) Pandas (regular) Python (regular) Cześć! Poszukujemy Data Engineerów do projektu migracyjnego do BigQuery dla klienta z obszaru nowoczesnej bankowości Stack: Python, GCP (Google Cloud Platform), JSON, GCP Cloud SQL, Pandas, Numpy, Spark, Kafka + Scrum Opis projektu: Migracja Terradaty do BigQuery. Projekt jest podzielony na 6 work stream’ow, z dodatkowym etapem „nursing” na koniec projektu. Projekt zakłada migracje skryptów MCIF i PCR, implementacje mechanizmów CDEP, implementacje OnDemand Reports zgodnie z założoną architekturą oraz pomoc w tworzeniu i migracji Data Marts zgodnie z wymaganiami nakreślonymi przez Business Analysts. Lokalizacja: 100% zdalnie Możemy zaoferować jedynie B2B:Widełki:115 – 150 PLN netto plus VAT / h Wymagania:· Min. 3 lata doświadczenia.· Biegły angielski.· Znajomość koncepcji Big Data i Data Management.· Doświadczenie w programowaniu w języku Python, w tym bibliotek do manipulacji danymi: Pandas, NumPy.· Doświadczenie w projektach data z GCP, z naciskiem na BigQuery i Cloud Composer/Airflow.· Doświadczenie w formatach serializacji danych: JSON, PARQUET, ORC, AVRO.· Znajomość języka SQL.· Praktyczna znajomość DBT.· Znajomość narzędzi do budowania: pip/conda/wheel.· Praktyczna znajomość narzędzi do kontroli wersji i CI. Nice to have:· Doświadczenie w pracy ze Sparkiem.· Znajomość Dataproc & Dataflow.· Doświadczenie z technologiami streamingowymi np. Kafka. P.S. Całe zespoły też są mile widziane! Zapraszamy do aplikowania!