Big Data Developer in Constanţa

O projekcie Naszym Klientem jest izraelsko-amerykańska firma będąca globalnym liderem technologii druku cyfrowego. We współpracy z największymi światowymi markami i przedstawicielami e-commerce dąży do radykalnej zmiany podejścia do produkcji oraz dystrybucji odzieży i dekoracji wnętrz. Nowatorskie rozwiązania cyfrowe pozwalają m.in. w rzeczywisty sposób zredukować zanieczyszczenie środowiska oraz znacząco ograniczyć zużycie wody w procesie produkcji. Projekt I Projekt polega na analizie dużej liczby logów z drukarek wysyłanych kilka razy dziennie w formie plików ZIP do Azure Blob Storage. Obecnie logi wymagają czyszczenia i transformacji. Logi z różnych plików są agregowane i łączone w celu obliczenia i przedstawienia kluczowych dla biznesu wskaźników KPI. Projekt II Migracja istniejących hurtowni danych z Azure SQL Database (+SSIS) do Snowflake. Obecna hurtownia danych, oprócz standardowych funkcji analitycznych, stanowi także źródło danych dla aplikacji webowej. Hurtownia danych realizowana w architekturze lambda, łącząca dane Real Time z urządzeń IoT oraz dane z innych źródeł takich jak bazy danych serwera SQL. Projekt ten jest początkiem wdrożenia Single Source Of Truth dla całej organizacji. Jest to wczesna faza projektu, rozpoczynająca realizację po fazie projektowania. Nasze oczekiwania Znajomość Azure: Azure Data Factory, ADLS gen2, Event Hub/ IoT Hub/ analiza strumieni, sieć na platformie Azure (sieć wirtualna/podsieci/brama/prywatne punkty końcowe), role i zabezpieczenia (Microsoft Entra ID, grupy zabezpieczeń itp.) Znajomość Databricks: Pyspark, Spark SQL Zaawansowana znajomość SQL (optymalizacja zapytań, partycjonowanie, klastrowanie itp.) -> TSQL, ANSI SQL Dobra znajomość Python Znajomość Git Znajomość NoSQL Znajomość Snowflake Znajomość hurtowni danych – projektowanie, modelowanie danych, metodologie (np. Kimball) Koncepcja Data Lake i Lakehouse – architektura medalionowa itp. Znajomość koncepcji Big Data – Hive, Spark, partycjonowanie, skalowanie w górę i w dół, przetwarzanie strumieniowe Podstawowa znajomość DevOps: Azure data DevOps (tablice, zadania, tworzenie PR...), CI/CD Mile widziane  Azure Data Explorer (język KQL) Kluczowe zadania Analizowanie i organizowanie surowych danych Ocenianie potrzeb i celów biznesowych Rozwijanie istniejącego Data Lake Wdrażanie notebooka dla procesów ELT i logiki biznesowej Optymalizacja kodu Refaktoring Pisanie testów jednostkowych Przygotowywanie dokumentacji Co oferujemy Niepowtarzalna atmosfera – Dobra i przyjazna atmosfera w firmie oraz zadowolenie ze współpracy zarówno z kolegami z działu, jak i bezpośrednimi przełożonymi. Imprezy integracyjne – Duże, wewnętrzne konferencje technologiczne, kilkudniowe imprezy integracyjne jesienią, przyjęcia gwiazdkowe oraz wyjścia zespołowe. Elastyczność – Godziny pracy są elastyczne i dostosowane do indywidualnych preferencji. Podobnie jak tryb świadczenia pracy: zdalnie lub w modelu hybrydowym. Ścieżki rozwoju – Są jasne, proste i na pewno nie wyboiste. Do wyboru ścieżka rozwoju managerska lub ekspercka. Certyfikaty – Ułatwiamy rozwijanie pożądanych kompetencji, dofinansowujemy szkolenia oraz kursy. Bezpieczeństwo – Posiadamy wieloletnie doświadczenie na rynku oraz realizujemy krajowe i międzynarodowe projekty. Umiejętnie zarządzamy zadaniami oraz umożliwiamy płynną alokację pomiędzy projektami. Wymiana wiedzy – Dla chcących się rozwijać mamy wewnętrzne meetingi technologiczne i autorskie programy szkoleniowe. Można uczyć się od najlepszych, a także dzielić się swoją wiedzą i doświadczeniem w trakcie firmowych i branżowych konferencji technologicznych. Prywatna opieka medyczna – Dbamy o zdrowie. Zapewniamy dostęp do prywatnej opieki medycznej oraz możliwość skorzystania z ubezpieczenia grupowego. Multisport – Basen, siłownia, taniec, joga, sztuki walki. I to wszystko z kartą w wersji PLUS. Idealne rozwiązanie dla fanów sportu oraz amatorów aktywnego wypoczynku. Język angielski – Tym którzy mówią płynnie i chcą utrzymać ten poziom lub pragną rozwinąć swoje umiejętności językowe, umożliwiamy bezpłatny udział w zajęciach z języka angielskiego. Lekcje realizowane są w nowoczesnej i bezpiecznej formie spotkań on-line. Just learn IT! Komfort pracy – Atrakcyjnie urządzone strefy relaksu, dostępne w największych oddziałach firmy, zachęcające do odpoczynku w ciągu dnia oraz wyposażone kuchnie z aromatyczną kawą. Wspieranie aktywności – Mamy drużyny piłki nożnej, rozgrywamy mistrzostwa, mamy na pokładzie maratończyków i innych aktywnych wielbicieli sportu. Wspieramy wszelkie pasje.