Wydajna baza danych w chmurze w projekcie dla Respect Energy

Logo Respect Energy

Kraj: Polska

Sektor: Sektor publiczny

Usługi: Usługi chmurowe

Obszar: Azure, Snowflake

Wydajna baza danych w chmurze w projekcie dla Respect Energy

Dla naszego klienta, dostawcy zielonej energii, zaprojektowaliśmy i wdrożyliśmy wysoce wydajne rozwiązanie bazujące na Microsoft Azure i Snowflake. Połączenie tych technologii chmurowych pozwoliło skrócić operacje na danych z kilku godzin do nawet paru minut i obniżyć koszty o niemal 30%.

PRZEJDŹ DO:

  1. 1. Potrzeba
  2. 2. Wyzwania w projekcie
  3. 3. Proof of Concept architektury chmurowej hurtowni danych
  4. 4. Narzędzie Business Intelligence o wysokiej wydajności
  5. 5. Korzyści dla klienta
  6. 6. Technologie
  7. 7. Usługi chmury wykorzystane w projekcie
  8. 8. O kliencie

Potrzeba

Żeby pozyskać dane kluczowe do podejmowania decyzji na poziomie operacyjnym i strategicznym, klient pozyskiwał z wielu źródeł dane, które następnie trafiały do Cassandry, która była bazą Key Value Store. To baza typu noSQL, w której dane i odpowiadające im wartości są przechowywane w formie tabel i kolumn, podobnie jak to ma miejsce w przypadku definicji w słownikach czy spisach treści. Nie było to zadowalające rozwiązanie, ponieważ nie pozwalało na pełną kontrolę kosztów operacji na danych (klient m.in. płacił za utrzymanie nieużywanych maszyn wirtualnych, nieefektywne zapytania wysyłane do bazy itp.). Dodatkowo korzystał z chmury Digital Ocean, która nie spełniała oczekiwań i nie oferowała wszystkich potrzebnych usług.

Baza danych była nieodpowiednio dobrana pod kątem zapytań i działała wolno, a przeciążenia generowały kolejne koszty. Klient potrzebował zatem wydajnego narzędzia Business Intelligence w środowisku chmurowym, które sprostałoby jego oczekiwaniom i pozwoliło na optymalizację kosztów. Jednocześnie wcześniej używał kilku narzędzi i wolał uniknąć przekwalifikowania zespołu.

Wyzwania w projekcie

  • Sprawdzenie możliwości dostępnych rozwiązań chmurowych.
  • Uporządkowanie infrastruktury – przeniesienie całej bazy danych do chmury.
  • Stworzenie hurtowni danych umożliwiającej integrację danych z różnych poziomów i źródeł.
  • Wykorzystanie wcześniej posiadanych narzędzi i skryptów bez konieczności przekwalifikowania się specjalistów klienta.

Proof of Concept architektury chmurowej hurtowni danych

Chcieliśmy, aby klient mógł odzyskać kontrolę nad kosztami – w tym celu postanowiliśmy zaprezentować możliwości architektury opartej na chmurze. W ramach PoC odtworzyliśmy część danych i raporty z bazy Cassandra. Opierając się na naszych wcześniejszych doświadczeniach, a jednocześnie zachęceni pozytywnym nastawieniem klienta, zaproponowaliśmy architekturę rozwiązania opartą na sprawdzonej chmurze Microsoft Azure.

Potwierdziliśmy możliwości Azure jako środowiska odpowiedniego do osadzenia technologii bazodanowej Snowflake oraz możliwość korzystania z posiadanych skryptów i narzędzi w chmurze Azure. Następnie przeprowadziliśmy audyt i testy wydajności, potwierdzając większą wydajność Snowflake względem Cassandry.

Narzędzie Business Intelligence o wysokiej wydajności

Dbając o bezpieczeństwo danych, przenieśliśmy dalszą część bazy danych Cassandra oraz zbudowaliśmy podstawy hurtowni danych, która docelowo będzie integrowała dane z różnych źródeł.

Klient zyskał nowoczesne narzędzia raportowo-analityczne, które pozwalają zoptymalizować koszty. Rozwiązanie daje możliwość tworzenia pogłębionych analiz dzięki wykorzystaniu algorytmów Machine Learning. Nowe narzędzia nie wymagają przekwalifikowania się pracowników. Klient obecnie, już samodzielnie, wykorzystuje komponenty takie jak Docker czy Kubernetes, które pozwoliły na uzyskanie wyższej wydajności przy utrzymaniu kosztów na optymalnym poziomie.

Korzyści dla klienta

  • Skrócenie czasu procesów z kilku godzin do nawet kilku minut.
  • Zastąpienie bazy Cassandra narzędziem z podobnej półki cenowej, jednak o dużo większej wydajności.
  • Uporządkowana struktura danych i posiadanie hurtowni, która umożliwia integrację danych z wielu innych systemów.
  • Wsparcie i wiedza oficjalnego partnera Microsoft, Snowflake oraz lidera we wdrożeniach Business Intelligence w Polsce.

Technologie

Snowflake, Microsoft Azure, Docker, Kubernetes, Jupyter, Mikroswerwisy, Airflow, Microsoft Power BI

Usługi chmury Azure wykorzystane w projekcie

Data Factory, Functions, Logic Apps, DevOps, SQL Server, Virtual Machines, Blob Storage, Key Vault

O kliencie

Firma Respect Energy oferuje zieloną energię wytworzoną w 100% ze źródeł odnawialnych i współpracuje z grupą ponad 450 wytwórców energii w Polsce.