Architektura Hurtowni Danych

Rozwiązania

SKONTAKTUJ SIĘ Z NAMI

Jeżeli chcieliby Państwo uzyskać więcej informacji o naszych rozwiązaniach, usługach, czy doświadczeniach - zapraszamy na bezpłatną konsultację.

Kategorie
Archiwa

Architektura Hurtowni Danych

System Hurtowni Danych jest głównym repozytorium wszystkich danych z organizacji, niezależnie od źródła ich pochodzenia (danych dotyczących sprzedaży, wyników finansowych, marketingu itp.). Aby zapewnić odpowiednie możliwości raportowe, elastyczność oraz wymaganą zdolności agregacji i przetwarzania danych architektura Hurtowni Danych składa się 5 podstawowych komponentów:

Źródła danych

  • Wewnętrzne źródła danych / bazy operacyjne Wszelkie informacje wytwarzane, raportowane i konsolidowane wewnątrz organizacji; przykłady: zamówienia i sprzedaże, transakcje dokonane przez organizację, leady i prospekty, dane z systemu CRM
  • Zewnętrzne źródła danych Wszelkie informacje pochodzące z zewnątrz organizacji; przykłady: informacje zebrane podczas prowadzonych badań klientów, informacje z wywiadowni gospodarczych

Narzędzia ETL

Hurtownia Danych wykorzystująca typowe narzędzia ETL (Extract – Transform – Load) bazuje na procesach strukturyzacji, integracji oraz na poziomach dostępu do danych w zależności od roli, jaką użytkownik pełni w organizacji

  • Serwer służący do strukturyzacji: baza przechowująca surowe dane źródłowe do dalszego procesowania przed załadowaniem ich Hurtowni. Możliwość tworzenia wielu różnorakich baz w zależności od potrzeb (np. oddzielne bazy dla oddzielnych departamentów organizacji)
  • Warstwa integracji – na niej ma miejsce integracja niepowiązanych danych za pomocą operacyjnej bazy ODS (ang. Operational Data Store)
  • Zintegrowane dane są następnie ładowane do bazy danych Hurtowni, za pomocą której następuje ich dalsza obróbka

Każdy z kroków ETL zapewnia monitoring i kontrolę ewentualnych błędów, aby wyeliminować je przed umieszczeniem zintegrowanych danych w Hurtowni Danych.

Serwer Hurtowni Danych (DWH)

Serwer Hurtowni Danych (DWH server) to pamięć fizyczna służąca przechowywaniu modeli danych dla potrzeb Hurtowni Danych. Mapowanie danych z systemów źródłowych (pkt.1) do modelu danych wykorzystywanego przez Hurtownię Danych pozwala upewnić się, że dysponujemy wystarczającą ilością danych z określonych zakresów, aby spełnić postawione wymagania w zakresie sprawozdawczości. Optymalizacja konfiguracji serwera DWH jest kluczowa dla zapewnienia odpowiednich mocy przerobowych, by wykonać zadane procesy analityczne jednocześnie przechowując, zarządzając i chroniąc dane historyczne. Głównym zadaniem Hurtowni Danych jest raportowanie i publikacja konkretnych, wymaganych zestawów danych, aby w jak najbardziej efektywny sposób wspierać wszelkie procesy decyzyjne w organizacji.

Kostki OLAP

OLAP (ang. Online Analytical Processing) – analityczne przetwarzanie danych – jest procesem mającym na celu uformowanie ich w wielowymiarowy model zdefiniowany przez kostkę OLAP, dla przyszłego wykorzystania w analizach. Wykorzystując kostki OLAP, organizacja może:

  • Tworzyć i jednocześnie sprawdzać skomplikowane wyliczenia i analizy
  • Rozpoznawać i definiować zależności oraz różnice
  • Rozpoznawać i definiować trendy oraz wyjątki od nich

Data Mining / Narzędzia raportowania

Data Mining to analizy zestawów danych w celu odkrycia znaczeń stojących za danymi – przewidywania zachowań, prognozowania trendów – oraz raportowania tychże informacji w przystępnej i zrozumiałem formie. Chcesz wiedzieć więcej o Hurtowniach Danych napisz do nas info@cogit.pl lub zadzwoń pod numer telefonu +48 22 496 60 00.

Zobacz też film o możliwościach jakie dostarcza chmura Microsoft Azure w obszarze Hurtowni Danych. Choć chmura nie zawsze może być najlepszym rozwiązaniem… to tę opcję też warto rozważyć podczas decyzji o wdrożeniu czy migracji.

Materiały dodatkowe

Hurtownia Danych Azure

Hurtownia Danych w chmurze – (p)odpowiedzi dla Biznesu i IT

Hurtownia Danych w chmurze - (p)odpowiedzi dla Biznesu i IT Kiedy: 20 czerwca 2018 w godzinach 10:00-10:45Hurtownia Danych w chmurze czy tradycyjne podejście? Dlaczego decydując się na budowę Hurtowni Danych powinniśmy także pamiętać o chmurze?Choć wizjonerzy Business Intelligence wysuwają twierdzenia, że w niedalekiej przyszłości Hurtownie danych mogą nie być już potrzebne …

Czytaj więcej (3 min)
Zalety implementacji in-memory w hurtowniach danych - materiał ekspercki

Zalety implementacji in-memory w hurtowniach danych

Niniejszy materiał w popularnonaukowy sposób wskazuje najistotniejsze zalety implementacji in-memory w hurtowniach danych. Nie jest publikacją stricte techniczną.Już dawno dotarliśmy do punktu, w którym ilość posiadanej informacji przewyższa możliwości ludzkiej percepcji, a ich niska jakość często czyni je bezużytecznymi. Z drugiej strony jesteśmy świadkami rozwoju nowych technologii, które pozwalają nam …

Czytaj więcej (3 min)

Using Essbase in Large Scale Data Warehousing

While well-suited to managing transactions and storing large amounts of data, relational databases are typically unable to handle ad hoc, speed-of-thought analytical querying for large scale usage. Online analytical processing (OLAP) technology provides the scalability, performance, read/write and analytic capabilities necessary to support these tasks; thus; a combination of a …

Czytaj więcej (3 min)