Jak działają hurtownie danych?

Im większa firma lub bardziej skomplikowany profil usług czy produkcji, tym bardziej potrzeba rozwiązań do przetwarzania danych. Duże organizacje nie mogą już istnieć bez hurtowni danych, które wpierają decyzje i pozwalają zorientować się w sytuacji w różnych obszarach działalności. Jednak coraz częściej hurtownie nie są efektywne. Jak wynika z raportu IDC „Oswajanie chaosu informacyjnego”, 75 proc. firm ma do czynienia ze zjawiskiem przeładowania informacyjnego, a tylko połowa informacji, którymi dysponują, jest naprawdę przydatnych przy podejmowaniu decyzji. W zarządzaniu danymi pojawiają się problemy, z których główne to ilość danych oraz ich rozproszenie.

Hurtownia wszystko ci powie

Hurtownia danych najczęściej pełni rolę centralnego repozytorium danych przedsiębiorstwa. Gromadzi dane z systemów i źródeł operacyjnych organizacji (takich jak CRM, ERP lub też bezpośrednio z arkuszy kalkulacyjnych czy tekstowych). Prekursorem polskich hurtowni danych był Narodowy Bank Polski, który przystąpił do budowy takiego systemu już w 1994 roku. Dziś nie ma już dużego przedsiębiorstwa, które mogłoby pozwolić sobie na działanie bez uporządkowania danych w hurtowniach.

Zadaniem hurtowni jest stworzenie szeregu raportów i zestawień, które dostarczają informacji potrzebnych do skutecznego podejmowania decyzji biznesowych. Rozwiązania te służą przede wszystkim do przeprowadzania analiz, wyszukiwania prawidłowości, zależności i wzorców lub do planowania różnego rodzaju działań ukierunkowanych na klientów. Bez hurtowni trudno odpowiedzieć na pytania, które na co dzień zadają managerowie: jaka była sprzedaż w zeszłym tygodniu, jaki był zysk w zeszłym miesiącu, jakie są stany magazynowe wybranego produktu, który segment klientów jest najlepszy, a który najgorszy, które produkty i usługi są najbardziej rentowne, czy właściwie ustalono cenę produktu… Tempo i jakość odpowiedzi na tego rodzaju pytania pozwalają firmie podejmować lepsze decyzje i w konsekwencji budować przewagę konkurencyjną.

Analizowanie danych gromadzonych w hurtowniach jest możliwe dzięki modelom przetwarzania informacji w czasie rzeczywistym OLAP (On-line Analytical Processing). OLAP umożliwia wykonanie wielu porównań i analiz ogromnej ilości danych w minimalnym czasie. W porównaniu do tradycyjnych metod przetwarzania danych np. w arkuszach kalkulacyjnych, oznacza to ogromną oszczędność czasu i pracy analityków. OLAP to technologia, która pozwala budować wielowymiarowe kostki danych na podstawie informacji znajdujących się w hurtowniach. Umożliwia tworzenie przekrojowych analiz, co pomaga natychmiast odpowiadać na pytania kadry managerskiej, ale też wspomaga planowanie i prognozowanie działalności przedsiębiorstwa.

Dla przykładu - wielowymiarowa analiza danych pozwala np. szybko odpowiedzieć na pytanie, dlaczego firma uzyskała gorszy wynik sprzedażowy. Odpowiedź może kryć się np. w słabych wynikach jednego z oddziałów, nieefektywnej pracy konkretnych handlowców, schyłkowej fazie cyklu życia produktu lub źle ustalonej cenie. Innym przykładem mogą być firmy windykacyjne, które w oparciu o historię wierzytelności danego dłużnika oraz analogiczne przypadki z rejonu geograficznego czy rejonu działalności, poddają szybkiej analizie opłacalność przejęcia długu.

Dane gromadzone w hurtowni mają charakter wielowymiarowy – są uporządkowane według różnych wymiarów, takich jak czas (dzień, miesiąc, kwartał, rok), rodzaj kosztu, asortyment oraz odzwierciedlających strukturę organizacyjną firmy: pion, dział, handlowcy itd. Ponieważ hurtownie pobierają dane z wielu systemów, są w nich też zgromadzone informacje o danych (metadane), które określają ich pochodzenie i moment wprowadzenia (znaczniki czasu). Ułatwia to zarządzanie i wyszukiwanie informacji.

Jakość BI zależy od hurtowni

Hurtownia danych jest sercem większości systemów Business Intelligence (BI). Od jej poprawnego zaprojektowania zależy działanie aplikacji analitycznych. Według badań Gartnera, systemom BI firmy nadają dziś najwyższy priorytet. Podobne informacje prezentuje badanie IBM Global CIO Study przeprowadzone wśród dyrektorów IT z całego świata. Wykazało ono, że 83 proc. dyrektorów średnich firm uznaje rozwiązania BI za element kluczowy dla zwiększenia konkurencyjności.

Według CIMA (Chartered Institute of Management Accountants), instytucji kształcącej kadrę menedżerską w zarządzaniu finansami, rozwiązania BI to dziś najważniejsze rozwiązania wspomagające efektywne analizy, raportowanie i podejmowanie decyzji menadżerskich. Stanowią doskonałe wsparcie w eliminacji ryzyka, przez co zmniejszają możliwości występowania strat w firmie. BI ogranicza ryzyko błędnych decyzji i jednocześnie generuje niebagatelne korzyści biznesowe. Analitycy firmy Comarch przytaczają przykłady polskich firm, w których dzięki wdrożeniu BI udało się osiągnąć 20 proc. wzrost sprzedaży lub zaoszczędzić od 10 do 30 proc. czasu operacyjnego pracowników.

Polecamy: Jak założyć własną firmę?

OLAP a BI in-memory – wojna czy pokojowa koegzystencja?

Obok tradycyjnych systemów BI istnieją systemy bazujące na ładowaniu danych do pamięci operacyjnej i ich natychmiastowym analizowaniu, tzw. BI in-memory. Analitycy i praktycy porównują przydatność obu typów rozwiązań. BI in-memory nie potrzebuje hurtowni danych, wdraża się więc takie systemy szybko. Są one bardzo wydajne, analizują w sekundy nieprawdopodobne ilości rekordów. Ale czy rzeczywiście zdominują rynek? W niektórych przypadkach, w razie konieczności natychmiastowej analizy danych ad hoc tradycyjna architektura BI oparta o hurtownie i sztywne struktury OLAP faktycznie staje się niewydolna.

OLAP zwykle ogranicza analizy do kilkunastu wymiarów. W BI in-memory analizy nie są ograniczone żadną liczbą wymiarów, natomiast technologia ta zawsze wymaga indywidualnego definiowania dostępu do danych z różnych systemów. Dlatego trudniej jest panować nad standaryzacją przetwarzanych danych.

OLAP i hurtownie danych dokładnie definiują sposób zasilania hurtowni danymi i narzucają standaryzację – np. dane godzinowe, dzienne, tygodniowe. Zapewnia to powtarzalność wyników. Jak prognozują analitycy rynku oba rozwiązania będą istnieć równolegle, ale podzielą się zadaniami: BI in-memory będzie wspierać działania operacyjne, zaś tradycyjne BI oparte na OLAP odpowiadać będą za wsparcie działań strategicznych.

Gartner przewiduje, że do 2012 r. większość firm z listy Fortune 1000 będzie używać BI in-memory. Nie należy się jednak spodziewać ich natychmiastowego upowszechnienia z powodu wciąż wysokich kosztów. Takie rozwiązania wymagają bardzo wydajnych komputerów i sporych zasobów pamięci, a duże kości pamięci DRAM wciąć są drogie. W 2012 roku 1 gigabajt DRAM ma kosztować mniej niż 10 USD i być może dzięki temu liczba wdrożeń wzrośnie.

Polecamy: O czym pamiętać otwierając e-sklep? - 7 kroków

Mariusz Wieteska
Ekspert Business Intelligence w Pentacomp Systemy Informatyczne