Jak działają hurtownie danych?

Jak działają hurtownie danych? / inforCMS
Do niedawana używane jedynie przez największe firmy, obecnie dostępne także dla mniejszych przedsiębiorców. Czym tak naprawdę są hurtownie danych? Ekspert wyjaśnia ich zasady działania.

Im większa firma lub bardziej skomplikowany profil usług czy produkcji, tym bardziej potrzeba rozwiązań do przetwarzania danych. Duże organizacje nie mogą już istnieć bez hurtowni danych, które wpierają decyzje i pozwalają zorientować się w sytuacji w różnych obszarach działalności. Jednak coraz częściej hurtownie nie są efektywne. Jak wynika z raportu IDC „Oswajanie chaosu informacyjnego”, 75 proc. firm ma do czynienia ze zjawiskiem przeładowania informacyjnego, a tylko połowa informacji, którymi dysponują, jest naprawdę przydatnych przy podejmowaniu decyzji. W zarządzaniu danymi pojawiają się problemy, z których główne to ilość danych oraz ich rozproszenie.

Hurtownia wszystko ci powie

Hurtownia danych najczęściej pełni rolę centralnego repozytorium danych przedsiębiorstwa. Gromadzi dane z systemów i źródeł operacyjnych organizacji (takich jak CRM, ERP lub też bezpośrednio z arkuszy kalkulacyjnych czy tekstowych). Prekursorem polskich hurtowni danych był Narodowy Bank Polski, który przystąpił do budowy takiego systemu już w 1994 roku. Dziś nie ma już dużego przedsiębiorstwa, które mogłoby pozwolić sobie na działanie bez uporządkowania danych w hurtowniach.

Zadaniem hurtowni jest stworzenie szeregu raportów i zestawień, które dostarczają informacji potrzebnych do skutecznego podejmowania decyzji biznesowych. Rozwiązania te służą przede wszystkim do przeprowadzania analiz, wyszukiwania prawidłowości, zależności i wzorców lub do planowania różnego rodzaju działań ukierunkowanych na klientów. Bez hurtowni trudno odpowiedzieć na pytania, które na co dzień zadają managerowie: jaka była sprzedaż w zeszłym tygodniu, jaki był zysk w zeszłym miesiącu, jakie są stany magazynowe wybranego produktu, który segment klientów jest najlepszy, a który najgorszy, które produkty i usługi są najbardziej rentowne, czy właściwie ustalono cenę produktu… Tempo i jakość odpowiedzi na tego rodzaju pytania pozwalają firmie podejmować lepsze decyzje i w konsekwencji budować przewagę konkurencyjną.

Analizowanie danych gromadzonych w hurtowniach jest możliwe dzięki modelom przetwarzania informacji w czasie rzeczywistym OLAP (On-line Analytical Processing). OLAP umożliwia wykonanie wielu porównań i analiz ogromnej ilości danych w minimalnym czasie. W porównaniu do tradycyjnych metod przetwarzania danych np. w arkuszach kalkulacyjnych, oznacza to ogromną oszczędność czasu i pracy analityków. OLAP to technologia, która pozwala budować wielowymiarowe kostki danych na podstawie informacji znajdujących się w hurtowniach. Umożliwia tworzenie przekrojowych analiz, co pomaga natychmiast odpowiadać na pytania kadry managerskiej, ale też wspomaga planowanie i prognozowanie działalności przedsiębiorstwa.

Dla przykładu - wielowymiarowa analiza danych pozwala np. szybko odpowiedzieć na pytanie, dlaczego firma uzyskała gorszy wynik sprzedażowy. Odpowiedź może kryć się np. w słabych wynikach jednego z oddziałów, nieefektywnej pracy konkretnych handlowców, schyłkowej fazie cyklu życia produktu lub źle ustalonej cenie. Innym przykładem mogą być firmy windykacyjne, które w oparciu o historię wierzytelności danego dłużnika oraz analogiczne przypadki z rejonu geograficznego czy rejonu działalności, poddają szybkiej analizie opłacalność przejęcia długu.

Dane gromadzone w hurtowni mają charakter wielowymiarowy – są uporządkowane według różnych wymiarów, takich jak czas (dzień, miesiąc, kwartał, rok), rodzaj kosztu, asortyment oraz odzwierciedlających strukturę organizacyjną firmy: pion, dział, handlowcy itd. Ponieważ hurtownie pobierają dane z wielu systemów, są w nich też zgromadzone informacje o danych (metadane), które określają ich pochodzenie i moment wprowadzenia (znaczniki czasu). Ułatwia to zarządzanie i wyszukiwanie informacji.

Jakość BI zależy od hurtowni

Hurtownia danych jest sercem większości systemów Business Intelligence (BI). Od jej poprawnego zaprojektowania zależy działanie aplikacji analitycznych. Według badań Gartnera, systemom BI firmy nadają dziś najwyższy priorytet. Podobne informacje prezentuje badanie IBM Global CIO Study przeprowadzone wśród dyrektorów IT z całego świata. Wykazało ono, że 83 proc. dyrektorów średnich firm uznaje rozwiązania BI za element kluczowy dla zwiększenia konkurencyjności.

Według CIMA (Chartered Institute of Management Accountants), instytucji kształcącej kadrę menedżerską w zarządzaniu finansami, rozwiązania BI to dziś najważniejsze rozwiązania wspomagające efektywne analizy, raportowanie i podejmowanie decyzji menadżerskich. Stanowią doskonałe wsparcie w eliminacji ryzyka, przez co zmniejszają możliwości występowania strat w firmie. BI ogranicza ryzyko błędnych decyzji i jednocześnie generuje niebagatelne korzyści biznesowe. Analitycy firmy Comarch przytaczają przykłady polskich firm, w których dzięki wdrożeniu BI udało się osiągnąć 20 proc. wzrost sprzedaży lub zaoszczędzić od 10 do 30 proc. czasu operacyjnego pracowników.

Polecamy: Jak założyć własną firmę?

OLAP a BI in-memory – wojna czy pokojowa koegzystencja?

Obok tradycyjnych systemów BI istnieją systemy bazujące na ładowaniu danych do pamięci operacyjnej i ich natychmiastowym analizowaniu, tzw. BI in-memory. Analitycy i praktycy porównują przydatność obu typów rozwiązań. BI in-memory nie potrzebuje hurtowni danych, wdraża się więc takie systemy szybko. Są one bardzo wydajne, analizują w sekundy nieprawdopodobne ilości rekordów. Ale czy rzeczywiście zdominują rynek? W niektórych przypadkach, w razie konieczności natychmiastowej analizy danych ad hoc tradycyjna architektura BI oparta o hurtownie i sztywne struktury OLAP faktycznie staje się niewydolna.

OLAP zwykle ogranicza analizy do kilkunastu wymiarów. W BI in-memory analizy nie są ograniczone żadną liczbą wymiarów, natomiast technologia ta zawsze wymaga indywidualnego definiowania dostępu do danych z różnych systemów. Dlatego trudniej jest panować nad standaryzacją przetwarzanych danych.

OLAP i hurtownie danych dokładnie definiują sposób zasilania hurtowni danymi i narzucają standaryzację – np. dane godzinowe, dzienne, tygodniowe. Zapewnia to powtarzalność wyników. Jak prognozują analitycy rynku oba rozwiązania będą istnieć równolegle, ale podzielą się zadaniami: BI in-memory będzie wspierać działania operacyjne, zaś tradycyjne BI oparte na OLAP odpowiadać będą za wsparcie działań strategicznych.

Gartner przewiduje, że do 2012 r. większość firm z listy Fortune 1000 będzie używać BI in-memory. Nie należy się jednak spodziewać ich natychmiastowego upowszechnienia z powodu wciąż wysokich kosztów. Takie rozwiązania wymagają bardzo wydajnych komputerów i sporych zasobów pamięci, a duże kości pamięci DRAM wciąć są drogie. W 2012 roku 1 gigabajt DRAM ma kosztować mniej niż 10 USD i być może dzięki temu liczba wdrożeń wzrośnie.

Polecamy: O czym pamiętać otwierając e-sklep? - 7 kroków

Mariusz Wieteska
Ekspert Business Intelligence w Pentacomp Systemy Informatyczne

Moja firma
Rewizja KPO przyjęta przez rząd. Co z podatkiem od aut spalinowych?
30 kwi 2024

Rewizja Krajowego Planu Odbudowy (KPO) została przyjęta przez Radę Ministrów - poinformowała na platformie X minister funduszy i polityki regionalnej Katarzyna Pełczyńska-Nałęcz.

Nie tylko majówka. W maju będą jeszcze dwa dni ustawowo wolne od pracy. Kiedy?
30 kwi 2024

Dni wolne w maju. Ci, którym nie udało się zorganizować pięcio- czy nawet dziewięciodniowego długiego weekendu, mogą jeszcze spróbować w innym terminie w tym miesiącu. Kiedy jeszcze wypadają dni ustawowo wolne od pracy w najbliższym czasie? 

Sztuczna inteligencja w branży hotelarskiej. Sprawdza się czy nie?
30 kwi 2024

Jak nowe technologie mogą wpłynąć na branżę hotelarską? Czy w codziennym funkcjonowaniu obiektów hotelowych zastąpią człowieka? Odpowiadają przedstawiciele hoteli z różnych stron Polski, o różnych profilach działalności, należących do Grupy J.W. Construction.

Jak zarządzać budżetem biznesu online, gdy wzrastają koszty?
30 kwi 2024

Biznes e-commerce jest pełen wyzwań, bo wymaga zarządzania na wielu płaszczyznach. Jak zachować ciągłość finansową, gdy operator zmienia warunki współpracy? 

Mikroprzedsiębiorcy poszli po kredyty, ale banki udzieliły ich mniej, niż rok temu
30 kwi 2024

Według informacji przekazanych przez Biuro Informacji Kredytowej, w marcu br. banki udzieliły mikroprzedsiębiorcom o 4,5 proc. mniej kredytów, a ich wartość była niższa o 3,3 proc. w porównaniu do marca 2023 r.

Dane GUS na temat handlu hurtowego i nowych zamówień w przemyśle. Poniżej oczekiwań ekspertów
29 kwi 2024

Z danych GUS na temat handlu hurtowego i nowych zamówień w przemyśle w marcu br. wynika m.in., że typowy dla tego okresu wzrost sprzedaży hurtowej w ujęciu miesięcznym osiąga niższą, od notowanej w tym okresie w ubiegłych latach, dynamikę. Statystyki pokazują również kontynuację trwającego już od lutego 2023 roku okresu ujemnej dynamiki sprzedaży hurtowej w ujęciu rocznym. Marcowe dane na temat nowych zamówień w przemyśle, pokazujące znaczny spadek w stosunku do ubiegłego roku, są kolejnym powodem do niepokoju po ogłoszonych wcześniej przez GUS, rozczarowujących wynikach produkcji przemysłowej (spadek o 6,0% r/r w marcu b.r).

Niższy ZUS będzie sprzyjał decyzjom o otwarciu JDG?
29 kwi 2024

W 2023 r. powstało 302 tys. nowych firm jednoosobowych, a 177 tys. odwiesiło swoją działalność. Jednocześnie z rejestrów wykreślono ich aż 196,5 tys. Czy mniejsze koszty prowadzenia działalności gospodarczej spowodują, że będzie ich otwierać się więcej? 

Dostawa jedzenia w majówkę nie musi być tylko do domu
26 kwi 2024

Majówka w tym roku, przy dobrej organizacji urlopu, może mieć aż 9 dni. Część Polaków decyduje się na taki długi wyjazd, sporo planuje wziąć dodatkowe wolne tylko 2 maja i też wyjechać, część będzie odpoczywać w domu. Będziemy jadać w restauracjach, gotować czy zamawiać jedzenie na wynos?

Jaki jest sekret sukcesu rodzinnych firm?
26 kwi 2024

Magazyn "Forbes" regularnie publikuje listę 100 najbogatszych Polaków. W pierwszej dziesiątce tegorocznego zestawienia jest kilku przedsiębiorców działających w firmach rodzinnych. Jaka jest ich recepta na sukces? 

Skuteczne kierowanie rozproszonym zespołem w branży medycznej
26 kwi 2024

Zarządzanie zespołem w branży medycznej to zadanie, które wymaga nie tylko specjalistycznej wiedzy, ale też głębokiego zrozumienia dynamiki interpersonalnej i psychologii pracy. Jako przedsiębiorca i założyciel BetaMed S.A., zawsze stawiałam przede wszystkim na rozwój kompetencji kierowniczych, które bezpośrednio przekładały się na jakość opieki nad pacjentami i atmosferę panującą w zespole.

pokaż więcej
Proszę czekać...