Wprowadzenie do projektowania hurtowni danych
Wspólne słowo magazyn oznacza przechowywanie czegoś w jednym miejscu i podobnych skrzynek w branżach w celu przechowywania złożonej ilości danych w jednym miejscu. Business Intelligence (BI) pozwala wyszukiwać dane ze źródeł danych, a zaufanie można uzyskać tylko wtedy, gdy istnieje dobry projekt hurtowni danych.
Hurtownia danych integruje wiele źródeł danych i zapewni dobre wsparcie dla analiz i raportów analitycznych. Jeśli masz kiepski projekt hurtowni danych, będzie to miało wpływ na rozwój Twojej organizacji przez niedokładne dane zapytań.
Weź przykład popularności sklepu internetowego Amazon, zamawiając produkt, który może zostać dostarczony na wyciągnięcie ręki. Gdy klient loguje się na stronie e-commerce i szuka dostępnego produktu w sklepie. Następnie wybraliśmy i zamówiliśmy przedmiot, jak tylko dostawca zaakceptuje i natychmiast wyśle. Tutaj możemy zaoszczędzić czas na zakup wymaganego produktu.
Podobnie jak w przypadku tej hurtowni danych, dane mogą być przechowywane i pozyskiwane z systemu transakcyjnego. Hurtownia danych jako dwa główne pojęcie
- OLAP - Online Analitical Processing
- OLTP - przetwarzanie transakcji online
Oba są systemami przetwarzania online, ale mają pewne różnice. OLTP zarządza aplikacją transakcyjną, taką jak ATM, OLAP używa do przetwarzania analitycznego, takiego jak raportowanie, prognozowanie itp.,
Zbieranie wymagań
- Zbieranie wymagań to jeden etap projektowania hurtowni danych. Musi określić kryteria i skutecznie je wdrożyć. Do projektowania hurtowni danych będą stosowane dwie strategie, jedna nazywa się biznesem, a druga nazywa się techniczną.
- Strategia biznesowa koncentruje się na długoterminowej wizji biznesowej i pomaga zwiększyć zysk na rozwój. Wymóg strategii technicznej opiera się na raportowaniu użytkowników, analizie, wyborze sprzętu, metodzie programowania, technice testowania, środowisku wdrażania i szkoleniu użytkowników.
- Kiedy określamy strategię biznesową i techniczną, musimy również zaprojektować plan BCP (Disaster Recovery). Kiedy zdarza się katastrofa ludzka lub naturalna, musimy mieć plan szybkiego odzyskania danych i zapewnienia, że nie zostaną utracone. Opracowanie planu odzyskiwania po awarii jest jednym z trudnych i budzi zaufanie organizacji.
Konfiguracja środowiska
- Po zebraniu danych do projektowania hurtowni danych musimy odpowiednio skonfigurować środowisko do programowania, testowania i produkcji. Najlepiej, aby istniał oddzielny system dla aplikacji, bazy danych i osobny dla raportowania / ETL.
- Kiedy budujemy osobne środowisko dla każdego, zapewnia to, że wszystkie zmiany mogą zostać opracowane / przetestowane, a następnie przejść do produkcji.
- Jeśli mamy jedno środowisko zaprojektowane dla wszystkich tych działań, może to oznaczać problemy i utratę danych. Na przykład, gdy zdarzyło się incydent w systemie, nie mogliśmy nawigować i znaleźć sposobu na naprawę, co czyni go bardziej złożonym.
Modelowanie danych
- Po skonfigurowaniu gromadzenia wymagań i środowiska, następnym krokiem jest zaprojektowanie sposobu połączenia źródła danych, przetwarzania i przechowywania w hurtowni danych. Ta technika nazywana jest modelowaniem danych. Może to być analiza przedmiotu i relacji między innymi.
- Podczas projektowania hurtowni danych inżynierowie zaprojektowali sposób i miejsce przechowywania danych. Przy tej samej okazji powinniśmy również określić możliwy sposób odzyskania danych z hurtowni danych. Po zidentyfikowaniu źródła zespół może zbudować logikę i utworzyć widok schematu struktury.
Rodzaje modelu danych
Istnieją trzy typy
- Konceptualistyczny
- Logiczny
- Fizyczny
Trzy typy modelu danych wymieniono poniżej:
1. Koncepcyjne: mówi CO zawiera system i zostało zaprojektowane przez architektów biznesowych w celu zdefiniowania zakresu strategii biznesowej.
2. Logiczne: definiuje JAK logiczny może być utworzony w DBMS, zostanie zaprojektowany przez Business Analyst i Data Architect do stworzenia zestawu reguł do przechowywania / pobierania danych
3. Fizyczne: Określa JAK system może zostać wdrożony.
Wykorzystanie projektu hurtowni danych
Bycie dobrym projektem hurtowni danych może być czasochłonne przy pobieraniu danych. Każdy krok musi być skutecznie wykonywany, aby system był dobry. Pomoże organizacji w obsłudze złożonych typów danych i poprawi wydajność w oparciu o analizę trendów. Dlatego każdy etap projektowania architektury DWH jest ważny i bardziej świadomy w metodzie wyboru. Organizacja następnie przechodzi do każdego przepływu i prowadzi do pomyślnego wdrożenia hurtowni danych.
Istnieje kilka ważnych zastosowań aplikacji Data Warehouse
1. Branża bankowa: większość banków korzysta z hurtowni danych do przechowywania dużej ilości danych transakcyjnych i możliwości znacznie szybszego wyszukiwania danych zapytań. Można nim zarządzać, takim jak dane klientów, trendy rynkowe, raporty, analizy itp.,
2. Przemysł finansowy: jest podobny do bankowości, ale jedynym celem jest poprawa zmian finansowych poprzez analizę danych klientów
3. Rząd: Obecnie rząd zarządza dużą ilością danych online i przechowuje w relacyjnej bazie danych. Każde dane są ze sobą powiązane, jak Aadhaar, PAN jest powiązany z wieloma źródłami.
4. Opieka zdrowotna: menedżerowie opieki zdrowotnej i usługi tak wiele informacji. Utrzymuje dane kliniczne, zapisy klientów i pomaga im przewidywać wyniki, analizować informacje zwrotne i generować raporty.
5. Ubezpieczenia: Towarzystwo ubezpieczeniowe wykorzystywane głównie do wzorców danych, trendów klientów i prowadzenia rejestrów.
6. Przemysł produkcyjny i dystrybucyjny: jest najczęściej stosowany we wszystkich branżach do przechowywania informacji o przedmiotach i pomaga im przewidzieć zapotrzebowanie na produkty do produkcji i sprzedaży. Analiza sprzedanego przedmiotu, która daje lepsze techniki podejmowania decyzji.
7. Usługi detalistów: detaliści są pośrednikiem między producentem a klientem. Hurtownia danych pomaga im w promocjach i trendach zakupu przedmiotów.
8. Branża telefoniczna: Branże telefoniczne zarządzają wieloma danymi historycznymi, co pomaga w tworzeniu trendów w danych klientów i ukierunkowaniu kampanii reklamowych.
Zalety hurtowni danych
- Zapewnia ulepszoną inteligencję biznesową
- Zapewnia jakość i spójność danych
- Oszczędza czas i pieniądze
- Śledzi historycznie inteligentne dane
- Generuje wysoki zwrot z inwestycji
Wadą hurtowni danych
- Praca dodatkowa
- Elastyczność i homogenizacja danych
- Obawy dotyczące własności
- Żąda dużych ilości zasobów
- Ukryte problemy pochłaniają czas
Polecane artykuły
Jest to przewodnik po projektowaniu hurtowni danych. Tutaj omawiamy technikę projektowania hurtowni danych, gromadzenie wymagań, konfigurację środowiska, zastosowania, przewagę / brak przewagi. Możesz także spojrzeć na następujący artykuł, aby dowiedzieć się więcej -
- Korzyści z hurtowni danych
- Implementacja hurtowni danych
- Modelowanie hurtowni danych
- Narzędzia hurtowni danych
- Top 4 różne typy modeli danych