Wprowadzenie do Big Data
Big Data, jak sama nazwa wskazuje, jest czymś związanym z danymi, gdzie duże oznaczają duże lub ogromne. Mówiąc prościej, Big Data odnosi się do dużych ilości danych (pod względem objętości), których nie można przetworzyć (przetworzyć) tradycyjnymi aplikacjami do przetwarzania danych w efektywny sposób. Gdy dane stają się większe, stają się również bardziej złożone i wymagają bardziej zaawansowanych i niezawodnych technik matematycznych i statystycznych, aby uzyskać to, czego chcemy od danych.
Spróbujmy zrozumieć Wprowadzenie do Big Data na przykładzie: cofnijmy się do lat 40. XX wieku, bez komputerów, bez telefonów komórkowych, bez internetu, bez cyfrowego życia, więc bez danych, prawda? Cóż, były dane, ale nie były cyfrowe. W tym czasie nie było bankowości internetowej, ale były banki, a banki miały klientów, a klienci dokonywali transakcji, które były rejestrowane nie cyfrowo, ale na papierach, rachunkach i finansach, a wszystkie były wykonywane na papierze.
Szybko do lat 90. XX wieku, na rynku pojawiły się nowe technologie, komputery i telefony komórkowe, zestawienia zysków i rachunki sporządzono na papierze i przechowywano w rejestrach, które zawierały dane około 500 klientów, i zapisywano je na dyskach Excel może przechowywać ponad tysiące danych klientów. Tutaj, we wstępie do dużych zbiorów danych, dowiemy się, że wraz z gwałtownym wzrostem danych organizacje wyposażają się w większą siłę ognia, aby efektywniej przetwarzać dane. Teraz, jednego dnia, generowanych jest 2, 5 kwintillionów bajtów (2 500 000 terabajtów) danych. To ogromne, prawda? Dzięki zaawansowanej technologii w najbliższej przyszłości prawie każdy element w naszym otoczeniu wygeneruje pewne dane. Mamy już dostępne inteligentne buty, inteligentne światła, inteligentne poduszki i inne gadżety, które codziennie generują dane. Dlatego wprowadzenie do Big Data jest jedną z kluczowych technologii, które będą odgrywać główną rolę w kształtowaniu przyszłego świata.
Główne elementy Big Data
Jak omówiliśmy powyżej we wstępie do dużych zbiorów danych, co to jest duże zbiory danych, teraz zajmiemy się głównymi składnikami dużych zbiorów danych.
-
Nauczanie maszynowe
Jest to nauka polegająca na tym, że komputery same uczą się różnych rzeczy. W uczeniu maszynowym oczekuje się, że komputer będzie używał algorytmów i modeli statystycznych do wykonywania określonych zadań bez wyraźnych instrukcji. Aplikacje uczenia maszynowego zapewniają wyniki oparte na dotychczasowych doświadczeniach. Na przykład w dzisiejszych czasach istnieją aplikacje mobilne, które zawierają podsumowanie twoich finansów, rachunków, przypominają o twoich płatnościach za rachunki, a także mogą sugerować ci wybór planów oszczędnościowych. Te funkcje są wykonywane przez czytanie wiadomości e-mail i wiadomości tekstowych.
-
Przetwarzanie języka naturalnego (NLP)
Jest to zdolność komputera do rozumienia języka ludzkiego jako mówionego. Najbardziej oczywistymi przykładami, które ludzie mogą odnosić się do tych dni, są Google Home i Amazon Alexa. Oba używają NLP i innych technologii, aby zapewnić nam wirtualnego asystenta. NLP jest wokół nas, a my nawet nie zdajemy sobie z tego sprawy. Pisząc wiadomość, popełniając jakiekolwiek błędy, automatycznie się poprawia, a obecnie daje automatyczne sugestie dotyczące wypełniania wiadomości i automatycznie zastrasza nas, gdy próbujemy wysłać wiadomość e-mail bez załącznika, do którego się odwołujemy w tekście wiadomości e-mail, jest to część aplikacji do przetwarzania języka naturalnego, które działają w wewnętrznej bazie danych.
-
Business Intelligence
Business Intelligence (BI) to metoda lub proces napędzany technologią w celu uzyskania wglądu poprzez analizę danych i prezentowanie ich w taki sposób, aby użytkownicy końcowi (zwykle kadra kierownicza wysokiego szczebla), tacy jak menedżerowie i liderzy korporacyjni, mogli uzyskać od nich pewne przydatne informacje i podejmuj na jego podstawie świadome decyzje biznesowe.
-
Chmura obliczeniowa
Jeśli nazywamy się tak, powinno to oznaczać, że obliczenia powinny odbywać się na chmurach, no cóż, to prawda, tylko tutaj nie mówimy o prawdziwych chmurach, chmura tutaj jest odniesieniem dla Internetu. Możemy więc zdefiniować przetwarzanie w chmurze jako dostawę usług obliczeniowych - serwerów, pamięci masowej, baz danych, sieci, oprogramowania, analityki, danych wywiadowczych i innych - przez Internet („chmura”), aby oferować szybsze innowacje, elastyczne zasoby i korzyści skali .
Charakterystyka Big Data
W tym temacie Wprowadzenie do Big Data pokazujemy także cechy Big Data.
-
Tom:
Aby określić wartość na podstawie danych, należy wziąć pod uwagę rozmiar, który odgrywa kluczową rolę. Również w celu ustalenia, czy dany typ danych należy do kategorii Big Data, czy nie, zależy od ilości.
-
Różnorodność:
Różnorodność oznacza różne typy danych w zależności od ich charakteru (uporządkowane i nieustrukturyzowane). Wcześniej jedynymi źródłami danych rozważanymi przez większość aplikacji były wiersze i kolumny, które zwykle pojawiały się w arkuszach kalkulacyjnych i bazach danych. Ale obecnie dane są dostępne w każdej postaci, jaką możemy sobie wyobrazić, takiej jak e-maile, zdjęcia, filmy, audio i wiele innych.
-
Prędkość:
Prędkość jak sama nazwa wskazuje na szybkość generowania danych. Ze źródła, jak szybko można generować dane i jak szybko można je przetwarzać, określa potencjał danych.
-
Zmienność:
Dane mogą być zmienne, co oznacza, że mogą być niespójne, a nie w przepływie, co zakłóca lub staje się blokadą w efektywnym przetwarzaniu i zarządzaniu danymi.
Zastosowania Big Data
Analizy Big Data są wykorzystywane na następujące sposoby
-
Opieka zdrowotna:
Dysponujemy urządzeniami do noszenia w tych dniach i czujnikami, które zapewniają aktualizacje stanu zdrowia pacjenta w czasie rzeczywistym.
-
Edukacja:
Postępy ucznia mogą być śledzone i ulepszane poprzez odpowiednią analizę za pomocą analizy dużych zbiorów danych.
-
Pogoda:
Czujniki pogodowe i satelity, które zostały rozmieszczone na całym świecie, zbierają ogromne ilości danych i wykorzystują te dane do monitorowania pogody i warunków środowiskowych, a także przewidywania lub prognozowania warunków pogodowych na najbliższe dni.
Zalety i wady Big Data
Po przestudiowaniu wprowadzenia do dużych zbiorów danych zrozumiemy, jakie są zalety i wady dużych zbiorów danych :
|
Zalety | Niedogodności |
| Lepsze podejmowanie decyzji | Jakość danych: jakość danych musi być dobra i odpowiednio przygotowana do analizy dużych zbiorów danych. |
| Zwiększona produktywność | Potrzeby sprzętowe: przestrzeń dyskowa, która musi być tam, aby pomieścić dane, przepustowość sieci do przesyłania ich do iz systemów analitycznych, wszystko jest drogie w zakupie i utrzymaniu środowiska Big Data. |
| Zmniejszyć koszty | Ryzyko cyberbezpieczeństwa: przechowywanie wrażliwych i dużych ilości danych może uczynić firmy bardziej atrakcyjnym celem dla cyberataków, którzy mogą wykorzystywać dane do okupu lub innych niezgodnych z prawem celów. |
| Ulepszona obsługa klienta | Czkawka w integracji ze starszymi systemami: wiele starych przedsiębiorstw, które działały od dawna, przechowują dane w różnych aplikacjach i systemach w różnych architekturach i środowiskach. Powoduje to problemy z integracją przestarzałych źródeł danych i przenoszeniem danych, co dodatkowo zwiększa czas i koszty pracy z dużymi danymi. |
Polecane artykuły
To był przewodnik po wprowadzeniu do dużych zbiorów danych. Omówiliśmy wprowadzenie do dużych zbiorów danych z głównymi składnikami, cechami, zaletami i wadami dużych zbiorów danych. Możesz także przejrzeć następujące artykuły:
- Oprogramowanie do analizy Big Data
- Data Scientist vs. Big Data
- Zadania analityki Big Data