Wprowadzenie do eksploracji danych
W tym artykule dowiemy się o wprowadzeniu do eksploracji danych, ponieważ ludzie od wieków wydobywali z ziemi, aby uzyskać wszelkiego rodzaju cenne materiały. Czasami podczas wydobywania rzeczy odkrywane są z ziemi, czego nikt się nie spodziewał. Na przykład w 1898 r. Podczas wykopania grobowca w celu znalezienia mumii w Sakkarze w Egipcie znaleziono drewniany artefakt, który dokładnie przypominał samolot. Został datowany na 200 lat pne, około 2200 lat temu! Ale jakie możliwe informacje możemy uzyskać z dużego zestawu danych? A nawet jeśli zaczniemy go eksplorować, czy są szanse na uzyskanie nieoczekiwanych wyników ze zbioru danych? Wcześniej przejdźmy do tego, czym dokładnie jest Data Mining.
Co to jest Data Mining?
- Jest to w zasadzie ekstrakcja istotnych informacji / wiedzy z dużego zestawu danych.
- Pomyśl o danych jako o dużej powierzchni ziemi / skalistej. Nie wiemy, co jest w środku, nie wiemy, czy coś przydatnego znajduje się pod skałami.
- We wstępie do eksploracji danych szukamy ukrytych informacji, ale bez pojęcia o tym, jaki rodzaj informacji chcemy znaleźć i co planujemy wykorzystać raz, to znajdziemy.
- Podobnie jak w tradycyjnym eksploracji koncepcji, w eksploracji danych istnieją również różne techniki i narzędzia, które różnią się w zależności od rodzaju danych, które wydobywamy, więc wyjaśniliśmy, że to jest eksploracja danych w tym temacie wprowadzenia do eksploracji danych.
Przykład eksploracji danych
Dowiedzieliśmy się o wprowadzeniu do eksploracji danych w powyższej sekcji i teraz przechodzimy do przykładów eksploracji danych, które są wymienione poniżej:
- Jest więc operator sieci komórkowej. Konsultują się z eksploratorem danych, aby zagłębić się w rekordy połączeń operatora. Data Miner nie podaje żadnych konkretnych celów.
- Podano ilościowy cel znalezienia co najmniej 2 nowych wzorców w ciągu miesiąca.
- Gdy eksplorator danych zaczyna wnikać w dane, stwierdza, że w środę jest mniej połączeń międzynarodowych niż w inne dni.
- Informacje te są udostępniane kierownictwu i opracowują oni plan obniżenia stawek za połączenia międzynarodowe w środy i rozpoczynają kampanię.
- Rosną stawki za połączenia, klienci są zadowoleni z niskiej ceny połączeń, więcej klientów rejestruje się, a firma zarabia więcej! Sytuacja, w której każdy wygrywa!
Mając na uwadze powyższy przykład, przyjrzyjmy się teraz różnym etapom eksploracji danych.
Kroki związane z wyszukiwaniem danych
Dowiedzieliśmy się o wprowadzeniu do eksploracji danych w powyższej sekcji i teraz kontynuujemy kroki związane z eksploracją danych, które są wymienione poniżej:
-
Zrozumienie biznesu
W tym wstępie do eksploracji danych zrozumiemy każdy aspekt celów biznesowych i potrzeb. Obecną sytuację ocenia się poprzez znalezienie zasobów, założeń i innych ważnych czynników. W związku z tym ustanowienie dobrego wprowadzenia do planu eksploracji danych w celu osiągnięcia zarówno celów biznesowych, jak i eksploracji danych.
-
Zrozumienie danych
Początkowo gromadzone są dane ze wszystkich dostępnych źródeł. Następnie wybieramy najlepszy zestaw danych, z którego możemy wyodrębnić dane, które mogłyby być bardziej korzystne.
-
Przygotowywanie danych
Po zidentyfikowaniu zestawu danych jest on wybierany, czyszczony, konstruowany i formatowany w żądanej formie.
-
Modelowanie danych
Jest to proces przebudowy podanych danych zgodnie z wymaganiami użytkownika. na przygotowanym zbiorze danych można utworzyć jeden lub więcej modeli, a na koniec modele należy dokładnie ocenić, angażując interesariuszy, aby upewnić się, że utworzone modele spełniają inicjatywy biznesowe.
-
Ocena
Jest to jeden z najbardziej niezbędnych procesów w eksploracji danych. Obejmuje przejście przez każdy aspekt procesu, aby sprawdzić ewentualne błędy lub wycieki danych w procesie. Ponadto nowe wymagania biznesowe mogą zostać podniesione ze względu na nowe wykryte wzorce.
-
Rozlokowanie
Oznacza to po prostu prezentowanie wiedzy w taki sposób, aby interesariusze mogli z niej korzystać, kiedy chcą. W naszym powyższym przykładzie stwierdzono, że w środy rozmowy międzynarodowe były mniejsze, więc informacje te zostały przedstawione interesariuszom, którzy z kolei wykorzystali te informacje na swoją korzyść i zwiększą swoje zyski.
Techniki stosowane w eksploracji danych
W powyższej sekcji dowiedzieliśmy się o wprowadzeniu do eksploracji danych, teraz kontynuujemy techniki stosowane w eksploracji danych, które są wymienione poniżej:
-
Analiza skupień
Analiza skupień pozwala zidentyfikować daną grupę użytkowników zgodnie z typowymi funkcjami bazy danych. Funkcje te mogą obejmować wiek, położenie geograficzne, poziom wykształcenia i tak dalej.
-
Wykrywanie anomalii
Służy do określania, kiedy coś wyraźnie różni się od zwykłego wzoru. Służy do eliminacji wszelkich niespójności lub anomalii w bazie danych u źródła.
-
Analiza regresji
Ta technika służy do przewidywania na podstawie relacji w zbiorze danych. Na przykład można przewidzieć wskaźnik zapasów dla konkretnego produktu, analizując dawny wskaźnik, a także biorąc pod uwagę różne czynniki, które określają wskaźnik zapasów. Lub, jak pokazano poniżej, jeśli mamy dane dotyczące wzrostu i masy różnych osób, to biorąc pod uwagę dowolny wzrost lub wagę, możemy określić drugą wartość.
-
Klasyfikacja
Dotyczy to rzeczy, które mają etykiety. Zauważ, że w wykrywaniu klastrów rzeczy nie miały w sobie etykiety i przy użyciu eksploracji danych musieliśmy oznaczać i formować klastry, ale w klasyfikacji istnieją informacje, które można łatwo sklasyfikować za pomocą algorytmu. Przykładem są filtry spamu e-mail. Filtr antyspamowy jest dostarczany zarówno z odpowiednimi, jak i spamowymi wiadomościami (dane szkoleniowe). Różnice między nimi są identyfikowane, co pozwala poprawnie klasyfikować przyszłe wiadomości e-mail.
- Uczenie się asocjacyjne
Służy do analizy, które rzeczy zwykle występują razem, w parach lub w większych grupach. Na przykład ludzie, którzy kupują cytryny, kupują także pomarańcze, ludzie, którzy kupują chleb, też kupują mleko i tak dalej. Tak więc zakupy dokonywane przez wszystkich klientów są analizowane, a rzeczy, które występują razem, są umieszczane blisko siebie, aby zwiększyć sprzedaż. Tak więc mleko jest umieszczane blisko chleba, cytryny są umieszczane wzdłuż pomarańczy i tak dalej.
Czy eksploracja danych jest etyczna?
Planuję więc weekendową wycieczkę do Goa z przyjacielem, szukam w Internecie dobrych miejsc do odwiedzenia w Goa. Następnym razem, gdy otworzę Internet, znajduję reklamy dotyczące różnych hoteli w Goa na pobyt.
-
Dobra rzecz?
Tak, internet pomógł mi uprościć podróż. W końcu, jeśli zdecyduję się odwiedzić Goa, musiałbym gdzieś spać, a reklama pokazująca mi hotel jest o wiele bardziej przydatna niż reklama pokazująca losowe ubrania do kupienia.
-
Zła rzecz?
Tak! Dlaczego firma wydobywająca dane, o której nigdy wcześniej nie słyszałem, miałaby wiedzieć, gdzie jadę na wakacje. Co jeśli nikomu nie powiedziałem o tej podróży, ale tutaj Internet nagle wie, że tam jadę. Prawda jest taka, że od tego zależy model biznesowy firmy eksplorującej dane. Zbierają te dane za pomocą plików cookie i skryptów, a następnie sprzedają je reklamodawcom, którzy z kolei próbują sprzedać mi coś innego (w tym przypadku pokój hotelowy).
Może to być dobre lub złe w zależności od tego, jak na to spojrzymy. W powyższym przypadku zawsze możemy wyłączyć pliki cookie lub przejść do trybu incognito. Choć cokolwiek by nie było, jedno jest pewne. Eksploracja danych pozostanie.
Polecane artykuły
To był przewodnik po wprowadzeniu do eksploracji danych. Tutaj omawiamy jego znaczenie, techniki i kroki związane z wprowadzeniem do eksploracji danych na przykładzie lepszego zrozumienia. Możesz także przejrzeć następujące artykuły, aby dowiedzieć się więcej -
- Pytania do wywiadu Data Mining
- Analityka predykcyjna a eksploracja danych
- Wprowadzenie do nauki o danych
- Co to jest analiza regresji?