Różnice między wyszukiwaniem tekstu a analizą tekstu
Ustrukturyzowane dane są dostępne od początku XX wieku, ale wyjątkowość eksploracji tekstu i analizy tekstu polega na wykorzystaniu informacji z danych nieustrukturyzowanych (przetwarzanie w języku naturalnym). Gdy będziemy w stanie przekonwertować ten nieustrukturyzowany tekst na częściowo ustrukturyzowane lub ustrukturyzowane dane, będzie można zastosować wszystkie algorytmy eksploracji danych np. Algorytmy uczenia statystycznego i maszynowego.
Nawet Donald Trump był w stanie wykorzystać dane i przekonwertować je na informacje, które pomogły mu wygrać wybory prezydenckie w USA, a właściwie nie zrobił tego, co zrobili jego podwładni. Jest tam bardzo dobry artykuł http://fivethirtyeight.com/features/the-real-story-of-2016/, przez który można przejść.
Wiele firm zaczęło używać eksploracji tekstu do wykorzystywania cennych danych wejściowych z tekstu dostępnego tam, na przykład firma oparta na produktach może użyć danych z Twittera / danych z Facebooka, aby dowiedzieć się, jak dobrze lub źle ich produkt radzi sobie na świecie za pomocą Sentimental Analiza. Na początku przetwarzanie zajmowało dużo czasu, a nawet dni, aby przetworzyć lub nawet wdrożyć algorytmy uczenia maszynowego, ale wraz z wprowadzeniem narzędzi takich jak Hadoop, Azure, KNIME i inne oprogramowanie do przetwarzania dużych zbiorów danych eksploracja tekstu zyskała ogromną popularność na rynku. Jednym z najlepszych przykładów analizy tekstu za pomocą eksploracji skojarzeń jest silnik rekomendacji Amazon, w którym automatycznie przekazuje on klientom zalecenia dotyczące tego, co inni kupili przy zakupie konkretnego produktu.
Jednym z największych wyzwań związanych z zastosowaniem narzędzi do eksploracji tekstu do czegoś, co nie jest w formacie cyfrowym / na dysku komputera, jest proces jego tworzenia. Stare archiwa i wiele ważnych dokumentów, które są dostępne tylko na papierze, są czasami odczytywane przez OCR (optyczne rozpoznawanie znaków), które zawierają wiele błędów, a czasem dane są wprowadzane ręcznie, co jest podatne na błędy ludzkie. Powodem tego jest to, że możemy być w stanie uzyskać inne spostrzeżenia, które nie są widoczne w tradycyjnym czytaniu.
Niektóre etapy eksploracji tekstu są przedstawione poniżej
- Wyszukiwanie informacji
- Przygotowanie i czyszczenie danych
- Segmentacja
- Tokenizacja
- Usuwanie słów i interpunkcji
- Przybitka
- Konwertuj na małe litery
- Tagowanie POS
- Utwórz korpus tekstowy
- Matryca dokumentu-dokumentu
Poniżej znajdują się kroki w analizie tekstu, które są stosowane po przygotowaniu Term Matrycy dokumentów
- Modelowanie (może to obejmować modele wnioskowania, modele predykcyjne lub modele nakazowe)
- Szkolenie i ocena modeli
- Zastosowanie tych modeli
- Wizualizacja modeli
Jedyną rzeczą, o której zawsze trzeba pamiętać, jest to, że eksploracja tekstu zawsze poprzedza analizę tekstu.
Porównanie między wyszukiwaniem tekstu a analizą tekstu (infografiki)
Poniżej znajduje się Porównanie 5 między predykcyjnym wyszukiwaniem tekstu a analizą tekstu 
Kluczowe różnice między eksploracją tekstu a analizą tekstu
Rozróżnijmy eksplorację i analizę tekstu na podstawie kroków, które są wykonywane w kilku aplikacjach, w których stosuje się zarówno eksplorację, jak i analizę tekstu:
• Klasyfikacja dokumentów
W tym etapy zawarte w eksploracji tekstu to tokenizacja, wyprowadzanie i lematyzacja, usuwanie słów kluczowych i interpunkcji, a na końcu obliczanie macierzy częstotliwości lub macierzy częstotliwości dokumentów.
Tokenizacja - proces dzielenia całych danych (korpusu) na mniejsze fragmenty lub mniejsze słowa, zwykle pojedyncze słowa, jest znany jako tokenizacja (model N-Gram lub model torby słów)
Stemming and Lemmatization - Na przykład słowa duże i największe oznaczają to samo i utworzą zduplikowane dane, aby zachować zbędność danych, wykonujemy lematyzację, łącząc słowa ze słowem głównym.
Usuwanie słów stop - słów stop nie ma zastosowania w analizie, która będzie zawierać słowa takie jak is, the itp.
Częstotliwości terminów - jest to macierz, która ma nagłówki wierszy jako nazwy dokumentów i kolumny jako terminy (słowa), a dane to częstotliwość słów występujących w tych konkretnych dokumentach. Poniżej znajduje się przykładowy zrzut ekranu. 
Na powyższym rysunku mamy atrybuty w wierszach (słowach) i numer dokumentu jako kolumny, a częstotliwość słowa jako dane.
Teraz, gdy dochodzimy do analizy tekstu, musimy wziąć pod uwagę następujące kroki
Klastrowanie - za pomocą K-klastrowania / Sieci neuronowe / CART (drzewa klasyfikacji i regresji) lub dowolnego innego algorytmu klastrowania możemy teraz grupować dokumenty w oparciu o funkcje, które zostały wygenerowane (funkcje tutaj są słowami).
Ocena i wizualizacja - Wykreślamy klaster na dwa wymiary i sprawdzamy, jak te klastry różnią się od siebie, a jeśli model dobrze trzyma dane testowe, możemy wdrożyć go w produkcji i będzie to dobry klasyfikator dokumentów, który sklasyfikuje każdą nową dokumenty, które są podane jako dane wejściowe i nazwa po prostu nazwałaby klaster, do którego wpadnie.
• Analiza sentymentów
Jedno z najpotężniejszych dostępnych na rynku narzędzi, które pomagają w przetwarzaniu danych na Twitterze / danych na Facebooku lub innych danych, które można wykorzystać do wyprowadzenia z niego sentymentu, niezależnie od tego, czy sentyment jest dobry, zły czy neutralny dla konkretnego procesu / produktu lub osoba to analiza nastrojów.
Źródło danych może być łatwo dostępne za pomocą API Twitter / API API, aby uzyskać tweety / komentarze / polubienia itp. W tweecie lub poście firmy. Głównym problemem jest to, że te dane są trudne do ustrukturyzowania. Dane zawierałyby również różne reklamy, a specjalista ds. Danych, który pracuje dla firmy, musi upewnić się, że selekcja danych odbywa się we właściwy sposób, tak aby tylko wybrane tweety / posty przechodziły przez etapy przetwarzania wstępnego.
Inne narzędzia obejmują skrobanie stron internetowych, jest to część eksploracji tekstu, w której skrobasz dane ze stron internetowych za pomocą robotów indeksujących.
Proces eksploracji tekstu pozostaje taki sam, jak tokenizacja, wykrywanie i lematyzacja, usuwanie haseł i interpunkcji, a na koniec obliczanie macierzy częstotliwości lub macierzy częstotliwości dokumentów, ale jedyną różnicą jest zastosowanie analizy sentymentu.
Zazwyczaj oceniamy każdy post / tweet. Zwykle przy zakupie produktu i recenzji, jeśli masz również opcję dodania gwiazdek do recenzji i komentarza. Google, Amazon i inne strony internetowe używają gwiazdek do oceniania komentarza, nie tylko pobierają tweety / posty i przekazują je ludziom, aby oceniły je jako dobre / złe / neutralne, a po połączeniu tych dwóch wyników generują nowy zdobądź dowolny konkretny tweet / post.
Wizualizację analizy nastrojów można wykonać za pomocą chmury słów, wykresów słupkowych macierzy terminów częstotliwości.
• Stowarzyszenie Analizy Górniczej
Jednym z zastosowań, nad którymi pracowali niektórzy faceci, był „model probabilistyczny zdarzenia niepożądanego”, w którym można sprawdzić, które zdarzenia niepożądane mogą powodować inne zdarzenia niepożądane, jeśli zażyje on jakiś konkretny lek.
Eksploracja tekstu obejmowała poniższy przepływ pracy
Na powyższym rysunku widać, że do eksploracji danych wszystkie etapy należą do eksploracji tekstu, która identyfikuje źródło danych, wyodrębnia je, a następnie przygotowuje do analizy.
Następnie stosując eksplorację asocjacyjną mamy poniższy model
Jak widzimy, niektóre znaki strzałek wskazują na pomarańczowy okrąg, a następnie jedna strzałka wskazuje dowolną konkretną ADE (działanie niepożądane leku). Jeśli weźmiemy przykład po lewej dolnej stronie obrazu, możemy znaleźć apatię, astenię, a nienormalne prowadzi do poczucia winy, można powiedzieć, że to oczywiste, jest oczywiste, ponieważ jako człowiek można interpretować i odnosić się, ale tutaj jest maszyna interpretuje to i podaje nam kolejne niepożądane zdarzenie związane z narkotykami.
Przykład chmury słów jest jak poniżej
Tabela porównawcza między Text Mining a Text Analytics
Poniżej znajdują się listy punktów, opisz porównania między Text Mining a Text Analytics:
| Podstawa do porównania | Text Mining | Analiza tekstu |
|
Znaczenie | Eksploracja tekstu polega zasadniczo na usuwaniu danych, które są dostępne do analizy tekstu | Text Analytics stosuje techniki uczenia statystycznego i uczenia maszynowego, aby móc przewidzieć / przepisać lub wywnioskować dowolne informacje z danych wydobywanych z tekstu. |
|
Pojęcie | Text Mining to narzędzie, które pomaga w czyszczeniu danych. | Analiza tekstu to proces stosowania algorytmów |
|
Struktura | Jeśli mówimy o frameworku, eksploracja tekstu jest podobna do ETL (Extract Transform Load), co oznacza, że aby móc wstawić dane do bazy danych, należy wykonać te kroki | Analityka w tekście dane te są wykorzystywane do dodawania wartości do firmy, na przykład do tworzenia chmur słów, wykresów częstotliwości bi-gramów, w niektórych przypadkach N-gramów |
|
Język | Python i R to najbardziej znane narzędzia do eksploracji tekstu | W przypadku analizy tekstu, gdy dane będą dostępne na poziomie bazy danych, możemy użyć dowolnego oprogramowania analitycznego, w tym python i R. Inne oprogramowanie to Power BI, Azure, KNIME itp. |
|
Przykłady |
|
|
Wniosek - eksploracja tekstu a analiza tekstu
Przyszłość eksploracji i analizy tekstu dotyczy nie tylko języka angielskiego, ale także ciągłych postępów, a korzystanie z narzędzi językowych nie tylko analizuje inne języki angielski.
Zakres i przyszłość eksploracji tekstu będą rosły, ponieważ istnieją ograniczone zasoby do analizy innych języków.
Text Analytics ma bardzo szeroki zakres zastosowania, niektóre przykłady branż, w których można to zastosować, to:
- Monitorowanie mediów społecznościowych
- Zastosowania farmaceutyczne / biotechnologiczne
- Aplikacje biznesowe i marketingowe
Polecany artykuł
Jest to przewodnik po różnicach między eksploracją tekstu a analizą tekstu, ich znaczeniem, porównaniem bezpośrednim, kluczowymi różnicami, tabelą porównawczą i wnioskami. Możesz także przejrzeć następujące artykuły, aby dowiedzieć się więcej -
- Azure Paas vs Iaas-Znajdź różnice
- Najlepsze 3 rzeczy do nauczenia się o eksploracji danych a eksploracji tekstu
- Poznaj 7 najlepszych różnic między Data Mining a Data Analysis
- Analiza biznesowa a uczenie maszynowe - który z nich jest lepszy
- Analityka predykcyjna a eksploracja danych - która z nich jest bardziej przydatna