Przegląd komponentów Spark
Wyobraź sobie, że masz pod ręką 1000 zadań i bardzo mało czasu, aby je wszystkie ukończyć. Ktoś oferuje ci pomoc, zapewniając zasoby, które mogą zdjąć niektóre zadania z ręki i wykonać je równolegle z tobą, aby wszystkie zadania zostały wykonane na czas. Że ktoś jest dla ciebie Spark w sensie komputerowym. Apache Spark to otwarta i rozproszona struktura obliczeniowa klastrów dla dużych zbiorów danych, która zapewnia zoptymalizowane podejście do przeprowadzania analiz dużych zbiorów danych. Działa 100 razy szybciej niż Hadoop i zapewnia różne biblioteki do różnych celów, takich jak wykonywanie operacji SQL, ML, Streaming, przetwarzanie wykresów itp. Poniżej szczegółowo zobaczymy różne składniki iskry.
Najlepsze komponenty Spark
Obecnie mamy 6 składników w ekosystemie Spark, którymi są Spark Core, Spark SQL, Spark Streaming, Spark MLlib, Spark GraphX i SparkR. Zobaczmy, co robi każdy z tych komponentów.
1. Spark Core
Spark Core to, jak sama nazwa wskazuje, podstawowa jednostka procesu Spark. Zajmuje się planowaniem zadań, odzyskiwaniem błędów, zarządzaniem pamięcią, operacjami wejścia-wyjścia itp. Pomyśl o tym jak o czymś podobnym do CPU w komputerze. Obsługuje języki programowania, takie jak Java, Scala, Python i R, i udostępnia interfejsy API dla odpowiednich języków, za pomocą których można zbudować zadanie ETL lub przeprowadzić analizę. Wszystkie pozostałe składniki Spark mają własne interfejsy API, które są zbudowane na bazie Spark Core. Ze względu na możliwości przetwarzania równoległego i obliczenia w pamięci Spark może obsłużyć każdy rodzaj obciążenia.
Spark Core ma specjalną strukturę danych o nazwie RDD (Resilient Distributed Dataset), która dystrybuuje dane do wszystkich węzłów w klastrze. RDD działają na paradygmacie oceny Lazy, w którym obliczenia są zapamiętywane i wykonywane tylko wtedy, gdy jest to konieczne. Pomaga to zoptymalizować proces, obliczając tylko niezbędne obiekty.
2. Spark SQL
Jeśli pracujesz z bazami danych, rozumiesz znaczenie SQL. Czy nie byłoby nadzwyczaj przytłaczające, gdyby ten sam kod SQL działał N razy szybciej, nawet w przypadku większego zestawu danych? Spark SQL pomaga manipulować danymi w Spark za pomocą SQL. Obsługuje połączenia JDBC i ODBC, które ustanawiają relację między obiektami Java a istniejącymi bazami danych, hurtowniami danych i narzędziami analizy biznesowej. Spark zawiera coś, co nazywa się ramkami danych, które są uporządkowanym zbiorem danych w postaci kolumn i wierszy.
Spark umożliwia pracę z tymi danymi za pomocą SQL. Ramki danych są równoważne tabelom relacyjnym i mogą być tworzone z dowolnych zewnętrznych baz danych, plików strukturalnych lub już istniejących RDD. Ramki danych mają wszystkie funkcje RDD, takie jak niezmienny, elastyczny, w pamięci, ale z dodatkową cechą strukturyzacji i łatwości obsługi. Interfejs API Dataframe jest również dostępny w językach Scala, Python, R i Java.
3. Spark Streaming
Streaming danych to technika polegająca na przetwarzaniu ciągłego strumienia danych w czasie rzeczywistym. Wymaga struktury, która oferuje niskie opóźnienia dla analizy. Spark Streaming zapewnia to, a także wysoką przepustowość, tolerancję na błędy i skalowalne API do przetwarzania danych w czasie rzeczywistym. Jest on wyodrębniony w strumieniu dyskretnym (DStream), który reprezentuje strumień danych podzielony na małe partie. DStream jest oparty na RDD, dzięki czemu Spark Streaming działa bezproblemowo z innymi komponentami iskier. Niektórzy z najbardziej znanych użytkowników Spark.
Streaming to Netflix, Pinterest i Uber. Spark Streaming można zintegrować z Apache Kafka, która jest platformą oddzielającą i buforującą strumienie wejściowe. Kafka działa jako centralne centrum dla strumieni w czasie rzeczywistym, które są przetwarzane przy użyciu algorytmów w Spark Streaming.
4. Spark MLLib
Główną atrakcją Sparka jest masowe skalowanie obliczeń, a ta funkcja jest najważniejszym wymogiem każdego projektu Machine Learning. Spark MLLib to komponent uczenia maszynowego Spark, który zawiera algorytmy uczenia maszynowego, takie jak klasyfikacja, regresja, klastrowanie i filtrowanie grupowe. Oferuje także miejsce do wyodrębniania elementów, zmniejszania wymiarów, przekształcania itp.
Możesz także zapisać swoje modele i uruchamiać je na większych zestawach danych, nie martwiąc się o problemy z rozmiarem. Zawiera także narzędzia do algebry liniowej, statystyki i obsługi danych. Ze względu na przetwarzanie w pamięci Spark, odporność na awarie, skalowalność i łatwość programowania, za pomocą tej biblioteki można łatwo uruchamiać iteracyjne algorytmy ML.
5. GraphX
Analiza wykresów zasadniczo określa relacje między obiektami na wykresie, na przykład najkrótszą odległość między dwoma punktami. Pomaga to w optymalizacji trasy. Spark GraphX API pomaga w obliczeniach wykresów i równoległych wykresów. Upraszcza analizę wykresów i sprawia, że jest szybsza i bardziej niezawodna. Jedną z głównych i dobrze znanych aplikacji do analizy wykresów są Google Maps.
Sprawdza odległość między dwiema lokalizacjami i podaje optymalną propozycję trasy. Innym przykładem mogą być sugestie znajomych z Facebooka. GraphX współpracuje zarówno z wykresami, jak i obliczeniami. Spark oferuje szereg algorytmów graficznych, takich jak ranking strony, połączone komponenty, propagacja etykiet, SVD ++, silnie połączone komponenty i liczba trójkątów.
6. SparkR
R jest najczęściej używanym językiem statystycznym, który obejmuje ponad 10 000 pakietów do różnych celów. Wykorzystano API ramek danych, co ułatwia pracę z nimi, a także zapewnia zaawansowane wizualizacje dla badaczy danych w celu dokładnej analizy ich danych. Jednak R nie obsługuje przetwarzania równoległego i jest ograniczony do ilości pamięci dostępnej na jednym komputerze. Tutaj pojawia się SparkR.
Spark opracował pakiet znany jako SparkR, który rozwiązuje problem skalowalności R. Opiera się on na rozproszonych ramkach danych, a także zapewnia tę samą składnię, co rozproszony silnik przetwarzania R. Spark i niezrównana interaktywność, pakiety, wizualizacja R, które dają badaczom danych to, co chcą swoich analiz.
Wniosek
Ponieważ Spark jest platformą ogólnego przeznaczenia, znajduje się w szerokim zakresie aplikacji. Spark jest szeroko stosowany w większości aplikacji Big Data ze względu na jego wydajność i niezawodność. Wszystkie te elementy Spark'a są aktualizowane o nowe funkcje w każdej nowej wersji i ułatwiają nam życie.
Polecane artykuły
To jest przewodnik po komponentach Spark. Tutaj omawiamy przegląd i 6 głównych składników iskry ze szczegółowym wyjaśnieniem. Możesz także przejrzeć następujące artykuły, aby dowiedzieć się więcej -
- Top 5 ważnych alternatywnych gałęzi
- Komponenty / narzędzia Talend Open Studio
- Top 6 komponentów ekosystemu IoT
- Czym jest integracja danych Talend z korzyściami?