Poznaj 10 najlepszych różnic między MapReduce a Yarn

Różnica między mapą a przędzą

Yarn oznacza jeszcze inny negocjator zasobów, jest to nowa platforma do zarządzania zasobami (pamięcią i procesorem). Pomaga nam w opracowaniu dowolnej aplikacji rozproszonej, zapewnia nam niezbędne demony i interfejsy API. Inną ważną cechą YARN jest to, że obsługuje i planuje żądanie zasobów z aplikacji i pomaga procesowi wykonać żądanie. YARN to ogólna platforma do uruchamiania dowolnej aplikacji rozproszonej, Map Reduce wersja 2 to aplikacja rozproszona, która działa na bazie YARN, podczas gdy map redukcja jest jednostką przetwarzającą komponentu Hadoop, równolegle przetwarza dane w środowisku rozproszonym. Zasadniczo ogranicza pracę nad ogromnym komponentem danych, przetwarza dane i przechowuje je w HDFS w taki sposób, że wyszukiwanie jest łatwiejsze niż tradycyjne przechowywanie.

Bezpośrednie porównanie między MapReduce vs Yarn (infografiki)

Poniżej znajduje się porównanie 10 najlepszych między MapReduce a Yarn

Kluczowa różnica między MapReduce a Yarn

W Hadoop 1 ma dwa komponenty, pierwszy z nich to HDFS (Hadoop Distributed File System), a drugi to Map Reduce. Podczas gdy w Hadoop 2 ma także dwa komponenty HDFS i YARN / MRv2 (zwykle nazywamy YARN, ponieważ Map redukuje wersję 2).
W Map Reduce, kiedy Map-reduk przestaje działać, wtedy automatycznie cały jego węzeł podrzędny przestaje działać, jest to jeden scenariusz, w którym wykonywanie zadania może przerwać i nazywa się to pojedynczym punktem awarii. YARN rozwiązuje ten problem ze względu na swoją architekturę, YARN ma koncepcję Aktywnego węzła nazw oraz rezerwowego węzła nazw. Gdy aktywny węzeł przestanie działać na jakiś czas, węzeł pasywny zaczyna działać jako aktywny węzeł i kontynuować wykonywanie.
Redukcja mapy ma architekturę jednego urządzenia nadrzędnego i wielu urządzeń podrzędnych. Jeśli serwer podrzędny ulegnie awarii, wówczas całe urządzenie podrzędne przestanie działać, jest to pojedynczy punkt awarii w HADOOP1, podczas gdy HADOOP2 oparty na architekturze YARN ma koncepcję wielu urządzeń nadrzędnych i podrzędnych, jeśli jeden master ulegnie awarii, inny master wznowi proces i będzie kontynuował wykonywanie.
Jak widać na poniższym schemacie, różnica w obu ekosystemach HADOOP1 i HADOOP2. Jeśli chodzi o komponenty, zarządzanie zasobami YARN współdziała z mapowaniem i HDFS.

Zasadniczo YARN jest odpowiedzialny za zarządzanie zasobami, co oznacza, które zadanie zostanie wykonane, przez który system decyduje YARN, podczas gdy map redukcja jest strukturą programistyczną, która jest odpowiedzialna za sposób wykonania określonego zadania, więc w zasadzie redukcja mapy ma dwuskładnikowy element mapujący i reduktor do wykonania programu.

W Mapie zmniejsz każdy węzeł danych uruchamiany indywidualnie, podczas gdy w Yarn każdy węzeł danych jest uruchamiany przez menedżera węzła.
Mapa zmniejsza użycie narzędzia do śledzenia zadań do tworzenia i przypisywania zadań do narzędzia do śledzenia zadań ze względu na dane, zarządzanie zasobami nie robi imponujących rezultatów, ponieważ niektóre węzły danych pozostaną bezczynne i nie będą przydatne, podczas gdy w YARN ma Menedżera zasobów dla każdego klaster, a każdy węzeł danych uruchamia menedżera węzłów. Dla każdego zadania jeden węzeł podrzędny będzie działał jako wzorzec aplikacji, monitorując zasoby / zadania.

MapReduce vs. Yarn Tabela porównawcza

Podstawa do porównania	PRZĘDZA	Zmniejsz mapę
Znaczenie	YARN oznacza jeszcze inny negocjator zasobów.	Redukcja mapy jest definiowana przez użytkownika.
Wersja	Przedstaw w Hadoop 2.0	Przedstaw w Hadoop 1.0
Odpowiedzialność	Teraz YARN jest odpowiedzialny za część zarządzania zasobami.	Wcześniej redukcja map była odpowiedzialna za zarządzanie zasobami oraz przetwarzanie danych
Model wykonania	Model wykonania przędzy jest bardziej ogólny w porównaniu z redukcją mapy	Mniej ogólne w porównaniu do YARN.
Wykonanie aplikacji	YARN może również uruchamiać te aplikacje, które nie są zgodne z modelem Map Reduce	Map Reduce może uruchomić własną aplikację opartą na modelu.
Architektura	YARN został wprowadzony w MR2 na szczycie narzędzia do śledzenia zadań i śledzenia zadań. W miejscu aplikacji do śledzenia zadań i śledzenia zadań pojawia się mistrz.	We wcześniejszej wersji MR1 nie było YARN W miejscu YARN śledzono zadania i śledzenie zadań, które pomagały w wykonywaniu aplikacji lub zadań
Elastyczność	YARN jest bardziej izolowany i skalowalny	Mniej skalowalny w porównaniu do YARN.
Demony	YARN ma węzeł nazwy, węzeł danych, wtórny węzeł nazwy, menedżer zasobów i menedżer węzłów.	Map Reduce ma węzeł Name, Data, Secondary Name, tracker zadań i tracker zadań.
Ograniczenie	W YARN nie ma koncepcji pojedynczego punktu awarii, ponieważ ma on wiele Masterów, więc jeśli jeden się nie powiedzie, inny Master go przejmie i wznowi wykonanie.	Pojedynczy punkt awarii, niskie wykorzystanie zasobów (maks. 4200 klastrów według YAHOO) i mniejsza skalowalność w porównaniu do YARN
Rozmiar	Domyślnie rozmiar węzła danych w YARN wynosi 128 MB	Domyślnie rozmiar węzła danych w opcji Zmniejsz mapę wynosi 64 MB.

Wniosek - MapReduce vs Yarn

W Hadoop 1 opartym na Map Reduce istnieje kilka problemów, które można rozwiązać w Hadoop 2 z Yarn. Podobnie jak w Hadoop 1 moduł monitorowania zadań jest odpowiedzialny za zarządzanie zasobami, ale YARN ma koncepcję menedżera zasobów, a także menedżera węzłów, który zajmie się zarządzaniem zasobami. Zmniejszenie mapy ma jeden punkt awarii, tj. Narzędzie do śledzenia zadań, jeśli narzędzie do śledzenia zadań przestanie działać, musimy ponownie uruchomić cały klaster i ponownie wykonać zadanie od początkowej. W prawdziwym scenariuszu żadna organizacja nie chce podejmować tego rodzaju ryzyka, szczególnie w sektorze obrony banków. Taka organizacja, która pracuje na usprawnieniu danych, nie będzie gotowa podjąć tego rodzaju ryzyka. Przez kilka minut będą tracić dane i mogą mieć krytyczny wpływ na działalność. YARN ma więc lepszy wynik niż redukcja mapy.

Polecany artykuł

Jest to przewodnik po MapReduce vs Yarn, ich znaczeniu, porównaniu łeb w łeb, kluczowych różnicach, tabeli porównawczej i wnioskach. Możesz także przejrzeć następujące artykuły, aby dowiedzieć się więcej -