Wprowadzenie do harmonogramów Hadoop

Kiedy mówimy o Hadoop, pierwszą rzeczą, która przychodzi nam na myśl, są duże zbiory danych. Ale czy kiedykolwiek zastanawialiśmy się, czy Hadoop sam w sobie nie jest tylko technologią, która zawiera w sobie wiele narzędzi i technik, więc jak dokładnie jesteśmy w stanie automatycznie osiągnąć to, co jest zamierzone. Odpowiedzią na to pytanie jest skorzystanie z harmonogramów Hadoop.

Umożliwia wysoki poziom przetwarzania systemu i jest również znany jako system ogólnego przeznaczenia, który działa na poziomie dystrybucji zestawu danych i informacji. Jest to system wielozadaniowy, który służy do przetwarzania wielu zestawów danych dla wielu użytkowników i zadań jednocześnie. Wcześniej tylko jeden harmonogram był używany do wszystkich zadań, ale teraz harmonogramy Hadoop są tymi, które są używane wraz z logiką JobTracker i są również obsługiwane przez Hadoop.

Top 4 typy harmonogramów Hadoop

Istnieje kilka rodzajów harmonogramów Hadoop, z których często korzystamy:

1. Hadoop First in First out Scheduler

  • Jak sama nazwa wskazuje, jest to jeden z najstarszych harmonogramów zadań, który działa na zasadzie „pierwsze weszło i pierwsze wyszło”. Zasadniczo, gdy mówimy o procesie takim jak JobTracker, mówimy o pobieraniu zadań z kolejki, o której często mówi się, że to kolejka robocza.
  • Zgodnie z kolejką roboczą zadanie, które jest najstarsze, tj. Pierwsze, będzie również tym pierwszym, które zostanie wykonane.
  • Zawsze uważano, że jest to znacznie prostsze podejście niż w przypadku innych technik planowania, dlatego też nie poświęcano wiele uwagi skrobaniu tej techniki tylko w celu znalezienia nowszych podejść z lepszymi możliwościami planowania, ponieważ zawierały one również koncepcje określania wielkości i priorytetu zadania.

2. Hadoop Capacity Scheduler

  • Program do planowania wydajności Hadoop jest mniej więcej podobny do podejścia FIFO, z tym wyjątkiem, że wykorzystuje również priorytetyzację zadania. To podejście ma nieco inne podejście, gdy mówimy o poziomie planowania dla wielu użytkowników.
  • Ten jest znany z planowania i symulacji osobnego klastra MapReduce dla każdej organizacji lub użytkownika, co odbywa się zgodnie z harmonogramem typu FIFO.

3. Hadoop Fair Type Scheduler

  • Gdy pojawia się potrzeba zapewnienia oddzielnej i rozsądnej ilości pojemności klastra wraz z czasem i okresem, korzystamy z uczciwego harmonogramu Hadoop. Jest to pomocne w uzyskiwaniu wszystkich klastrów, nawet jeśli określone zadanie jest w stanie roboczym.
  • Co więcej, wszystkie wolne miejsca w klastrze są dostarczane do wszystkich zadań w taki sposób, że każdy użytkownik otrzymuje znormalizowany udział swojej części klastra, gdy więcej zadań staje się użytecznych do przesłania.
  • Jeśli istnieje pula, która nie otrzymała jeszcze swojej części sprawiedliwego udziału i znormalizowanego udziału przez stosunkowo dobry czas i okres, wówczas wchodzi w grę zapobieganie, zabijając w ten sposób wszystkie połączone zadania i działając z możliwością zapewnienia tej puli sloty do uruchomienia poniżej pojemności.
  • Co więcej, jest to również znane jako moduł contrib, co oznacza, że ​​kopiując katalog kontrolny i oparty na rzetelnym harmonogramie Hadoop do katalogu opartego na lib i umieszczając plik JAR w odpowiednim miejscu, można włączyć tę technikę planowania. Jedyne, co należy zrobić, to ustawienie właściwości harmonogramu zadań na mapred.FairScheduler.

4. Inne podejścia dotyczące harmonogramu

  • Hadoop zapewnia oferowanie klastrów wirtualnych, co oznacza, że ​​można zminimalizować potrzebę posiadania fizycznych klastrów, a ta technika jest znana jako HOD (Hadoop na żądanie).
  • Korzysta z menedżera zasobów opartego na Torque, aby utrzymywać węzły w gotowości i alokować je zgodnie z wymaganiami wirtualnego klastra.
  • Służy do inicjalizacji obciążenia i systemu opartego na poszczególnych węzłach w klastrze wirtualnym, a nie fizycznym, a także wraz z przydzielonymi węzłami, tylko wtedy, gdy pliki konfiguracyjne są przygotowywane automatycznie.
  • Klaster HOD można również wykorzystać w stosunkowo niezależny sposób po dokonaniu inicjalizacji. W skrócie, model pigułki, który jest używany do wdrażania tych dużych klastrów Hadoop, znajduje się w infrastrukturze chmurowej i to się nazywa HOD. Porównuje mniejszą liczbę węzłów i dlatego zapewnia większe bezpieczeństwo.

Znaczenie korzystania z harmonogramów Hadoop

  1. Z rodzajów harmonogramów Hadoop powinno być jasne, gdzie leży znaczenie korzystania z tych harmonogramów Hadoop. Jeśli prowadzisz duży klaster, który ma różne typy zadań, różne priorytety i rozmiary wraz z wieloma klientami, wybierz odpowiedni rodzaj harmonogramu Hadoop, aby stać się ważnym.
  2. Jest to ważne, ponieważ zapewnia gwarantowany dostęp do nieużywanego poziomu pojemności i optymalne wykorzystanie zasobów poprzez efektywne ustalanie priorytetów zadań w kolejkach. Mimo że ta część harmonogramów Hadoop jest stosunkowo łatwa, ponieważ stosowanie uczciwych harmonogramów jest w większości właściwym wyborem, jeśli występuje różnica między liczbą i typami klastrów działających w ramach jednej organizacji.
  3. Ten sprawiedliwy harmonogram nadal może być wykorzystywany do zapewniania i nierównomiernego rozdzielania pojemności pul zadań i odbywa się to w znacznie prostszy i konfigurowalny sposób. Na ratunek przychodzi nam także sprawiedliwy harmonogram, gdy mówimy o obecności zróżnicowanych rodzajów zadań, ponieważ można go wykorzystać do zapewnienia wyższych czasów reakcji w przypadku stosunkowo mniejszych zadań, które są pomieszane z większymi rodzajami zadań, a wsparcie dla nich jest zawarte w interaktywne wykorzystanie modeli.
  4. Harmonogramy wydajności są pomocne, gdy bardziej martwisz się kolejkami zamiast poziomu utworzonych pul, a także konfigurowalnym poziomem mapy i ograniczaniem liczby miejsc zadań, a kolejka może sobie pozwolić na uzyskanie gwarantowanej pojemności klastra.

Wniosek

W tym poście czytamy o harmonogramach Hadoop, ich znaczeniu, wprowadzeniu, typach harmonogramów Hadoop, ich funkcjach, a także dowiedzieliśmy się o znaczeniu tych harmonogramów Hadoop. Jeśli chodzi o ekosystem i środowisko dużych zbiorów danych, harmonogramy Hadoop są czymś, o czym często się nie mówi, ale mają ogromne znaczenie i nie można sobie pozwolić na pozostawienie ich takimi, jakie są. Mam nadzieję, że podoba Ci się nasz artykuł.

Polecane artykuły

To jest przewodnik po Harmonogramach Hadoop. Tutaj omawiamy wprowadzenie i 4 najpopularniejsze typy harmonogramu Hadoop ze znaczeniem ich użycia. Możesz także przejrzeć następujące artykuły, aby dowiedzieć się więcej-

  1. Swing Components w Javie
  2. JTabbedPane w Javie
  3. Chronione słowo kluczowe w Javie
  4. JTextArea w Javie

Kategoria:

Big Data