Wprowadzenie do listy poleceń Hadoop FS
Hadoop działa na własnym systemie plików, który jest rozpowszechniany w naturze zwany „Hadoop Distributed File System HDFS ” . Hadoop polega na rozproszonej pamięci masowej i przetwarzaniu równoległym. Ten sposób przechowywania pliku w rozproszonych lokalizacjach w klastrze jest znany jako rozproszony system plików Hadoop, tj. HDFS. Aby wykonywać różne operacje na poziomie plików, HDFS zapewnia własny zestaw poleceń znanych jako polecenia systemu plików Hadoop. Przeanalizujmy te polecenia. W tym temacie poznamy polecenie Hadoop FS Command.
Komendy Hadoop FS
Każde polecenie HDFS ma prefiks „hdfs dfs”. Oznacza to, że określamy, że domyślnym systemem plików jest HDFS. Przeanalizujmy polecenia jeden po drugim
1. Wersje
Polecenie version służy do znalezienia wersji Hadoop zainstalowanej w systemie.
Składnia: Hadoop version
2. Polecenie ls
Polecenie ls w Hadoop służy do określenia listy katalogów we wspomnianej ścieżce. Polecenie ls przyjmuje ścieżkę hdfs jako parametr i zwraca listę katalogów obecnych na ścieżce.
Składnia: hdfs dfs -ls
Przykład: hdfs dfs -ls / user / harsha
Możemy również użyć -lsr dla trybu rekurencyjnego
Składnia: hdfs dfs –lsr
3. Cat Command
Polecenie Cat służy do wyświetlania zawartości pliku w konsoli. To polecenie przyjmuje ścieżkę do pliku hdfs jako argument i wyświetla zawartość pliku.
Składnia: hdfs dfs -cat
Przykład: hdfs dfs -cat /user/harsha/empnew.txt
4. polecenie mkdir
Komenda mkdir służy do utworzenia nowego katalogu w systemie plików hdfs. Bierze ścieżkę hdfs jako argument i tworzy nowy katalog w podanej ścieżce.
Składnia: hdfs dfs -mkdir
Przykład: hdfs dfs -mkdir / user / example
Na powyższym zrzucie ekranu wyraźnie pokazano, że tworzymy nowy katalog o nazwie „przykład” za pomocą polecenia mkdir, a to samo pokazano przy użyciu polecenia ls.
Również dla komendy mkdir możemy podać opcję -p. Tworzy katalogi nadrzędne na ścieżce, jeśli ich brakuje.
Przykład: hdfs dfs -mkdir -p / user / test / example2
Na powyższym zrzucie ekranu widać, że mamy opcję -p, aw ścieżce / user / test / example2 tworzone są katalogi testy i example2.
5. umieścić polecenie
polecenie wstaw w HDFS służy do kopiowania plików z podanej lokalizacji źródłowej na docelową ścieżkę hdfs. Tutaj lokalizacją źródłową może być ścieżka lokalnego systemu plików. Komenda put przyjmuje dwa argumenty, pierwszy to ścieżka do katalogu źródłowego, a drugi do ukierunkowanej ścieżki HDFS
Składnia: hdfs dfs -put
Przykład: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
Na powyższym zrzucie ekranu wyraźnie widać, że plik jest kopiowany ze źródła do miejsca docelowego.
6. polecenie copyFromLocal
Komenda copyFromLocal w HDFS służy do kopiowania plików ze ścieżki źródłowej do ścieżki docelowej. Źródło w tym poleceniu jest ograniczone do lokalnego systemu plików
Składnia: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Różnica między poleceniem put a poleceniem copyFromLocal: Nie ma dużej różnicy między tymi dwoma poleceniami powłoki hdfs. Oba są używane do kopiowania z lokalnego systemu plików w celu określenia ścieżki do pliku HDFS.
Ale polecenie put jest bardziej przydatne i niezawodne, ponieważ pozwala skopiować wiele plików lub katalogów do miejsca docelowego w HDFS
hdfs dfs -put
7. uzyskać polecenie
Polecenie get w hdfs służy do kopiowania danego pliku lub katalogu hdfs do ścieżki docelowego lokalnego systemu plików. Wymaga dwóch argumentów, jeden to źródłowa ścieżka hdfs, a drugi to docelowa ścieżka lokalnego systemu plików
Składnia: hdfs dfs -get
Przykład: hdfs dfs -get / user / test / example2 / home / harsha
8. polecenie copyToLocal
Komenda copyToLocal w hdfs służy do kopiowania pliku lub katalogu w hdfs do lokalnego systemu plików. W tym poleceniu miejsce docelowe jest ustalone w lokalnym systemie plików. To polecenie copyFromLocal jest podobne do polecenia get.
Składnia: hdfs dfs -copyToLocal
Przykład: hdfs dfs -copyToLocal / user / harsha / example / home / harsha
9. komenda liczenia
Komenda count w hdfs służy do zliczania liczby katalogów obecnych w danej ścieżce. Polecenie count przyjmuje podaną ścieżkę jako argument i podaje liczbę katalogów obecnych na tej ścieżce.
Składnia: hdfs dfs -count
Przykład: hdfs dfs -count / user
10. polecenie mv
Komenda mv w hdfs służy do przenoszenia pliku między hdfs. Komenda mv pobiera plik lub katalog z podanej źródłowej ścieżki hdfs i przenosi go do docelowej ścieżki hdfs.
Składnia : hdfs dfs -mv
Przykład : hdfs dfs -mv / user / test / example2 / user / harsha
Na powyższym zrzucie ekranu widzimy, że katalog example2 jest teraz obecny w / user / harsha
11. polecenie setrep
Komenda setrep w hdfs służy do zmiany współczynnika replikacji podanego pliku. Domyślnie hdfs ma współczynnik replikacji wynoszący „3”. Jeśli podana ścieżka jest katalogiem, to polecenie zmieni współczynnik replikacji wszystkich plików znajdujących się w tym katalogu.
Składnia: hdfs dfs -setrep (-R) (-w)
-w: ta flaga określa, że polecenie powinno czekać na zakończenie replikacji.
rep: współczynnik replikacji
Przykład: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. du Command
Komenda du w hdfs pokazuje wykorzystanie dysku dla podanej ścieżki hdfs. Bierze ścieżkę hdfs jako dane wejściowe i zwraca wykorzystanie dysku w bajtach.
Składnia : hdfs dfs -du
Przykład: hdfs dfs -du /user/harsha/empnew.txt
13. polecenie rm
Polecenie rm w hdfs służy do usuwania plików lub katalogów z podanej ścieżki hdfs. To polecenie pobiera ścieżkę hdfs jako dane wejściowe i usuwa pliki obecne w tej ścieżce.
Składnia : hdfs dfs -rm
Przykład : hdfs dfs -rm / user / harsha / example
Wniosek - polecenie FS Hadoop
Dowiedzieliśmy się tutaj o różnych poleceniach hdfs, ich odpowiednich składniach wraz z przykładami. Powinniśmy pamiętać, aby uruchomić komendy hdfs, potrzebujemy uruchomić skrypt bin / hdfs. Po hdfs pojawia się opcja znana jako dfs, która wskazuje, że pracujemy z rozproszonym systemem plików Hadoop. Za pomocą wyżej wymienionych poleceń możemy negocjować z systemem plików HDFS.
Polecane artykuły
To jest przewodnik po Hadoop FS Command. Tutaj omawiamy najczęściej używane polecenia HDFS. Możesz także spojrzeć na następujący artykuł, aby dowiedzieć się więcej -
- Architektura Hadoop
- HADOOP Framework
- Zainstaluj Hadoop
- Narzędzia Hadoop
- Wersje Tableau
- Przewodnik po liście poleceń powłoki Unix