Polecenia Sqoop - Podstawowe polecenia z poradami i wskazówkami

• Wprowadzenie do poleceń Sqoop

Wprowadzenie do poleceń Sqoop

W komendach Sqoop każdy wiersz jest traktowany jako rekordy, a zadania dzielone są wewnętrznie na podzadania. Bazy danych obsługiwane przez sqoop to MYSQL, Oracle, IBM, PostgreSQL. Sqoop zapewnia prosty wiersz poleceń, możemy pobrać dane z innej bazy danych za pomocą poleceń sqoop. Są napisane w Javie i używają JDBC do łączenia się z innymi bazami danych.

Oznacza „SQL to Hadoop” i Hadoop to SQL oraz narzędzie typu open source. Jest to narzędzie do komunikacji aplikacji, które przesyła masowe dane między relacyjnym systemem baz danych a Hadoop (Hive, map redukcja, Mahout, Pig, HBase). Pozwalają użytkownikom określić docelową lokalizację wewnątrz Hadoop i zmusić sqoop do przenoszenia danych z RDMS do celu. Zapewniają zoptymalizowane łączniki MySQL, które używają interfejsu API specyficznego dla bazy danych do całkowitego przesyłania zbiorczego. Użytkownik importuje dane ze źródeł zewnętrznych, takich jak Hive lub Hbase. Sqoop ma dwa formaty plików: format pliku tekstowego z ogranicznikami i format pliku sekwencji.

Oto podstawowe polecenia Sqoop:

1. Tabela list:

To polecenie wyświetla konkretną tabelę bazy danych na serwerze MYSQL.

Przykład:

2. Katalog docelowy:

To polecenie importuje tabelę do określonego katalogu w HDFS. -m oznacza argument mapujący. Mają wartość całkowitą.

Przykład:

3. Ochrona hasła:

Przykład:

4. sqoop-eval:

To polecenie szybko uruchamia zapytania SQL odpowiedniej bazy danych.

Przykład:

5. sqoop - wersja:

To polecenie wyświetla wersję sqoop.

Przykład:

6. sqoop-job

To polecenie pozwala nam utworzyć zadanie, a parametry, które są tworzone, można wywołać w dowolnym momencie. Przyjmują opcje takie jak (–reaguj, –delete, –show, –exit).

Przykład:

7. Ładowanie pliku CSV do SQL:

Przykład:

8. Złącze:

Przykład:

9. kod gen:

To polecenie Sqoop tworzy pliki klasy Java, które zawierają zaimportowane rekordy. Wszystkie pliki Java są odtwarzane i generowane są nowe wersje klas. Generują kod do interakcji z rekordami bazy danych. Pobiera listę wszystkich kolumn i ich typów danych.

Przykład:

10.Lista-baza danych:

Te listy poleceń Sqoop mają całą dostępną bazę danych na serwerze RDBMS.

przykład:

Pośrednie polecenia poleceń Sqoop:

1. sklep -sqoop -meta:

To polecenie obsługuje współdzielone repozytorium metadanych. Wielu / zdalni użytkownicy mogą uruchamiać kilka zadań.

Komenda:

$ sqoop .metastore.client.autoconnect.url

przykład: jdbc: hsqldb: hsql: // metastore .example.com / sqoop

2. sqoop -help:

To polecenie wyświetla listę narzędzi dostępnych w sqoop i ich przeznaczenie.

Komenda:

$ sqoop help

$ bin / sqoop help import

3. Eksportowanie:

To polecenie eksportuje dane z HDFS do bazy danych RDMS. W HDFS dane są przechowywane jako rekordy.

Komenda:

$ sqoop export \ –connect jdbc: mysql: // localhost /ventory - nazwa użytkownika jony –table lib –export -dir / user / jony /ventory.

4. Wstaw:

To polecenie wstawia nowy rekord z HDFS do tabeli RDBMS.

Komenda

$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - table emp_exported –export -dir / sqoop / newemp -m -000

5. Aktualizacja:

To polecenie Sqoop aktualizuje rekordy w RDBMS z danych HDFS.

Komenda

$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - table emp_exported –export -dir / sqoop / newemp -m -000 –update -key id

6. Opcja partii:

To polecenie wstawia wiele wierszy razem, optymalizują szybkość wstawiania za pomocą sterownika JDBC Sqoop.

Komenda

$ sqoop export \ -connect JDBC: MySQL: // nazwa_hosta / –nazwa_użytkownika -password -export -dir

7. Podział:

Gdy używane jest to polecenie, klauzula where jest stosowana do całego SQL.

Komenda

$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT - JUNK tabeli - gdzie „rownum <= 12”

8. plik AVRO do HDFS:

Przechowują dane RDBMS jako plik Avro.

Komenda

$ sqoop import –connect JDBC: MySQL: // localhost / Acadgild –username root –password pp.34 –table payment -m1 –target -dir / sqoop_data / payment / avro / == as -avrodatfile.

Zaawansowane polecenia poleceń Sqoop:

Importuj polecenia:

Polecenia importu zawierają argumenty kontroli importu. różne argumenty są następujące:

• granica: służy do tworzenia podziałów.
• as - plik tekstowy: importuje dane tekstowe
• -columns (: importuj kolumny do tabeli
• -m, - num: aby zaimportować zadania mapowania równoległego
• split-by: dzieli kolumnę tabeli
• -z, - compress: kompresja danych jest włączona.

Argumenty dotyczące importu przyrostowego:

• check - column: Wskazuje kolumny, aby określić, które wiersze mają zostać zaimportowane.
• incremental (tryb): wskazuje nowe wiersze (obejmują dołączanie i ostatnią modyfikację wierszy)

Argumenty linii wyjściowej:

• linie -terminated -by: Ustawiają znak eol
• MySQL - ograniczniki: ustawiają \ n pola: linie:

Importuj do gałęzi

-hive - import: importują tabele do gałęzi

-hive - klucz-partycji: Nazwa partycji jest wspólna.

-hive - overwrite: Zastępują dane w istniejącej tabeli.

Importuj do Hbase Argumenty:

-accumulo-table: Określa tabelę docelową w HBase.

-accumulo -column: Aby zaimportować, ustawia kolumnę docelową.

-accumulo -: Aby zaimportować nazwę akumulo

–Accumulo -: Aby zaimportować hasło do akumulo

Przechowywanie w plikach Sekwencji:

$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table inwentaryzacja \ - nazwa-klasy com.foo.com.Inventory -as - plik sekwencji

Import zapytania:

To polecenie określa instrukcję Sql z argumentem -query.

$ sqoop import \ –query 'SELECT a. *, b. * z JOIN b on (a.id = b.id) gdzie $ warunki' \ -split - przez / target-dir / user

Eksport przyrostowy:

$ sqoop export –connect –table –username –password –incremental –check-row –last-value

Importowanie wszystkich tabel do HDFS:

$ sqoop import -all - tables –connect jdbc: mysql: // localhost / sale_db - root użytkownika.

Importowanie danych do gałęzi:

$ sqoop import –connect –table –username –password –hive -import - hive -table

Importowanie danych do HBase:

Komenda:

$ sqoop import –connect –table –userser –password –hive -import - HBase -table

Zakoduj wartości zerowe:

Komenda:

$ mysql import \ –connect JDBC: MySQL: //mysql.ex.com/sqoop \ –username sqoop \ -password sqoop \ –table lib \ –null -string '

Wskazówki i porady dotyczące korzystania z poleceń Sqoop:

Jeśli chcemy skutecznie wykonywać operacje na danych, musimy użyć sqoop, tylko za pomocą jednego wiersza poleceń możemy wykonać w nim wiele zadań i podzadań. Sqoop łączy się z różnymi relacyjnymi bazami danych za pomocą konektorów, do interakcji z nim wykorzystuje sterownik JDBC. Ponieważ sqoop działa na swoim własnym źródle, możemy wykonać sqoop bez procesu instalacji. Wykonanie sqoop jest łatwe, ponieważ wykonuje dane równolegle. Korzystając z funkcji Map Red możemy importować i eksportować dane, co z kolei zapewnia równoległe wykonywanie.

Wniosek - polecenia Sqoop:

Podsumowując, Sqoop Commands reguluje proces importowania i eksportowania danych. Sqoop zapewnia możliwość aktualizacji części tabeli o obciążenie przyrostowe. Import danych w sqoop nie jest sterowany zdarzeniami. I jest sqoop2 z włączonym GUI dla łatwego dostępu wraz z wierszem poleceń. Przesyłanie danych jest szybkie, ponieważ przesyłane są równolegle. Odgrywają one istotną rolę w środowisku Hadoop. Wykonują swoją pracę samodzielnie, nie jest to konieczne podczas importowania małych zestawów danych.

Polecane artykuły

To był przewodnik po poleceniach Sqoop. Omówiliśmy tutaj zarówno podstawowe, jak i zaawansowane polecenia Sqoop oraz niektóre bezpośrednie polecenia Sqoop. Możesz także spojrzeć na następujący artykuł, aby dowiedzieć się więcej -

1. Sqoop Wywiad Pytania i odpowiedzi
2. Ściągawka SQL (polecenia, darmowe porady i triki)
3. Ważne polecenia VBA
4. Polecenia Tableau