Narzędzia Talend - Różne narzędzia lub komponenty Talend do integracji danych

Wprowadzenie do narzędzi Talend

Talend open studio ma ponad 700 komponentów w obszarach takich jak big data, bazy danych, chmura itp. Talend open studio można podzielić na wiele takich jak Talend open studio do integracji danych i Talend open studio dla dużych zbiorów danych itp. W tym artykule zobaczy szczegółowo różne narzędzia talend.

Komponenty / narzędzia Talend Open Studio

Talend Open Studio do integracji danych obejmuje następujące obszary / technologie z niektórymi wbudowanymi komponentami, które pomagają w łatwym przetwarzaniu.

Komponenty Big Data
Komponenty biznesowe
Komponenty Business Intelligence
Komponenty chmurowe
Składniki kodu niestandardowego
Komponenty jakości danych
Bazy danych - tradycyjne komponenty
Bazy danych - komponenty urządzeń / hurtowni danych
Bazy danych - inne komponenty
Komponenty DotNET
Elementy ELT
Komponenty ESB
Składniki pliku
Komponenty internetowe
Składniki dzienników i błędów
Różne elementy grupy
Komponenty do aranżacji
Przetwarzanie komponentów
Komponenty systemu
Komponenty Talend MDM
Komponenty techniczne
Składniki XML

W tym miejscu omówimy kilka komponentów Talend Open Studio do integracji danych.

1. tS3Connection: Ten komponent służy do łączenia się z Amazonem S3 . Komponenty mogą korzystać z tego połączenia w celu łatwej konfiguracji połączenia z Amazon S3.

2. tS3Input: Służy do odczytu pliku z systemu plików S3. Ma kilka funkcji podobnych do tfileinputdelimited, ale korzysta z usługi Amazon Simple Storage.

3. tS3Output: Służy do zapisywania danych w systemie plików S3. Ma kilka funkcji podobnych do tfileoutputdelimited, ale korzysta z usługi Amazon Simple Storage.

4. ts3Put: służy do umieszczenia pliku w systemie plików S3 z systemu lokalnego.

5. ts3Get: ten składnik służy do pobierania pliku z S3 do systemu lokalnego.

6. tS3BucketCreate: ten składnik służy do tworzenia segmentu na S3.

7. tS3BucketDelete: ten składnik służy do usuwania segmentu na S3.

8. tS3BucketExist: Ten składnik służy do sprawdzania, czy dany segment istnieje na S3. Zwraca wynik w postaci prawdziwej lub fałszywej wartości logicznej, która może być użyta jako mapa globalna.

9. tS3BucketList: ten składnik służy do wyświetlania listy wszystkich segmentów w S3.

10. tS3Copy: ten komponent służy do kopiowania obiektu S3 z jednego segmentu do drugiego segmentu. Jest podobny do tFileCopy.

11. tS3Delete: Ten komponent służy do usuwania obiektu S3 z segmentu. Jest podobny do tFileDelete.

12. tS3Close: Ten komponent służy do zamknięcia połączenia S3 utworzonego za pomocą tS3Connection.

13. tCreateTemporaryFile: Ten komponent tworzy plik tymczasowy, taki jak tFileOutputDelimited, ale ten plik tymczasowy może zostać automatycznie usunięty po zakończeniu zadania lub można go zachować.

14. tFileArchive: Ten składnik służy do tworzenia skompresowanego pliku z jednego lub więcej plików. Szyfrowanie można również zastosować w kompresji.

15. tFileCompare: ten składnik służy do porównywania dwóch plików i zwraca dane porównania.

16. tFileUnarchive: ten składnik służy do rozpakowania skompresowanego pliku.

17. tFileCopy: ten składnik służy do kopiowania pliku lub folderu do katalogu docelowego.

18. tFileDelete: ten składnik służy do usuwania pliku lub folderu.

19. tFileExist: ten składnik służy do sprawdzania, czy plik istnieje, czy nie. Zwraca wynik w postaci prawdziwej lub fałszywej wartości logicznej, która może być użyta jako globalMap.

20. tFileInputExcel: ten składnik służy do odczytu pliku Excel na podstawie zdefiniowanego schematu.

21. tMsgBox: ten składnik służy do wyświetlania okna dialogowego z przyciskiem OK.

22. tRowGenerator: ten składnik służy do tworzenia dowolnej liczby wierszy z kolumnami o określonych wartościach lub wartościach losowych. Jest używany głównie do celów testowych i tworzenia przykładowych plików testowych.

23. tIterateToFlow: Służy do przekształcenia listy przepływów w główny przepływ, co oznacza iterację-> wiersz-> główny.

24. tFlowToIterate: Służy do przekształcania głównego przepływu w listę przepływów, co oznacza main-> row-> iterate.

25. tLoop: służy do zapętlania określonego zadania.

26. tReplicate: służy do replikacji schematu przychodzącego na dwa przepływy wyjściowe.

27. tRunJob: Służy do uruchomienia innego zadania talend w ramach bieżącego zadania po zakończeniu subjob.

28. tSleep: Służy do przerywania wykonywania zadania lub określonego subjobu na określony czas w sekundach.

29. tWaitForFile: Spojrzy na określony katalog i wyzwoli następny komponent na podstawie warunku.

30.tMysqlBulkExec: ten składnik służy do zwiększenia wydajności podczas wykonywania operacji wstawiania w bazie danych Mysql.

31. tMysqlClose: ten składnik służy do zamknięcia połączenia mysql, które jest tworzone przez tMysqlConnection.

32. tMysqlRow: ten komponent służy do bezpośredniego uruchomienia zapytania SQL w bazie danych MySQL.

33. tMysqlTableList: ten składnik służy do wyświetlania nazw tabel.

34. tMysqlColumnList: ten składnik służy do iteracji wszystkich kolumn tabeli.

35. tMysqlCommit: ten składnik służy do zatwierdzania zmian dokonanych w bazie danych Mysql.

36. tMysqlLastInsertId: ten składnik służy do uzyskania ostatniej wstawionej wartości klucza

37. tMysqlOutputBulk: ten składnik służy do zapisu pliku z kolumnami opartymi na ograniczniku

38. tMysqlOutputBulkExec: ten składnik służy do zapisu pliku z kolumnami opartymi na ograniczniku, a następnie wykonuje plik w bazie danych Mysql.

39. tContextLoad: ten składnik służy do ładowania wartości do kontekstu z przepływu wejściowego. Zmienne kontekstowe należy utworzyć przed załadowaniem wartości do zmiennych kontekstowych. Jeśli zmienne kontekstowe nie zostaną utworzone, wyświetli się ostrzeżenie.

40. tHiveClose: ten składnik służy do zamykania połączenia utworzonego za pomocą tHiveConnection.

41. tHiveConnection: ten składnik służy do tworzenia połączenia Hive i może być ponownie używany przez inne komponenty Hive.

42. tHiveRow: ten składnik służy do bezpośredniego uruchamiania zapytań Hive.

Wniosek

Komponenty HDFS można oglądać w otwartym studio Talend dla Big Data.
thdfsinput, thdfsoutput to niektóre ze składników i są one podobne do składników plików.
tHDFSInput - czyta plik znajdujący się w danym rozproszonym systemie plików Hadoop (HDFS). Ma kilka funkcji podobnych do tfileinputdelimited, ale wykorzystuje rozproszony system plików Hadoop.
tHDFSOutput - zapisuje plik w rozproszonym systemie plików Hadoop (HDFS).
Ma kilka funkcji podobnych do tfileoutputdelimited, ale wykorzystuje rozproszony system plików Hadoop.
tHDFSPut - służy do umieszczenia pliku w systemie plików HDFS z systemu lokalnego.
tHDFSGet - ten składnik służy do pobierania pliku z HDFS do systemu lokalnego.

Polecane artykuły

To jest przewodnik po Talend Tools. W tym artykule omawiamy wprowadzenie i składniki otwartego studia lub narzędzia do integracji danych, które obejmują tS3Connection, tS3Input, tS3Output i ts3Put itp. Możesz także przeczytać poniższe artykuły, aby dowiedzieć się więcej -