Jak vytvořit prohledávač pro načítání dat z S3 bucket?

Jak Vytvorit Prohledavac Pro Nacitani Dat Z S3 Bucket



AWS Glue se používá k objevování dat, integraci dat, procházení dat a vytváření katalogu dat v cloudu. Uživatel si může z AWS Glue vytvořit crawler, který bude prolézat data z daného zdroje a následně je ukládat do datového katalogu pro získávání informací. Uživatel musí pouze spustit prohledávač a vše ostatní provede prohledávač během několika okamžiků.

Tato příručka vysvětlí, jak vytvořit prolézací moduly pro načítání dat ze segmentu S3.

Jak vytvořit prohledávač pro načítání dat ze segmentu S3?

Chcete-li vytvořit prohledávač v AWS, navštivte „ Lepidlo AWS ” služba z řídicího panelu Amazon:









Klikněte na „ Databáze ” tlačítko ze sekce Katalog dat pro vytvoření databáze:







Klikněte na „ Přidat databázi ” tlačítko pro spuštění konfigurace:



Zadejte název databáze a ponechte vše tak, jak je volitelné, než kliknete na „ Vytvořit databázi ' knoflík:

Databáze byla úspěšně vytvořena:

Poté jednoduše zamiřte do „ Crawlery ” kliknutím na ni v levém panelu:

Klikněte na „ Vytvořit prohledávač ' knoflík:

Zadejte název prohledávače a klikněte na „ další ' knoflík:

Klikněte na „ Přidejte zdroj dat ” pro výběr zdroje dat:

Chcete-li zkontrolovat cestu, kde jsou data uložena, navštivte službu S3:

Zamiřte do bucketu S3, kam se nahrají data. Uživatel může vytvořit vědro a nahrát údaje na něm z řídicího panelu AWS S3:

Klikněte na „ Procházet S3 ” pro výběr cesty k datům:

Vyberte složku obsahující data a poté klikněte na „ Vybrat ' knoflík:

Cesta S3 byla vybrána, nyní klikněte na „ Přidejte zdroj dat S3 ' knoflík:

Po přidání zdroje dat jednoduše klikněte na „ další ' knoflík:

Přidejte roli IAM a poté klikněte na „ další ' knoflík:

Zadejte cílovou databázi vytvořenou dříve a poté zadejte název tabulky:

Vyberte plán na vyžádání pro prohledávač a klikněte na „ další ' knoflík:

Zkontrolujte prohledávač a klikněte na „ Vytvořit prohledávač ' knoflík:

Prohledávač byl úspěšně vytvořen, klikněte na „ Běh ” tlačítko po jeho výběru:

Spuštění prohledávače bude chvíli trvat, načte data a vytvoří tabulku pro uložení dat:

Zamiřte do „ Tabulky ” stránka z panelu Glue dashboard:

Vyberte tabulku kliknutím na její název:

Byly zobrazeny podrobnosti příběhu obsahující metadata načtených dat:

Přejděte na stránce dolů a vyberte sekci pro zobrazení tabulky obsahující data:

To je vše o vytvoření prohledávače pro načítání dat z bucketu S3.

Závěr

Chcete-li vytvořit prolézací modul pro načítání dat ze segmentu S3, vytvořte databázi na AWS Glue, ve které budou procházená data uložena. Nakonfigurujte prolézací modul z řídicího panelu Glue poskytnutím zdroje dat (segment S3) a cílové databáze. Spusťte prolézací modul a načtěte data z bloku S3 do databázové tabulky, jak je podrobně vysvětleno v této příručce.