Převod PySpark DataFrame na JSON

Téma obsahu:

• PySpark DataFrame to JSON pomocí To_json() s ToPandas()
• PySpark DataFrame na JSON pomocí ToJSON()
• PySpark DataFrame to JSON pomocí Write.json()

Uvažujme ve všech příkladech jednoduchý PySpark DataFrame a převeďte jej do JSON pomocí zmíněných funkcí.

Požadovaný modul:

Nainstalujte knihovnu PySpark do svého prostředí, pokud ještě není nainstalována. Chcete-li jej nainstalovat, můžete použít následující příkaz:

PySpark DataFrame to JSON pomocí To_json() s ToPandas()

Metoda to_json() je dostupná v modulu Pandas, který převádí Pandas DataFrame na JSON. Tuto metodu můžeme využít, pokud převedeme náš PySpark DataFrame na Pandas DataFrame. Aby bylo možné převést PySpark DataFrame na Pandas DataFrame, použije se metoda toPandas(). Podívejme se na syntaxi to_json() spolu s jejími parametry.

Syntax:

1. Orient se používá k zobrazení převedeného JSON jako požadovaného formátu. Vyžaduje „záznamy“, „tabulku“, „hodnoty“, „sloupce“, „index“, „rozdělení“.
2. Index se používá k zahrnutí/odstranění indexu z převedeného řetězce JSON. Pokud je nastaveno na „True“, zobrazí se indexy. Jinak se indexy nezobrazí, pokud je orientace „rozdělená“ nebo „tabulka“.

Příklad 1: Orientace jako „Záznamy“

Vytvořte „skills_df“ PySpark DataFrame se 3 řádky a 4 sloupci. Převeďte tento DataFrame na JSON zadáním parametru orient jako „záznamy“.

Výstup:

Vidíme, že PySpark DataFrame je převeden na pole JSON se slovníkem hodnot. Zde klíče představují název sloupce a hodnota představuje hodnotu řádku/buňky v PySpark DataFrame.

Příklad 2: Orientovat jako „Rozdělit“

Formát JSON, který je vrácen „rozděleným“ orientem, zahrnuje názvy sloupců, které mají seznam sloupců, seznam indexů a seznam dat. Následuje formát „rozděleného“ orientu.

Výstup:

Příklad 3: Orientace jako „Index“

Zde je každý řádek z PySpark DataFrame vyřazen ve formě slovníku s klíčem jako názvem sloupce. Pro každý slovník je pozice indexu určena jako klíč.

Výstup:

Příklad 4: Orientovat jako „Sloupce“

Sloupce jsou klíčem pro každý záznam. Každý sloupec obsahuje slovník, který přebírá hodnoty sloupců s čísly indexu.

Výstup:

Příklad 5: Orientace jako „Hodnoty“

Pokud potřebujete pouze hodnoty v JSON, můžete přejít na orientaci „hodnoty“. Zobrazí každý řádek v seznamu. Nakonec jsou všechny seznamy uloženy v seznamu. Tento JSON je typu vnořeného seznamu.

Výstup:

Příklad 6: Orientace jako „stůl“

Orientace „tabulky“ vrací JSON, který obsahuje schéma s názvy polí spolu s datovými typy sloupců, indexem jako primárním klíčem a verzí Pandas. Názvy sloupců s hodnotami jsou zobrazeny jako „data“.

Výstup:

Příklad 7: S parametrem Index

Nejprve předáme parametr index nastavením na „True“. U každé hodnoty sloupce uvidíte, že pozice indexu je vrácena jako klíč ve slovníku.

Ve druhém výstupu jsou vráceny pouze názvy sloupců („sloupce“) a záznamy („data“) bez pozic indexu, protože index je nastaven na „False“.

Výstup:

PySpark DataFrame na JSON pomocí ToJSON()

Metoda toJSON() se používá k převodu datového rámce PySpark na objekt JSON. V podstatě vrací řetězec JSON, který je obklopen seznamem. The [‘{column:value,…}‘,…. ] je formát vrácený touto funkcí. Zde je každý řádek z PySpark DataFrame vrácen jako slovník s názvem sloupce jako klíčem.

Syntax:

Je možné předávat parametry, jako je index, popisky sloupců a datový typ.

Příklad:

Vytvořte „skills_df“ PySpark DataFrame s 5 řádky a 4 sloupci. Převeďte tento DataFrame na JSON pomocí metody toJSON().

Výstup:

V PySpark DataFrame je 5 řádků. Všech těchto 5 řádků je vráceno jako slovník řetězců, které jsou odděleny čárkou.

PySpark DataFrame to JSON pomocí Write.json()

V PySpark je k dispozici metoda write.json(), která zapisuje/ukládá PySpark DataFrame do souboru JSON. Jako parametr bere název souboru/cestu. V zásadě vrací JSON ve více souborech (rozdělených souborech). Ke sloučení všech do jednoho souboru můžeme použít metodu coalesce().

Syntax:

1. Režim připojení – dataframe_object.write.mode(‘append’).json(‘název_souboru’)
2. Režim přepisování - dataframe_object.write.mode(‘overwrite’).json(‘název_souboru’)

Je možné připojit/přepsat existující JSON. Pomocí write.mode() můžeme připojit data předáním „append“ nebo přepsat existující data JSON předáním „overwrite“ této funkci.

Příklad 1:

Vytvořte „skills_df“ PySpark DataFrame se 3 řádky a 4 sloupci. Zapište tento DataFrame do JSON.

Soubor JSON:

Vidíme, že složka skills_data obsahuje rozdělená data JSON.

Otevřeme soubor JSON. Vidíme, že všechny řádky z PySpark DataFrame jsou převedeny na JSON.

V PySpark DataFrame je 5 řádků. Všech těchto 5 řádků je vráceno jako slovník řetězců, které jsou odděleny čárkou.

Příklad 2:

Vytvořte „skills2_df“ PySpark DataFrame s jedním řádkem. Připojte jeden řádek k předchozímu souboru JSON zadáním režimu jako „připojit“.

Soubor JSON:

Můžeme vidět rozdělené soubory JSON. První soubor obsahuje první záznamy DataFrame a druhý soubor obsahuje druhý záznam DataFrame.

Závěr

Existují tři různé způsoby, jak převést PySpark DataFrame na JSON. Nejprve jsme diskutovali o metodě to_json(), která převádí na JSON převodem PySpark DataFrame na Pandas DataFrame s různými příklady s ohledem na různé parametry. Dále jsme použili metodu toJSON(). Nakonec jsme se naučili, jak používat funkci write.json() k zápisu PySpark DataFrame do JSON. Tato funkce umožňuje připojování a přepisování.