PySpark Pandas_Udf()

Téma obsahu:

• Pandas_udf() s různými datovými typy
• Pandas_udf() s různými typy dat pomocí Groupby() a Agg()

Pokud se chcete dozvědět o PySpark DataFrame a instalaci modulu, projděte si toto článek .

Pyspark.sql.functions.pandas_udf()

Pandas_udf () je k dispozici v modulu sql.functions v PySpark, který lze importovat pomocí klíčového slova „from“. Používá se k provádění vektorizovaných operací na našem PySpark DataFrame. Tato funkce je implementována jako dekorátor předáním tří parametrů. Poté můžeme vytvořit uživatelsky definovanou funkci, která vrací data ve vektorovém formátu (jako my k tomu používáme series/NumPy) pomocí šipky. V rámci této funkce jsme schopni vrátit výsledek.

Struktura a syntaxe:

Nejprve se podívejme na strukturu a syntaxi této funkce:

Název_funkce je zde název naší definované funkce. Datový typ určuje datový typ, který je vrácen touto funkcí. Výsledek můžeme vrátit pomocí klíčového slova „return“. Všechny operace se provádějí uvnitř funkce s přiřazením šipky.

Pandas_udf (funkce a návratový typ)

1. Prvním parametrem je uživatelsky definovaná funkce, která je mu předána.
2. Druhý parametr se používá k určení návratového datového typu z funkce.

Data:

V celé této příručce používáme pro demonstraci pouze jeden PySpark DataFrame. Všechny uživatelem definované funkce, které definujeme, jsou aplikovány na tento PySpark DataFrame. Ujistěte se, že tento DataFrame vytvoříte ve svém prostředí nejdříve po instalaci PySpark.

Výstup:

Zde vytvoříme tento DataFrame se 4 sloupci a 8 řádky. Nyní použijeme pandas_udf() k vytvoření uživatelem definovaných funkcí a jejich aplikování na tyto sloupce.

Pandas_udf() s různými datovými typy

V tomto scénáři vytváříme některé uživatelem definované funkce pomocí pandas_udf() a aplikujeme je na sloupce a zobrazujeme výsledky pomocí metody select(). V každém případě používáme řadu pandas.Series, když provádíme vektorizované operace. To považuje hodnoty sloupce za jednorozměrné pole a operace se použije na sloupec. V samotném dekorátoru určíme návratový typ funkce.

Příklad 1: Pandas_udf() s typem řetězce

Zde vytvoříme dvě uživatelsky definované funkce s návratovým typem řetězce pro převod hodnot sloupců typu řetězec na velká a malá písmena. Nakonec tyto funkce aplikujeme na sloupce „type“ a „locate_country“.

Výstup:

Vysvětlení:

Funkce StringType() je dostupná v modulu pyspark.sql.types. Tento modul jsme již importovali při vytváření PySpark DataFrame.

1. Za prvé, UDF (uživatelem definovaná funkce) vrací řetězce psané velkými písmeny pomocí funkce str.upper(). Str.upper() je k dispozici ve Strukturě dat řady (když převádíme na řadu se šipkou uvnitř funkce), která převádí daný řetězec na velká písmena. Nakonec je tato funkce aplikována na sloupec „type“, který je zadán uvnitř metody select(). Dříve byly všechny řetězce ve sloupci type psány malými písmeny. Nyní jsou změněna na velká písmena.
2. Za druhé, UDF vrátí řetězce velkými písmeny pomocí funkce str.lower(). Str.lower() je k dispozici ve Strukturě dat řady, která převádí daný řetězec na malá písmena. Nakonec je tato funkce aplikována na sloupec „type“, který je zadán uvnitř metody select(). Dříve byly všechny řetězce ve sloupci type psány velkými písmeny. Nyní jsou změněna na malá písmena.

Příklad 2: Pandas_udf() s celočíselným typem

Vytvořme UDF, který převede celočíselný sloupec PySpark DataFrame na řadu Pandas a ke každé hodnotě přidá 100. Předejte sloupec „množství“ této funkci uvnitř metody select().

Výstup:

Vysvětlení:

Uvnitř UDF iterujeme všechny hodnoty a převedeme je na Series. Poté ke každé hodnotě v řadě přidáme 100. Nakonec této funkci předáme sloupec „množství“ a vidíme, že ke všem hodnotám se přičte 100.

Pandas_udf() s různými typy dat pomocí Groupby() a Agg()

Podívejme se na příklady předání UDF do agregovaných sloupců. Zde jsou hodnoty sloupců seskupeny nejprve pomocí funkce groupby() a agregace se provádí pomocí funkce agg(). Náš UDF předáváme do této agregační funkce.

Syntax:

Zde jsou nejprve seskupeny hodnoty ve sloupci seskupení. Poté se provede agregace na každém seskupeném datu s ohledem na náš UDF.

Příklad 1: Pandas_udf() s Aggregate Mean()

Zde vytvoříme uživatelsky definovanou funkci s návratovým typem float. Uvnitř funkce vypočítáme průměr pomocí funkce mean(). Tento UDF je předán do sloupce „množství“, kde se získá průměrné množství pro každý typ.

Výstup:

Seskupujeme na základě prvků ve sloupci „typ“. Vznikají dvě skupiny – „ovoce“ a „zelenina“. Pro každou skupinu se vypočítá a vrátí průměr.

Příklad 2: Pandas_udf() s Aggregate Max() a Min()

Zde vytvoříme dvě uživatelsky definované funkce s návratovým typem integer (int). První UDF vrací minimální hodnotu a druhý UDF maximální hodnotu.

Výstup:

K vrácení minimálních a maximálních hodnot využíváme funkce min() a max() v návratovém typu UDF. Nyní data seskupíme do sloupce „locate_country“. Jsou vytvořeny čtyři skupiny („ČÍNA“, „INDIE“, „JAPONSKO“, „USA“). Pro každou skupinu vracíme maximální množství. Podobně vracíme minimální množství.

Závěr

V zásadě se pandas_udf () používá k provádění vektorizovaných operací na našem PySpark DataFrame. Viděli jsme, jak vytvořit pandas_udf() a aplikovat jej na PySpark DataFrame. Pro lepší pochopení jsme diskutovali o různých příkladech s ohledem na všechny datové typy (string, float a integer). Je možné použít pandas_udf() s groupby() prostřednictvím funkce agg().