PySpark SelectExpr()

Pyspark.sql.DataFrame.selectExpr()

Funkce selectexpr() přebírá sloupce/množinu výrazů a vrací DataFrame na základě zadaných výrazů/sloupců. V této funkci lze zadat více výrazů, které se oddělují čárkou. K zobrazení DataFrame můžeme použít funkce show()/collect().

Syntax:

Zde je pyspark_DataFrame_object vstupním PySpark DataFrame.

Scénář 1: Vyberte sloupce

V tomto scénáři uvidíme, jak vybrat konkrétní sloupce z PySpark DataFrame pomocí funkce selectExpr().

Použitý výraz je „existující_sloupec jako nový_název“. Zde je existující_sloupec název sloupce, který je přítomen v DataFrame a zobrazuje se jako nový_název (Aliasing).

Příklad:

Vytvořte PySpark DataFrame s názvem „agri_df“ s 5 řádky a sloupci. Získejte sloupce „Soil_status“ a „Soil_Type“ jako „STATUS“ a „TYPE“.

Výstup:

Scénář 2: Určení podmíněných výrazů

V tomto scénáři uvidíme, jak vyhodnotit podmínky v rámci funkce selectExpr().

Použitý výraz je „hodnota operátoru existujícího_sloupce“. Zde je existující_sloupec název sloupce, který je přítomen v DataFrame a každou hodnotu v tomto sloupci porovnáváme s řetězcem/hodnotou.

Příklad 1:

Zkontrolujte, zda je země „USA“ nebo ne. Je zde použit operátor equalto (=).

Výstup:

Příklad 2:

Zkontrolujte, zda je Soil_Type NULL nebo ne. Klíčové slovo NULL kontroluje, zda je hodnota NULL nebo ne. Pokud je null, vrátí se true. V opačném případě je vrácena hodnota false. Konečný výraz je „Soil_Type IS NULL“

Výstup:

Scénář 3: Vyhodnocení výrazů

V tomto scénáři uvidíme, jak specifikovat matematické výrazy. Použitý výraz je „existující_sloupec mathematical_expression“.

Příklad:

1. Zobrazte skutečný sloupec „Akry“.
2. Přidejte 100 do sloupce „Akry“.
3. Odečtěte 100 ze sloupce „Akry“.
4. Vynásobte 100 sloupcem „Akry“.
5. Vydělte sloupec „Akry“ 100.

Výstup:

Scénář 4: Použití agregačních funkcí

SUM(název_sloupce) – Vyhodnocuje celkovou hodnotu v zadaném sloupci.

MEAN(název_sloupce) – Vyhodnocuje průměrnou hodnotu v zadaném sloupci.

MIN(název_sloupce) – Vrátí minimální prvek ze všech prvků v zadaném sloupci.

MAX(název_sloupce) – Vrátí maximální prvek ze všech prvků v zadaném sloupci.

Příklad:

1. Najděte součet, průměr, počet, minimum a maximum prvků „Acres“.
2. Najděte minimální a maximální prvky ve sloupci „Soil_status“.

Výstup:

Závěr

Diskutovali jsme o funkci selectExpr(), která přebírá sloupce/sady výrazů a vrací DataFrame na základě zadaných výrazů/sloupců. V rámci toho jsme se naučili čtyři hlavní scénáře, ve kterých lze selectExpr() použít. V této funkci lze zadat více výrazů, které jsou odděleny čárkou. Pro použití funkce selectExpr() není nutné vytvářet TEMPORARY VIEW.