Normalizace dat je technika, která pomáhá získat výsledek rychleji, protože stroj musí zpracovat menší rozsah dat. Normalizace není snadný úkol, protože všechny vaše výsledky závisí na výběru metody normalizace. Pokud jste tedy zvolili špatnou metodu normalizace dat, můžete od svých očekávání získat něco jiného.
Normalizace také závisí na datovém typu, jako jsou obrázky, text, číslice atd. Každý datový typ má tedy jinou metodu normalizace. V tomto článku se tedy zaměřujeme na numerická data.
Metoda 1: Použití sklearn
Metoda sklearn je velmi slavná metoda pro normalizaci dat.
V buňce číslo [83] : Importujeme všechny požadované knihovny, NumPy a sklearn. Můžete vidět, že předzpracování importujeme ze samotného sklearnu. Proto je to metoda normalizace sklearnu.
V buňce číslo [84] : Vytvořili jsme pole NumPy s nějakou celočíselnou hodnotou, která není stejná.
V buňce číslo [85] : Zavolali jsme normalizační metodu z předzpracování a předali numpy_array, který jsme právě vytvořili jako parametr.
V buňce číslo [86] : Z výsledků vidíme, že všechna naše celočíselná data jsou nyní normalizována mezi 0 a 1.
Metoda 2: Normalizace konkrétního sloupce v datové sadě pomocí sklearn
Můžeme také normalizovat konkrétní sloupec datové sady. V tomto o tom budeme diskutovat.
V buňce číslo [87] : Importujeme pandy knihovny a sklearn.
V buňce číslo [88] : Vytvořili jsme fiktivní soubor CSV a tento soubor CSV nyní načítáme pomocí balíčku pandas (read_csv).
V buňce číslo [89] : Vytiskneme soubor CSV, který jsme nedávno načetli.
V buňce číslo [90] : Načteme konkrétní sloupec souboru CSV pomocí np. pole a výsledek uložte do pole value_array.
V buňce číslo [92] , zavolali jsme z předzpracování metodu normalizace a předali parametr value_array.
Metoda 3: Převést na normalizaci bez použití sloupců na pole (pomocí sklearn)
V předchozí metodě 2 jsme diskutovali o tom, jak bychom mohli normalizovat konkrétní sloupec souboru CSV. Někdy však potřebujeme normalizovat celou datovou sadu, pak můžeme použít níže uvedenou metodu, kde normalizujeme celou datovou sadu, ale podél sloupců (osa = 0). Pokud zmíníme osu = 1, pak to provede řádkovou normalizaci. Osa = 1 je ve výchozím nastavení.
V buňce číslo [93] : Importujeme pandy knihovny a sklearn.
V buňce číslo [94] : Vytvořili jsme fiktivní soubor CSV (demo_numeric.csv) a tento soubor CSV nyní načítáme pomocí balíčku pandas (read_csv).
V buňce číslo [95] : Vytiskneme soubor CSV, který jsme nedávno načetli.
V buňce číslo [96] : Nyní předáme celý soubor CSV společně s jednou další osou parametrů = 0, která knihovně řekla, že uživatel chce normalizovat celou datovou sadu po sloupcích.
V buňce číslo [97] , vytiskneme výsledek a normalizujeme data s hodnotou mezi 0 a 1.
Metoda 4: Použití MinMaxScaler ()
Sklearn také poskytuje další způsob normalizace, který jsme nazvali MinMaxScalar. Je to také velmi oblíbená metoda, protože se snadno používá.
V buňce číslo [98] : Dovážíme všechny požadované balíčky.
V buňce číslo [99] : Vytvořili jsme fiktivní soubor CSV (demo_numeric.csv) a tento soubor CSV nyní načítáme pomocí balíčku pandas (read_csv).
V buňce číslo [100] : Vytiskneme soubor CSV, který jsme nedávno načetli.
V buňce číslo [101] : Zavolali jsme MinMaxScalar z metody předzpracování a vytvořili jsme pro to objekt (min_max_Scalar). Nepředali jsme žádné parametry, protože potřebujeme normalizovat data mezi 0 a 1. Ale pokud chcete, můžete přidat své hodnoty, které budou vidět v další metodě.
V buňce číslo [102] : Nejprve si přečteme všechny názvy sloupců pro další použití k zobrazení výsledků. Potom zavoláme fit_tranform z vytvořeného objektu min_max_Scalar a předáme do něj soubor CSV.
V buňce číslo [103] : Získáme normalizované výsledky, které jsou mezi 0 a 1.
Metoda 5: Použití MinMaxScaler (feature_range = (x, y))
Sklearn také poskytuje možnost změnit normalizovanou hodnotu toho, co chcete. Ve výchozím nastavení normalizují hodnotu mezi 0 a 1. Existuje však parametr, který jsme nazvali feature_range, který může nastavit normalizovanou hodnotu podle našich požadavků.
V buňce číslo [104] : Dovážíme všechny požadované balíčky.
V buňce číslo [105] : Vytvořili jsme fiktivní soubor CSV (demo_numeric.csv) a tento soubor CSV nyní načítáme pomocí balíčku pandas (read_csv).
V buňce číslo [106] : Vytiskneme soubor CSV, který jsme nedávno načetli.
V buňce číslo [107] : Zavolali jsme MinMaxScalar z metody předzpracování a vytvořili jsme pro to objekt (min_max_Scalar). Ale také předáváme další parametr uvnitř MinMaxScaler (feature_range). Tuto hodnotu parametru nastavíme od 0 do 2. Takže nyní MinMaxScaler normalizuje hodnoty dat mezi 0 a 2.
V buňce číslo [108] : Nejprve si přečteme všechny názvy sloupců pro další použití k zobrazení výsledků. Potom zavoláme fit_tranform z vytvořeného objektu min_max_Scalar a předáme do něj soubor CSV.
V buňce číslo [109] : Získáme normalizované výsledky, které jsou mezi 0 a 2.
Metoda 6: Použití maximálního absolutního měřítka
Data můžeme také normalizovat pomocí pand. Tyto funkce jsou také velmi oblíbené při normalizaci dat. Maximální absolutní škálování normalizuje hodnoty mezi 0 a 1. Aplikujeme zde .max () a .abs (), jak je uvedeno níže:
V buňce číslo [110] : Importujeme knihovnu pand.
V buňce číslo [111] : Vytvořili jsme fiktivní datový rámec a vytiskli jej.
V buňce číslo [113] : Zavoláme každý sloupec a poté hodnoty sloupce rozdělíme .max () a .abs ().
V buňce číslo [114] : Vytiskneme výsledek a z výsledku potvrdíme, že se naše data normalizují mezi 0 a 1.
Metoda 7: Použití metody z-score
Další metodou, kterou budeme diskutovat, je metoda z-score. Tato metoda převádí informace na distribuci. Tato metoda vypočítá průměr každého sloupce a poté odečte od každého sloupce a nakonec jej rozdělí se standardní odchylkou. To normalizuje data mezi -1 a 1.
V buňce číslo [115] : Vytvořili jsme fiktivní datový rámec a vytiskli jej.
V buňce číslo [117] : Vypočítáme průměr sloupce a odečteme jej od sloupce. Poté hodnotu sloupce rozdělíme standardní odchylkou.
V buňce číslo [118] : Vytiskneme normalizovaná data mezi -1 a 1.
Závěr: Viděli jsme různé druhy normalizovaných metod. Mezi nimi je sklearn velmi známý díky podpoře strojového učení. Ale to závisí na požadavcích uživatele. Někdy postačí funkce pand pro normalizaci dat. Nemůžeme říci, že existují pouze výše normalizované metody. Existuje mnoho způsobů normalizace dat, které také závisí na vašem datovém typu, jako jsou obrázky, číslice, text atd. Zaměřujeme se na tato numerická data a Python.