Logistická regrese PySpark

V této příručce nejprve uvidíme přístup a poté předpovídáme mrtvici každé osoby pomocí analýzy dat krok za krokem.

Logistická regrese

Logistická regrese, nazývaná také „Logit Model“, se používá v prediktivní analýze klasifikačních problémů. Toto je model strojového učení, který pracuje pouze na klasifikaci pro klasifikaci tříd (kategorií). Například v našem scénáři existují dvě kategorie (osoba, která je postižena mrtvicí, a osoba, která není postižena mrtvicí). Nejlepšími aplikacemi modelu jsou predikce srdečních chorob, predikce pohlaví, predikce života plodin atd.

kroky:

1. Sběr dat: Data jsou nezbytná k provádění jakýchkoli předpovědí/analýz. Může být mimo jiné ve formě CSV/XLSX. To můžeme načíst do prostředí Spark (DataFrame) pomocí metody spark.read.csv().

2. Analýza dat : Analýza atributů/sloupců je známá jako „analýza dat“. Sloupce, které pomáhají předpovědět třídu, jsou známé jako „nezávislé atributy“. Sloupec, který vede k predikci, se nazývá „závislý nebo cílový atribut“. V tomto scénáři můžeme použít vlastnost columns k zobrazení všech sloupců. K zobrazení jedinečných hodnot se používá metoda different() .

3. Předzpracování dat: Filtrování hodnot null/chybějících hodnot se nazývá „předzpracování“. V této fázi odstraníme všechny chybějící hodnoty. Stroj zná pouze binární jazyk. Všechny kategorie řetězců by tedy měly být převedeny na číselné kategorické hodnoty. V PySpark můžeme použít „StringIndexer“, což je dostupná třída v modulu pyspark.ml.feature pro převod kategorií řetězců na číselné. Automaticky je interně převádí. Nemusíme poskytovat hodnoty. Můžete použít následující syntaxi:

4. Sestavení vektoru: Nyní máte data, kterým stroj rozumí. V této fázi by měly být všechny nezávislé atributy vektorizovány do jednoho sloupce. To lze provést pomocí třídy VectorAssembler. Vyžaduje dva parametry: První parametr je inputCols, který přebírá seznam nezávislých atributů. Druhý parametr je outputCol, který vektorizuje všechny inputCols do této proměnné.

5. Transformace: Nyní připravte data transformací aktualizovaných sloupců (krok 3) pomocí funkce transform().

6. Příprava dat pro školení a testování: V této fázi rozdělujeme data na „trénink“ a „testování“. Bude lepší, když rozdělíme 70 % dat pro trénování modelu a 30 % dat pro testování modelu. Toho lze dosáhnout pomocí metody randomSplit(). Vyžaduje seznam, který obsahuje dvě plovoucí hodnoty: jednu pro testovací rozdělení a druhou pro rozdělení vlaku.

7. Model Fitting & Evaluation : Je čas přizpůsobit model logistické regrese. Model logistické regrese je dostupný v modulu pyspark.ml.classification. Trvá sloupec štítku třídy/cíl. Výsledkem jsou sloupce rawPrediction, pravděpodobnost a předpověď. Naše výsledky jsou uloženy ve sloupci predikce.

8. Přesnost a výsledky: Toto je poslední fáze, kdy testujeme přesnost modelu pomocí jakýchkoli testovacích technik.

Podívejme se na následující projekt, kde pomocí modelu logistické regrese predikujeme, zda je osoba postižena mrtvicí či nikoli.

Predikce mrtvice

9. Nainstalujte modul PySpark do vašeho prostředí. Následuje příkaz k instalaci:

10. Vytvořme PySpark DataFrame s 10 záznamy, které se týkají detailů mrtvice 10 osob. Pro demonstraci vytvoříme DataFrame bez CSV. V tomto DataFrame je 7 sloupců. „Pohlaví“, „Hladina glukózy“, „ženatý“, „věk“, „onemocnění srdce“, „hyper_tenze“ jsou nezávislé atributy a „mrtvice“ je označení třídy nebo závislý atribut. To znamená, že mrtvice člověka závisí na těchto nezávislých atributech.

Výstup:

11. Zobrazte nezávislé sloupce pomocí metody select().

Výstup:

12. Zobrazte jedinečné hodnoty, které jsou přítomny v cílovém atributu (Stroke).

Výstup:

13. Vraťte datový typ všech sloupců pomocí funkce printSchema().

Výstup:

Vidíme, že 4 sloupce jsou typu string. Převedeme je na kategorické číselné hodnoty.

14. Převeďme kategorické hodnoty řetězce na číselné kategoriální hodnoty pomocí StringIndexer ve sloupcích „Gender“, „heart_disease“, „hyper_tension“ a „married“ a zapišme je do sloupců Categotical_Gender, Categotical_heart_disease, Categotical_hypertical_ried a Categotical. Uložte sloupce do datového rámce indexed_data pomocí metody fit().

Výstup:

15. Převeďte nezávislé sloupce na vektor pomocí vektorového assembleru. Název vektoru je „features“.

16. Transformujte předchozí data do konečného DataFrame pomocí funkce transform() a zobrazte je pomocí funkce show().

Výstup:

17. Připravte data pro školení a testování tak, že je rozdělíte na 70-30. „Features“ je uloženo v train_data a „Stroke“ je uloženo v test_data.

18. Přizpůsobte model logistické regrese a vyhodnoťte jej.

Výstup:

19. Ke kontrole přesnosti modelu použijte BinaryClassificationEvaluator. Vidíme, že náš model je 100% přesný.

Závěr

Pomocí modelu logistické regrese v PySpark jste schopni předpovědět problém klasifikace v reálném světě. Odstranění nulových/chybějících hodnot je důležité, protože snižují hodnocení a přesnost modelu. Předzpracování je nezbytným krokem před instalací jakéhokoli modelu strojového učení. Ujistěte se, že tento krok provedete správně a přesně.