ml eda eksploracyjna analiza danych - ghdrako/doc_snipets GitHub Wiki

Standardowy proces analizy danych

Proces analizy danych polega na badaniu danych, uzyskiwaniu za ich pomocą spostrzeżeń i wyciąganiu wniosków. Głównym celem tego procesu jest zbieranie, filtrowanie, oczyszczanie, przekształcanie, przeglądanie, opisywanie i wizualizowanie danych i przekazywanie tych spostrzeżeń w celu odkrywania informacji i pomagających w podejmowaniu decyzji. Zasadniczo proces analizowania danych składa się z następujących etapów:

Zbieranie danych - pozyskiwanie i gromadzenie danych z rożnych źródeł
Wstępne przetwarzanie danych - przekształcanie, filtrowanie i oczyszczanie danych w wymagany format
Analizowanie danych i wyszukiwanie spostrzeżeń -
Interpretowanie spostrzeżeń - zrozumienie znaczenia spostrzeżeń i określenie wpływu każdej zmiennej na dany system
Omawianie wyników (ang. storytelling) - przekształcanie wyników w formę zrozumiałych dla laika historyjek

Proces KDD

Skrót KDD rozwijamy jako Knowledge Discovery form Data lub Knowledge Discovery in Database. Składa sie z 7 etapów:

Oczyszczanie danych
Integracja danych
Dobór danych
Przekształcanie danych
WYdobywanie danych
Ocena wzorców
Prezentacja wiedzy

Proces SEMMA

Skrót SEMMA rozwijamy jako Sample,Explore,Modify,Model,Assess czyli próbkój,eksploruj,modyfikuj,modelój i oceniaj. Został opracowany przez SAS Institute. Sklad sie z 5 etapow o tych samych nazwach co rozwiniecie skrótu

Proces CRISP-DM

Skrót CRISP-DM rozwija sie jako CRoss-InduStry Process for Data Mining. Jest to precyzyjnie zdefiniowany i ustrukturyzowanay i skuteczny proces stosowany w projektach uczenia maszynowego, wydobywania danych i analizy biznesowej.

EDA Exploratory Data Analysis

Eksploracyjna analiza danych jest wykorzystywana na każdym etapie cyklu życia danych, od sprawdzenia jakości danych, przez przygotowanie do formalnego modelowania, aż do potwierdzenia ze model jest sensowny. W eksploracyjnej analizie danych wchodzimy w proces odkrywania, nieustanie zadając pytania. Używamy wykresów aby odkryć cechy danych, zbadać rozkłady wartości i ujawnić relacje, których nie można ujawnić podczas prostych podsumowań numerycznych. Ta eksploracja obejmuje przekształcanie, wizualizacje i podsumowanie danych w celu budowania i potwierdzenia naszej interpretacji, identyfikowania i rozwiązywania potencjalnych problemów z danymi oraz informowania o późniejszych analizach.

Eksploatacyjna analiza danych możne dostarczać cennych spostrzeżeń, ale trzeba zachować ostrożność w odniesieniu do wyciąganych wniosków. Ważna jest świadomość, że eksploatacyjna analiza danych możne wpłynąć obciążenie systematyczne analizy.Eksploatacyjna analiza danych to proces przesiewania i podejmowania decyzji, który możne mieć wpływ powtarzalność późniejszych wyników opartych na modelu.

Dobra praktyką jest raportowanie i dostarczanie kodu z eksploracyjnej analizy danych, aby inni byli świadomi dokonanych wyborów i obranych ścieżek podczas uczenia się o tych danych.

Na początek należny określić typ cech jakie maja dane. Rozróżniamy:

nominalne - wartości są kategorialne,jakościowe i w swej istocie nieuporządkowane np nazwa produktu, kod pocztowy, stan cywilny,płeć
porządkowe - dotyczy nazw lub etykiet wyznaczających jakaś kolejność lub ranking, ale wielkość wartości nie jest znana np. ocenna zadowolenia klienta zadowolony, neutralny,niezadowolony Albo rozmiar napoju: mały,średni,duży. Mogą być mierzone tylko za pomocą mediany i dominanty
ilościowe - np rok urodzenia, temperatura w C

Inny podział to dyskretne i ciągłe.

Typ cech nie jest tym samym, co typ przechowywania danych.

Transformacja cech jakościowych:

zmiana etykiety kategorii np w celu oszczędzenia miejsca
zwijanie kategorii np aby zmniejszyć ich liczbę
konwersja cech ilościowej na porządkowa

Typy cech prowadza nas podczas analizy. Pomagają one określić operacje, wizualizacje i modele, które możemy w znaczący sposób zastosować do danych.

typ cechy	Wymiar	Wykres,
Ilościowa	Jedna cecha	Rug plot, histogram, krzywa gęstości, wykres pudełkowy, wykres skrzypcowy
Jakościowa	Jedna cecha	Wykres słupkowy,dot plot(wykres punktowy jednej cechy), wykres liniowy,wykres kołowy
Ilościowa	Dwie cechy	Wykres punktowy, krzywa gładka, wykres konturowy, mapa cieplna, wykres kwantylowo-kwantylowy
Jakościowa	Dwie cechy	Wykresy kolumnowe grupowane, wykresy mozaikowe, nakładające się linie
Mieszana	Dwie cechy	Nakładająca się krzywa gęstości , grupowane wykresy pudełkowe, nakładające się krzywe gładkie ,wykres kwantylowo-kwantylowy

Histogram grupuje wartości w przedziały (bins) i pokazuje, ile obserwacji znajduje się w każdym przedziale. To taki wykres słupkowy gdzie wysokość słupka zależny od ilość obserwacji w przedziale który reprezentuje. Czyli możesz zobaczyć np.:

gdzie znajduje się większość wartości,
czy rozkład jest skośny,
czy występują wartości odstające,
czy rozkład przypomina normalny,
jak często występują wartości z określonych przedziałów.

Rug plot nie grupuje wartości. Każdą obserwację zaznacza pojedynczą kreską na osi.

Typ cech pomaga również zdecydować o rodzaju statystyk podsumowujących do obliczenia. W przypadku danych jakościowych nie obliczamy średnich ani odchyleń standardowych, a zamiast tego określamy liczniki, ułamki lub procenty rekordów w każdej z kategorii. W przypadku cech ilościowych obliczamy średnia lub medianę jako miarę centralna, a odchylenie standardowe lub wewnętrzny zakres kwantyla jako miarę rozrzutu odpowiednio. Oprócz kwantyli można uznać również inne procentyle za niosące informacje.

Eksplorując dane trzeba wiedzieć, jak interpretować kształty widoczne na wykresach.

Wizualizacje cech mogą pomóc dostrzec wzorce w obserwacjach, Często są one lepsze, niż bezpośrednie badanie samych liczb lub ciągów znaków.

Interpretując histogram jak i krzywa gęstości, badamy symetrie i skośność rozkładu; liczbę, lokalizację i rozmiar obszaru o wysokiej częstotliwości (wartości modalnej); długości ogonów; odstępy w których nie obserwuje się wartości; oraz niezwykle duże oraz anomalne wartości.

W przypadku danych jakosciowych wykres słupkowy pelni role podobna do histogramu. Daje wizualna prezentacje czestotliwosci róznych grup. Nie mozemy jednak interpretować kształtu wykresu słupkowego w taki sam sposób jak histogramu. Ogony i symetria nie maja sensu w tych warunkach. Ponadto czestotliwosc kategorii jest reprezentowana przez wysokośc słupka, a szerokośc nie niesie zadnej informacji.

Zależności

Podczas badania wielu zmiennych sprawdzamy zależności miedzy nimi, w dodatku do ich rozkładów.

Dwie cechy ilościowe - często badamy ich zależność na wykresie punktowym, gdzie szukamy zależności liniowych i prostych nielinowych i badamy sile zależności. Sprawdzamy również czy transformacja jednej lub drugiej cechy lub obu cech prowadzi do zależności liniowej

Jedna zmienna jakościowa i jedna ilościowa - często aby zbadać zaleznosci używamy cech jakościowej do podziału na grupy i porównanie rozkładu cech ilościowych w tych grupach

wykresy pudelkowe grupwane oferuja podobne porównanie rozkladów miedzy grupami jak tez wykres skrzypcowy

dwie cechy jakosciowe - czesto porównujemy rozklad jednej cechy posród podgrup zdefiniowanych przez druga ceche. W efekcie mamy jedna ceche stala i wykres rozkladu drugiej