Materi 5 ‐ Lanjutan Metode Penggabungan Dataset - ThesionMS/Exploratory-Data-Analysis GitHub Wiki

Introduction

Penggabungan dataset adalah proses penyatuan dua atau lebih dataset menjadi satu dataset. Proses ini sering dilakukan untuk menggabungkan data dari sumber yang berbeda, seperti data dari survei, data transaksi, atau data dari sensor. Penggabungan dataset dapat dilakukan dengan berbagai metode, tergantung pada jenis data yang akan digabungkan.

Berikut beberapa metode penggabungan dataset, yaitu:

  • Groupby / Pengelompokkan
  • Pivot Table
  • Crosstab / Tabulasi Silang

Groupby / Pengelompokan

Groupby adalah operasi yang umum digunakan dalam analisis data untuk mengelompokkan data berdasarkan nilai tertentu pada satu atau beberapa kolom. Setelah dilakukan pengelompokan, kita dapat menerapkan fungsi agregasi untuk merangkum informasi yang berkaitan dengan kelompok tersebut.

Fungsi Agregasi dalam Groupby:

Setelah kita mengelompokkan data, kita ingin merangkum informasi dalam setiap kelompok. Beberapa fungsi agregasi umum yang dapat digunakan melibatkan perhitungan statistik seperti sum, mean, median, min, max, dan lainnya.

Kapan Kita Menggunakan Groupby?

  1. Analisis Berdasarkan Kategori: Groupby sangat berguna ketika kita ingin menganalisis data berdasarkan kategori tertentu. Misalnya, kita dapat mengelompokkan data penjualan berdasarkan kategori produk, kota, atau waktu.

  2. Segmentasi Pelanggan: Dalam analisis pemasaran, kita sering ingin mengelompokkan pelanggan berdasarkan karakteristik tertentu seperti pembelian total atau frekuensi pembelian. Ini memungkinkan kita mengidentifikasi segmentasi pelanggan untuk strategi pemasaran yang lebih baik.

  3. Aggregasi Waktu: Groupby sering digunakan untuk merangkum data berdasarkan interval waktu tertentu. Misalnya, mengelompokkan data penjualan bulanan atau tahunan untuk melihat tren jangka panjang.

  4. Data Cleansing dan Pemrosesan: Groupby juga digunakan untuk membersihkan atau memproses data. Misalnya, menghapus atau mengganti nilai-nilai yang hilang berdasarkan kelompok tertentu.

Contoh Penerapan Groupby dalam Python:

Berikut adalah contoh penggunaan groupby untuk mengelompokkan data dan menerapkan fungsi agregasi:

import pandas as pd

# Buat DataFrame contoh
data = {'Category': ['A', 'B', 'A', 'B', 'A', 'B'],
        'Sales': [100, 150, 200, 120, 180, 130]}

df = pd.DataFrame(data)

# Groupby berdasarkan kategori dan hitung rata-rata penjualan
grouped_data = df.groupby('Category')['Sales'].mean()

print(grouped_data)

Dalam contoh ini, kita menggunakan groupby untuk mengelompokkan data berdasarkan kolom 'Category', dan kemudian menghitung rata-rata penjualan untuk setiap kategori. Hasilnya akan memberikan informasi ringkas tentang rata-rata penjualan dalam setiap kategori.

Groupby merupakan alat yang kuat untuk menganalisis data secara terperinci berdasarkan kriteria tertentu dan dapat membantu mengungkap pola dan tren yang mungkin tidak terlihat dalam data mentah.

Pivot Table / Tabel pivot

Pivot table adalah alat analisis yang kuat dalam pengolahan data, terutama digunakan untuk merangkum dan menganalisis informasi dalam dataset tabular. Fungsinya adalah mengorganisir dan menyusun data dalam bentuk tabel yang lebih informatif dan mudah dipahami.

Kapan Pivot Table Digunakan?

  1. Agregasi Data Berdasarkan Kategori: Pivot table sangat berguna ketika kita ingin melihat ringkasan data berdasarkan beberapa kriteria tertentu. Misalnya, dalam dataset penjualan, kita dapat menggunakan pivot table untuk melihat total penjualan berdasarkan kategori produk atau wilayah geografis.

  2. Menganalisis Data Waktu: Jika kita memiliki data yang mencakup dimensi waktu, pivot table dapat membantu menganalisis tren dan pola seiring waktu. Misalnya, kita dapat membuat pivot table untuk melihat penjualan bulanan atau tahunan.

  3. Menggabungkan Data dari Beberapa Sumber: Pivot table dapat digunakan untuk menggabungkan informasi dari beberapa tabel atau dataset. Ini membantu dalam menyusun data yang tersebar menjadi suatu tampilan yang lebih terstruktur.

  4. Analisis Kategori Silang: Jika kita ingin memahami hubungan antara dua atau lebih kategori, pivot table dapat membantu membuat tabel silang (cross-tabulation). Contohnya, kita dapat membuat pivot table untuk melihat seberapa banyak produk tertentu yang dibeli oleh pelanggan dari berbagai kelompok usia.

Contoh Penerapan Pivot Table dalam Python

berikut contoh sederhana dalam Python:

import pandas as pd

# Buat DataFrame contoh
data = {'Date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
        'Category': ['A', 'B', 'A', 'B'],
        'Sales': [100, 150, 200, 120]}

df = pd.DataFrame(data)

# Buat pivot table untuk melihat total penjualan per kategori per tanggal
pivot_table = pd.pivot_table(df, values='Sales', index='Date', columns='Category', aggfunc='sum')

print(pivot_table)

Dalam contoh ini, kita membuat pivot table untuk melihat total penjualan per kategori per tanggal. Pivot table ini memberikan tampilan yang ringkas dan mudah dipahami tentang bagaimana penjualan terdistribusi sepanjang waktu.

Pivot table sangat berguna ketika kita ingin merangkum data dengan cara tertentu atau melakukan analisis yang lebih kompleks terhadap dataset yang besar dan kompleks.

Contoh lain;

  • Penggabungan data dari berbagai sumber menggunakan pivot table
import pandas as pd

# Buat dua DataFrame contoh
df1 = pd.DataFrame({'Date': ['2023-01-01', '2023-01-02'],
                    'Category': ['A', 'B'],
                    'Sales': [100, 200]})

df2 = pd.DataFrame({'Date': ['2023-01-01', '2023-01-02'],
                    'Category': ['A', 'B'],
                    'Expenses': [10, 20]})

# Gabungkan DataFrame menggunakan pivot table
merged_pivot_table = pd.pivot_table(pd.concat([df1, df2]), values=['Sales', 'Expenses'], index='Date', columns='Category', aggfunc='sum', fill_value=0)

print(merged_pivot_table)
  • Pivot table untuk tabulasi silang (crosstab) yang memperlihatkan distribusi frekuensi antar dua atau lebih variabel.
import pandas as pd

# Buat DataFrame contoh
data = {'Gender': ['Male', 'Male', 'Female', 'Female', 'Male', 'Female'],
        'Age': ['Young', 'Young', 'Old', 'Young', 'Old', 'Old'],
        'Count': [30, 20, 25, 15, 10, 18]}

df = pd.DataFrame(data)

# Buat crosstab menggunakan pivot table
crosstab_result = pd.pivot_table(df, values='Count', index='Gender', columns='Age', aggfunc='sum', fill_value=0)

print(crosstab_result)

Crosstab / Tabulasi silang

Crosstab, singkatan dari cross-tabulation, adalah suatu bentuk tabel kontingensi yang digunakan untuk menunjukkan distribusi frekuensi antar dua atau lebih variabel. Ini memberikan pandangan yang baik tentang bagaimana frekuensi atau proporsi data terdistribusi di antara kategori-kategori yang berbeda.

Kapan Kita Menggunakan Crosstab?

  1. Hubungan Antara Dua Variabel Kategorikal: Crosstab sangat berguna ketika kita ingin memahami hubungan antara dua variabel kategorikal. Contohnya, hubungan antara jenis kelamin dan keputusan pembelian.

  2. Analisis Kategori Silang: Jika kita ingin melihat seberapa sering suatu kondisi atau kategori muncul bersamaan dengan kategori lain, crosstab memberikan tampilan yang jelas.

  3. Presentasi Data untuk Laporan atau Visualisasi: Crosstab memberikan representasi yang mudah dipahami dan sering digunakan untuk membuat tabel yang bisa disertakan dalam laporan atau visualisasi.

Contoh Penerapan Crosstab dalam Python:

Berikut adalah contoh penggunaan crosstab dalam Python dengan library Pandas:

import pandas as pd

# Buat DataFrame contoh
data = {'Gender': ['Male', 'Male', 'Female', 'Female', 'Male', 'Female'],
        'Age': ['Young', 'Young', 'Old', 'Young', 'Old', 'Old'],
        'Count': [30, 20, 25, 15, 10, 18]}

df = pd.DataFrame(data)

# Buat crosstab untuk melihat distribusi frekuensi
crosstab_result = pd.crosstab(df['Gender'], df['Age'])

print(crosstab_result)

Dalam contoh ini, kita membuat crosstab untuk melihat distribusi frekuensi antara dua variabel, yaitu 'Gender' dan 'Age'. Hasilnya adalah tabel yang menunjukkan berapa banyak individu dari setiap kombinasi kategori yang ada.

  • Mencari hubungan antara dua variabel kategorikal, 'Gender' (jenis kelamin) dan 'Purchase' (pembelian).
import pandas as pd

# Buat DataFrame contoh
data = {'Gender': ['Male', 'Male', 'Female', 'Female', 'Male', 'Female'],
        'Purchase': ['Yes', 'No', 'Yes', 'No', 'Yes', 'Yes']}

df = pd.DataFrame(data)

# Buat crosstab untuk melihat hubungan antara Gender dan Purchase
crosstab_result = pd.crosstab(df['Gender'], df['Purchase'])

print(crosstab_result)

Crosstab membantu dalam menyajikan informasi dengan cara yang mudah dipahami dan dapat digunakan sebagai langkah awal untuk analisis eksploratif data.

Grouping Berdasarkan Nilai atau Jangkauan

Metode Grouping Berdasarkan Nilai atau Jangkauan merupakan suatu pendekatan untuk mengelompokkan data berdasarkan rentang nilai tertentu. Ini memungkinkan kita untuk membuat interval atau kategori dan mengelompokkan data ke dalam interval tersebut. Pendekatan ini berguna ketika kita ingin menganalisis distribusi data atau melakukan agregasi berdasarkan rentang nilai.

Metode ini umunya dibagi menjadi 2:

  1. Pembagian Ke dalam Kelompok dengan pd.cut: Menggunakan fungsi pd.cut dari Pandas, kita dapat membuat kelompok berdasarkan rentang nilai. Kategori atau interval dapat ditentukan sebelumnya.

  2. Pembagian Ke dalam Kelompok dengan pd.qcut: Jika kita ingin memastikan bahwa setiap kelompok memiliki jumlah pengamatan yang setara, kita dapat menggunakan pd.qcut yang melakukan pemotongan kuantil.

Kapan Kita Perlu Menggunakan Metode Ini?

  1. Analisis Distribusi Data: Jika kita ingin memahami bagaimana data terdistribusi ke dalam interval atau rentang tertentu, metode ini dapat memberikan wawasan yang berguna.

  2. Segmentasi Berbasis Rentang Nilai: Metode ini dapat digunakan untuk segmentasi pelanggan atau data lainnya berdasarkan rentang nilai tertentu.

  3. Pemrosesan Data: Untuk membersihkan atau memproses data, terutama jika kita ingin menggantikan nilai-nilai yang hilang atau anomali dalam rentang tertentu.

Contoh Penerapan dalam Python:

  • Penggunaan metode grouping berdasarkan nilai atau jangkauan menggunakan pd.cut pada data penjualan dengan Python:
import pandas as pd

# Buat DataFrame contoh
data = {'Product': ['A', 'B', 'C', 'D', 'E'],
        'Sales': [120, 80, 200, 50, 180]}

df = pd.DataFrame(data)

# Buat kategori berdasarkan rentang nilai
bins = [0, 100, 150, 200, 250]
labels = ['Low', 'Medium', 'High', 'Very High']

df['Sales_Category'] = pd.cut(df['Sales'], bins=bins, labels=labels)

print(df)
  • Penggunaan metode grouping berdasarkan nilai atau jangkauan menggunakan pd.qcut pada data penjualan dengan Python:
import pandas as pd

# Buat DataFrame contoh
data = {'Product': ['A', 'B', 'C', 'D', 'E'],
        'Sales': [120, 80, 200, 50, 180]}

df = pd.DataFrame(data)

# Bagi data ke dalam kelompok dengan qcut
df['Sales_Category'] = pd.qcut(df['Sales'], q=3, labels=['Low', 'Medium', 'High'])

print(df)

Ukuran Kemiripan Data

Ukuran kemiripan data adalah metrik atau indeks yang digunakan untuk mengukur seberapa mirip atau sejauh mana dua set data atau objek serupa satu sama lain. Ini membantu dalam membandingkan data untuk menentukan tingkat kesamaan atau perbedaan antara mereka. Penggunaan ukuran kemiripan sering terjadi dalam analisis cluster, machine learning, dan rekayasa fitur.

Ukuran Kemiripan Umum:

  1. Cosine Similarity
  2. Euclidean Distance
  3. Manhattan Distance (City Block Distance)
  4. Jaccard Similarity
  5. Pearson Correlation Coefficient

Pengelompokkan Berdasarkan Ukuran Kemiripan:

Pengelompokkan berdasarkan ukuran kemiripan melibatkan pengelompokkan data atau objek ke dalam kelompok atau cluster berdasarkan tingkat kemiripan mereka. Pendekatan ini sering digunakan dalam analisis cluster dan machine learning.

Kapan Kita Perlu Menggunakan Pengelompokkan Berdasarkan Ukuran Kemiripan?

  1. Segmentasi Pelanggan: Jika kita ingin mengelompokkan pelanggan berdasarkan perilaku atau preferensi yang serupa.

  2. Rekomendasi Produk: Dalam sistem rekomendasi, kita dapat menggunakan ukuran kemiripan untuk menemukan produk atau konten yang mirip dengan preferensi pengguna.

  3. Analisis Cluster: Saat ingin mengelompokkan data yang serupa untuk memahami pola dan karakteristik tertentu.

Contoh Penerapan dalam Python:

  • Penggunaan ukuran kemiripan menggunakan cosine similarity dalam Python:
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

# Buat dua vektor contoh
vector1 = np.array([1, 2, 3])
vector2 = np.array([4, 5, 6])

# Hitung cosine similarity
similarity_score = cosine_similarity([vector1], [vector2])

print(f"Cosine Similarity: {similarity_score[0][0]}")

Dalam contoh ini, kita menggunakan cosine_similarity dari library scikit-learn untuk mengukur cosine similarity antara dua vektor. Semakin tinggi nilai cosine similarity, semakin mirip kedua vektor tersebut.