🧠 Ensemble Method: Bagging dan Boosting

📌 Apa itu Ensemble Method?

Ensemble Method adalah teknik dalam Machine Learning yang menggabungkan beberapa model (biasanya model sederhana atau “weak learners”) untuk menghasilkan model prediksi yang lebih akurat dan stabil.

Tujuan utama:
✅ Mengurangi bias
✅ Mengurangi variance
✅ Meningkatkan akurasi

---

🔸 1. Bagging (Bootstrap Aggregating)

📘 Definisi:

Bagging adalah teknik ensemble yang membangun beberapa model pelatihan dari resampling (bootstrap) data, kemudian menggabungkan prediksinya (biasanya dengan voting untuk klasifikasi atau rata-rata untuk regresi).

📊 Proses Bagging:

1. Buat beberapa dataset dari data asli dengan sampling acak dengan pengembalian (bootstrap).
2. Latih model (misalnya: Decision Tree) pada masing-masing dataset.
3. Gabungkan prediksi semua model:
   • Voting (klasifikasi)
   • Rata-rata (regresi)

✔️ Kelebihan Bagging:

• Mengurangi variance
• Bagus untuk model overfitting seperti Decision Tree

📌 Contoh Algoritma:

• Random Forest (bagging + decision tree)

---

🔸 2. Boosting

📘 Definisi:

Boosting adalah teknik ensemble yang membangun model secara berurutan, di mana setiap model baru mencoba memperbaiki kesalahan dari model sebelumnya.

📊 Proses Boosting:

1. Model pertama dilatih pada data asli.
2. Kesalahan dari model pertama dianalisis.
3. Model berikutnya dilatih lebih fokus pada data yang sebelumnya salah diklasifikasikan.
4. Gabungkan semua model dengan bobot (weighted vote).

✔️ Kelebihan Boosting:

• Mengurangi bias
• Memberikan akurasi tinggi
• Efektif meskipun dengan model dasar sederhana (misalnya stump decision tree)

⚠️ Kekurangan:

• Lebih mudah overfitting jika tidak dikontrol
• Lebih sensitif terhadap noise

📌 Contoh Algoritma:

• AdaBoost (Adaptive Boosting)
• Gradient Boosting
• XGBoost (Extreme Gradient Boosting)

---

🆚 Perbandingan Bagging vs Boosting

Aspek	Bagging	Boosting
Pendekatan	Paralel (bersamaan)	Serial (berurutan)
Fokus	Mengurangi Variance	Mengurangi Bias
Sensitivitas	Tidak sensitif terhadap noise	Lebih sensitif terhadap noise
Kompleksitas	Lebih sederhana	Lebih kompleks
Contoh Algoritma	Random Forest	AdaBoost, Gradient Boosting

---

✨ Kesimpulan:

• Bagging cocok jika model overfitting, ingin hasil lebih stabil.
• Boosting cocok jika model underfitting, ingin akurasi tinggi.
• Keduanya adalah teknik powerful dalam membangun model prediksi yang kuat dan digunakan secara luas di kompetisi ML (Kaggle, dsb).