Ensemble Learning - Boosting

Boosting adalah teknik ensemble, yaitu sekumpulan pembelajar (classifier) lemah yang dikombinasikan menjadi pembelajar kuat. Kinerja dari ensemble biasanya lebih baik dibanding pembelajar tunggal. Dan terdapat 2 Multi Classifier yaitu : 1. Ensemble : same learning algorithm , 2. Hybrid methods : different learning algorithm.

Boosting merupakan cara untuk menghasilkan beberapa model atau penggolongan untuk prediksi atau klasifikasi, dan juga menggabungkan prediksi dari berbagai model ke dalam prediksi tunggal. Bagging adalah pendekatan iteratif untuk menghasilkan pengklasifikasi yang kuat, yang mampu mencapai kesalahan training seminimal mungkin dari sekelompok pengklasifikasi yang lemah. yang masing-masing hampir tidak dapat melakukan lebih baik daripada tebakan acak. 

Boosting di rancang untuk masalah kelas biner, menciptakan kumpulan dari tiga klasifikasi yang lemah pada satu waktu. klasifikasi pertama (atau hipotesis) adalah memproses subset acak dari data training yang tersedia. klasifikasi kedua adalah subset yang berbeda dari dataset asli, dimana hasil dari klasifikasi pertama yang sudah benar di klasifikasi dan setengahnya lagi salah diklasifikasi. klasifikasi ketiga kemudian dilatih dengan contoh di mana klasifikasi pertama dan klasifikasi kedua tidak setuju. Ketiga pengklasifikasi ini kemudian digabungkan melalui suara mayoritas tiga arah. 

 

Gambar 1 Figure boosting

Boosting saat observasi ditimbang dan karenanya beberapa dari mereka akan mengambil bagian dalam set baru lebih sering dan membangun pembelajar baru secara berurutan  kemudian Data yang salah diklasifikasikan meningkatkan bobotnya. Boosting merupakan cara  untuk menghasilkan beberapa model atau penggolong (untuk prediksi atau klasifikasi), dan juga menggabungkan prediksi dari berbagai model ke dalam prediksi tunggal.

 

Gambar 2 Boosting Data Replacement and Independent Sequential

Selain itu Boosting mengacu pada sekelompok algoritma yang memanfaatkan rata-rata tertimbang untuk membuat pembelajar yang lemah menjadi pembelajar yang lebih kuat. Tidak seperti mengantongi yang memiliki masing-masing model berjalan secara independen dan kemudian agregat output di bagian akhir tanpa preferensi untuk model apa pun. Dorongan adalah tentang "kerja tim". Setiap model yang berjalan, menentukan fitur apa yang akan menjadi fokus model berikutnya, dan disini terdapat contoh dari Boosting yaitu :

Gambar 3 Boosting Models

 

Referensi : 

1. https://id.wikipedia.org/wiki/Metode_ensemble
2. https://warungkomputer.com/2016/12/ensemble-learning-primadona-analitik-di-masa-depan/
3. https://becominghuman.ai/ensemble-learning-bagging-and-boosting-d20f38be9b1e