Tugas 5 - Model Linear
Nama : Lintang Ceissar Senja Chatulistiwa / 17170091
Kelas : TI - 17.5A.33 / ARS University
Kelas : TI - 17.5A.33 / ARS University
Model Linear
Salah satu bentuk utility function untuk model matematis bernama error function. Error function paling mudah dijelaskan dalam permasalahan regresi. Diberikan (x,y) ∈R sebagai random variable. Salah satu cara menghitung error fungsi g(x) adalah menggunakan squared error function dengan bentuk konseptual. Nilai squared error dapat menjadi tolak ukur untuk membandingkan kinerja suatu learning machine (model). Secara umum, bila nilainya tinggi, maka kinerja dianggap relatif buruk; sebaliknya bila rendah, kinerja dianggap relatif baik.
Binary classification adalah mengklasifikasikan data menjadi dua kelas (binary). Seperti halnya fungsi regresi, kita dapat menghitung performa binary classifier sederhana ini menggunakan squared error function (umumnya menggunakan akurasi), dimana nilai target fungsi berada pada range [-1,1]. Secara sederhana model binary classifier mencari decision boundary, yaitu garis (secara lebih umum, hyperplane) pemisah antara kelas satu dan lainnya.
Fungsi binary classifier memetakan data menjadi nilai [-1,1] dengan -1 merepresentasikan kelas pertama dan 1 merepresentasikan kelas kedua. Tidak hanya kelas yang berkorespondensi, kita juga terkadang ingin tahu seberapa besar peluang data tergolong pada kelas tersebut. salah satu alternatif adalah dengan menggunakan fungsi sigmoid dibanding fungsi sign untuk merubah nilai fungsi menjadi [0,1] yang mempresentasikan peluang data diklasifikasikan sebagai kelas tertentu.
Multi-class calssification terdapat lebih dari dua kemungkinan kelas. Terdapat lebih dari dari dua kemungkinan kelas. terdapat himpunan kelas C beranggotakan {c1,c2,...cK}. untuk suatu data dengan representasikan feature vectornya.
Kita dapat mendekomposisi multilabel classification menjadi beberapa binary classifier. yang membedakan multi-class dan multi-label adalah output C. pada multiclass classification, ci ∈ c melambangkan probalitas suatu instans masuk ke kelas ci, keputusan akhir class assigment didapatkan dari elemen c dengan nilai terbesar. untuk multi-label classification nilai ci ∈ c melambangkan apakah suatu kelas masuk ke kelas ci atau tidak. Bedanya, kita boleh mengassign lebih dari suatu kelas (atau tidak sama sekali).
Model linear, walaupun mudah dimengerti, memiliki beberapa batasan. Ada dua batasan paling kentara, additive assumption dan linear assumption. Additive assumption berarti model linear menganggap hubungan antara input dan output adalah linear. artinya, perubahan nilai pada suatu fitur xi pada input x akan merubah nilai output secara independen terhadap fitur lainnya. hal ini terkadang berakibat fatal karena fitur satu dan fitur lainnya dapat berinteraksi satu sama lain. Solusi sederhana untuk permasalahan ini adalah memofelkan onteraksi antar-fitur.
Underfitting adalah keadaan ketika kinerja model bernilai buruk baik pada training atau development maupun testing data. Overfitting adalah keadaan ketika kinerja model bernilai baik untuk training tetapi buruk pada unseen data. Underfitting terjadi akibat model yang terlalu tidak fleksibel, yaitu memiliki kemampuan yang rendah untuk mengestimasi variasi fungsi. Sedangkan, overfitting terjadi ketika model terlalu fleksibel, yaitu memiliki kemampuan yang terlalu tinggi untuk mengestimasi banyak fungsi atau terlalu mencocokkan diri terhadap training data. Untuk menghindari overfitting atau underfitting, kita dapat menambahkan fungsi noise/bias (selanjutnya disebut noise/bias saja) dan regularisasi. Model linear yang memanfaatkan fungsi-fungsi kernel ini adalah support vector machine (SVM).
Binary classification adalah mengklasifikasikan data menjadi dua kelas (binary). Seperti halnya fungsi regresi, kita dapat menghitung performa binary classifier sederhana ini menggunakan squared error function (umumnya menggunakan akurasi), dimana nilai target fungsi berada pada range [-1,1]. Secara sederhana model binary classifier mencari decision boundary, yaitu garis (secara lebih umum, hyperplane) pemisah antara kelas satu dan lainnya.
Fungsi binary classifier memetakan data menjadi nilai [-1,1] dengan -1 merepresentasikan kelas pertama dan 1 merepresentasikan kelas kedua. Tidak hanya kelas yang berkorespondensi, kita juga terkadang ingin tahu seberapa besar peluang data tergolong pada kelas tersebut. salah satu alternatif adalah dengan menggunakan fungsi sigmoid dibanding fungsi sign untuk merubah nilai fungsi menjadi [0,1] yang mempresentasikan peluang data diklasifikasikan sebagai kelas tertentu.
Multi-class calssification terdapat lebih dari dua kemungkinan kelas. Terdapat lebih dari dari dua kemungkinan kelas. terdapat himpunan kelas C beranggotakan {c1,c2,...cK}. untuk suatu data dengan representasikan feature vectornya.
Kita dapat mendekomposisi multilabel classification menjadi beberapa binary classifier. yang membedakan multi-class dan multi-label adalah output C. pada multiclass classification, ci ∈ c melambangkan probalitas suatu instans masuk ke kelas ci, keputusan akhir class assigment didapatkan dari elemen c dengan nilai terbesar. untuk multi-label classification nilai ci ∈ c melambangkan apakah suatu kelas masuk ke kelas ci atau tidak. Bedanya, kita boleh mengassign lebih dari suatu kelas (atau tidak sama sekali).
Model linear, walaupun mudah dimengerti, memiliki beberapa batasan. Ada dua batasan paling kentara, additive assumption dan linear assumption. Additive assumption berarti model linear menganggap hubungan antara input dan output adalah linear. artinya, perubahan nilai pada suatu fitur xi pada input x akan merubah nilai output secara independen terhadap fitur lainnya. hal ini terkadang berakibat fatal karena fitur satu dan fitur lainnya dapat berinteraksi satu sama lain. Solusi sederhana untuk permasalahan ini adalah memofelkan onteraksi antar-fitur.
Underfitting adalah keadaan ketika kinerja model bernilai buruk baik pada training atau development maupun testing data. Overfitting adalah keadaan ketika kinerja model bernilai baik untuk training tetapi buruk pada unseen data. Underfitting terjadi akibat model yang terlalu tidak fleksibel, yaitu memiliki kemampuan yang rendah untuk mengestimasi variasi fungsi. Sedangkan, overfitting terjadi ketika model terlalu fleksibel, yaitu memiliki kemampuan yang terlalu tinggi untuk mengestimasi banyak fungsi atau terlalu mencocokkan diri terhadap training data. Untuk menghindari overfitting atau underfitting, kita dapat menambahkan fungsi noise/bias (selanjutnya disebut noise/bias saja) dan regularisasi. Model linear yang memanfaatkan fungsi-fungsi kernel ini adalah support vector machine (SVM).
Komentar
Posting Komentar