Tugas 3 - Algoritma Dasar

Nama : Lintang Ceissar Senja Chatulistiwa / 17170091
Kelas : TI - 17.5A.33 / ARS University

Algoritma Dasar

Beberapa contoh algoritma yang lebih mudah dan tergolong algoritma non parametric yaitu ;

-          Naïve Bayes

Algoritma supervised learning yang sangat sederhana idenya mirip dengan probabilitas. Secara formal persamaan naive bayes untuk klarifikasi dimana ci adalah suatu nilai kelas, C adalah kelas, T adalah fitur, F adalah banyak fitur dan memprediksikan kelas berdasarkan probabilitas kemunculan nilau fitur kelas tersebut.    Proses klasifikasi untuk data baru sama seperti prose klasifikasi untuk testing data, yaitu untuk menebak kelas data. Perhatikan! Jika kamu berpikir dengan menggunakan likelihood untuk mengklasifikasi karena probabilitas ini cukup berbahaya apabila likelihood untuk masing-masing kelas memiliki jarak yang cukup dekat. Sebagai contoh : Menghitung probabilitas apabila likelihood = (0.7, 0.6) sehingga probabilitas kelas menjadi = (0.538, 0.461). Karena perbedaan probabilitas kelas relative tidak terlalu besar, contoh ini adalah penyederhanaan. Perbedaan likelihood yang besar menandakan kenyakinan, sedangkan perbedaan yang tipis menandakan ketidak yakinan.

-          K – Means

Kelas data untuk setiap feature vector, sedangkan untuk unsupervised learning kita tidak tahu. Tujuan unsupervised learning salah satunya adalah melakukan clustering. Yaitu mengelompokkan data-data dengan karakter mirip. Untuk melakukan pembelajaran menggunakan K-Means kita harus mengikuti langkah-langkah sebagai berikut ;

1.     Tentukan jumlah kelompok yang diinginkan.

2. Inisiasi centroid untuk setiap kelompok. Centroid adalah data yang merepresentasikan suatu kelompok.

3.  Hitung kedekatan suatu data terhadapt centroid, kemudian masukkan data tersebut ke kelompok yang centroidnya memiliki sifat terdekat dengan dirinya.

4.     Pilih kembali centroid untuk masing-masing kelompok, dari anggota kelompok teresebut.

5.   Ulangi langkah-langkah sebelumnya sampai tidak ada perunahan anggota untuk semua kelompok.

Mengkelompokan data menjadi dua cluster / dua kelompok yaitu “K1,K2” dengan menggunakan algoritma K-Means.

·         Pertama inisiasi centroid secara acak, “id1 untuk k1” dan “id6 untuk k2”.

·         Hitung kedekatan data lainnya terhadap centroid.

·  Untuk mempermudah hitung perbedaan data satu dan lainnya dengan   menghitung perbedan nilai attribute (sama atau tidak).

·   Apabila perbedaan suatu data terhadap kedua centroid bernilai sama,maka  masukkan dari nomor urut terkecil.

·  Kemudian kelompok satu beranggotakan (id1, id2, id3, id5), Sedangkan kelompok dua beranggotakan (id4, id6)

·      Pilih kembali centroid untuk masing-masing kelompok yang mana berasal dari anggota kelompok itu sendiri.

Contoh : Centroid kelompok satu adalah id2

                           Centroid kelompok dua adalah id4

·       Kemudian hitung kembali assignment anggota kelompok tersebut.

·     Hasil Kedua adalah perubahan anggota kelompok k1 = (id1, id2, id3, id5) dan k2 = (id4, id6)

·   Anggap langkah ketiga kita memilih kembali id2 dan id4 sebagai centroid masing-masing kelompok sehingga tidak ada perubahan keanggotaan.

Clustering memiliki hubungan erat dengan Gaussian Mixture Model (GMM). Secara sederhana satu cluster / satu kelas sebenarnya seolah dapat dipisahkan dengan kelas lainnya oleh distribusi Gaussian. Distribusi seluruh dataset dapat diaproksimasi dengan Gaussian Mixture Model (GMM).

Setiap data memiliki suatu pola dalam statistik yang disebut distribusi. GMM dipercaya dapat mengaproksimasi fungsi apapun.Machine Learning yang mempunyai salah satu tujuan untuk menemukan pola dataset, memiliki hubungan yang sangat erat dengan distribusi Gaussian karena pola tersebut dapat diaproksimasi dengan distribusi Gaussian.

-          K- Nearest Neighbor (KNN)

Adalah mengelompokkan data ke kelompok yang memiliki sifat termirip dengannya. Ini mirip dengan K-means. Bila K-Means digunakan untuk clustering, Maka KNN digunakan untuk klasifikasi. Algoritma klasifikasi ini disebut juga algorita malas karena tidak mempelajari cara mengkategorikan data, melainkan hanya mengingatkan data yang sudah ada.

KNN mencari K feature vector dengan sifat termirip, kemudian mengelompokkan data baru ke kelompok feature vector tersebut. Sebagai contoh :

·         Lakukan klasifikasi algoritma KNN dengan K = 3 untuk data baru (rich = no, intelligent = yes, good looking = yes)

·         Pada bab sebelumnya kelompok satu k1 = (id1, id2, id3, id5) dan k2 = (id4, id6)

·         Feature vector termirip dimiliki oleh data dengan id1, id5, id6

·         Memberikan prioritas dan memasukkan ke kelompok yang anggotanya lebih banyak dan menjadi nearest neighbor

·         Kemudian klasifikasikan data baru ke kelompok pertama