TEXT MINING DAN NATURAL LANGUAGE PROCESSING

Description

JUDUL EBOOK : TEXT MINING DAN NATURAL LANGUAGE PROCESSING

PENULIS : Alfiansyah Hasibuan, S.Kom, M.Kom., Abraham Yano Suharmanto, S.Kom., M.Kom., Prof. Dr. Ing. Drs. Parabelem Tinno Dolf Rompas, MT., Sapriadi, S.Kom, M.Kom.

EDITOR : Mayang Wulan, SST, M.K.M, P.hD., Merriam Modeong, S.Pd, M.Pd.

HALAMAN : x, 117

SINOPSIS :

Text Mining merupakan proses menemukan pola, informasi, dan pengetahuan dari kumpulan data teks melalui serangkaian tahapan sistematis. Dalam ekosistem NLP, proses tersebut dimulai dari akuisisi data, pembentukan korpus, pemeriksaan kualitas data melalui audit sebelum cleaning, hingga proses preprocessing seperti tokenization, case folding, stopword removal, stemming, lemmatization, normalisasi bahasa informal, serta penanganan negasi, emoji, URL, dan entitas khusus. Tahapan ini bertujuan menghasilkan data teks yang lebih bersih dan konsisten sehingga dapat digunakan untuk proses analisis berikutnya.

Kualitas data menjadi faktor penting dalam keberhasilan proyek NLP. Oleh karena itu, pemahaman mengenai korpus dan representativitas, distribusi panjang teks, serta deteksi outlier diperlukan agar data yang digunakan mampu menggambarkan fenomena sebenarnya. Selain itu, proses anotasi dan penyusunan skema label menjadi bagian penting terutama pada pendekatan pembelajaran terawasi (supervised learning) karena kualitas label akan memengaruhi kemampuan model dalam mengenali pola bahasa.

Dalam proses representasi teks, terdapat berbagai pendekatan yang berkembang dari metode statistik hingga pendekatan berbasis kecerdasan buatan. Metode awal seperti Bag of Words, Document-Term Matrix, N-gram, dan TF-IDF mengubah teks menjadi bentuk numerik berdasarkan frekuensi dan distribusi kata. Pendekatan tersebut efektif untuk berbagai tugas klasifikasi, tetapi memiliki keterbatasan karena belum mampu memahami hubungan makna, konteks, dan struktur bahasa secara mendalam.

Salah satu penerapan penting dalam NLP adalah analisis sentimen, yaitu proses mengidentifikasi opini, emosi, atau sikap seseorang terhadap suatu objek tertentu. Analisis sentimen tidak hanya melihat apakah suatu teks bernilai positif, negatif, atau netral, tetapi juga dapat dikembangkan menjadi analisis berbasis target (target sentiment atau Aspect-Based Sentiment Analysis) untuk mengetahui sentimen terhadap aspek tertentu dari sebuah objek. Contohnya, sebuah ulasan dapat memberikan sentimen positif terhadap kualitas kamera, tetapi negatif terhadap daya tahan baterai.

Perkembangan terbaru dalam NLP membawa perubahan besar melalui Deep Learning dan Representation Learning. Berbeda dengan pendekatan fitur manual yang membutuhkan manusia untuk menentukan karakteristik data, representation learning memungkinkan model mempelajari fitur secara otomatis dari teks. Teknologi seperti Recurrent Neural Network (RNN), Long Short-Term Memory (LSTM), Convolutional Neural Network (CNN), hingga Transformer seperti BERT dan GPT mampu memahami konteks bahasa secara lebih mendalam melalui mekanisme perhatian (attention mechanism).