Web Scraping, Pembersihan Data Teks, dan Klasifikasi Sentimen dengan STATCAL ONLINE
Materi online untuk membawa peserta dari pengambilan data, pembersihan data teks, sampai prediksi klasifikasi sentimen berbasis Transformer.
Dari data online hingga klasifikasi sentimen
Peserta mengikuti alur yang sama dengan demonstrasi pemateri: ambil data, bersihkan data, lalu lakukan klasifikasi sentimen.
Web Scraping
Google Maps Reviews, Google Play, YouTube, Instagram, dan TikTok.
Text Data Cleaning
Eliminasi data kosong, emoji-only, dan numeric-only; teks pendek bermakna tetap dipertahankan.
Sentiment Classification
IndoBERT, IndoRoBERTa, dan XLM-RoBERTa, dengan hasil yang dapat diekspor ke Excel.
Web Scraping Resources
Klik Open Application untuk membuka aplikasi, atau Open Materials untuk membuka bahan praktik.
STATCAL ONLINE - Multiple Google Maps Review MHTML Extractor
STATCAL ONLINE - Multiple YouTube Comment MHTML Extractor
STATCAL ONLINE - Multiple YouTube Comment MHTML Extractor
STATCAL ONLINE - Multiple Instagram Comment MHTML Extractor
STATCAL ONLINE - Multiple Instagram Comment MHTML Extractor
STATCAL ONLINE - Multiple TikTok Comment MHTML Extractor
STATCAL ONLINE - Multiple TikTok Comment MHTML Extractor
STATCAL ONLINE – Google Play Review Scraper
Text Data Cleaning
Cleaning dibuat konservatif: teks pendek tetap disimpan bila bermakna.
STATCAL ONLINE - Text Data Cleaning
Contoh keputusan cleaning
ELIMINATE: kosong/whitespace, emoji-only, numeric-only.
KEEP: mantab, keren, bermanfaat, bagus, ok, bagus 👍, error 404.
Three-Model Sentiment Classification
Setelah cleaning, peserta memilih kolom teks dan menjalankan prediksi menggunakan tiga model Transformer.
Transformer-Based Deep Learning Models
mdhugol/indonesia-bert-sentiment-classification
w11wo/indonesian-roberta-base-sentiment-classifier
cardiffnlp/twitter-xlm-roberta-base-sentiment
Output Excel mencatat:
- Data original dan cleaned data
- Baris yang dieliminasi + alasan
- Prediksi masing-masing model
- Confidence / probability
- Agreement dan majority sentiment
- Cleaning summary dan run metadata