Dampak Dari Mempelajari Ilmu Sosial Dari Media Sosial – Sejak awal media sosial, ada kegembiraan tentang bagaimana jejak data yang ditinggalkan oleh pengguna dapat dieksploitasi untuk studi perilaku manusia.
Saat ini, peneliti yang dulunya terbatas pada survei atau eksperimen di laboratorium memiliki akses ke sejumlah besar data “dunia nyata” dari media sosial.
Peluang penelitian yang dimungkinkan oleh data media sosial tidak dapat disangkal.
Namun, peneliti sering menganalisis data ini dengan alat yang tidak dirancang untuk mengelola jenis data observasional yang besar dan berisik yang Anda temukan di media sosial.
Kami mengeksplorasi masalah yang mungkin dihadapi peneliti karena ketidakcocokan antara data dan metode ini.
Apa yang kami temukan adalah bahwa metode dan statistik yang biasa digunakan untuk memberikan bukti bagi temuan ilmiah yang tampaknya signifikan juga tampaknya mendukung klaim yang tidak masuk akal.
Ilmu yang absurd
Motivasi makalah kami berasal dari serangkaian studi penelitian yang sengaja menghadirkan hasil ilmiah yang absurd.
Satu studi pencitraan otak tampaknya menunjukkan aktivitas saraf salmon mati yang bertugas mengidentifikasi emosi dalam foto.
Analisis statistik longitudinal dari catatan kesehatan masyarakat menunjukkan bahwa jerawat, tinggi badan, dan sakit kepala menular.
Dan analisis pengambilan keputusan manusia yang tampaknya menunjukkan bahwa orang dapat secara akurat menilai ukuran populasi kota yang berbeda dengan memberi peringkat dalam urutan abjad.
Mengapa seorang peneliti pergi keluar dari jalan mereka untuk mengeksplorasi ide-ide konyol seperti itu? Nilai dari studi ini tidak dalam menyajikan temuan substantif baru.
Tidak ada peneliti serius yang akan membantah, misalnya, bahwa salmon mati memiliki perspektif tentang emosi dalam foto.
Sebaliknya, hasil yang tidak masuk akal menyoroti masalah dengan metode yang digunakan untuk mencapainya.
Penelitian kami mengeksplorasi apakah masalah yang sama dapat menimpa studi yang menggunakan data dari media sosial.
Dan kami menemukan bahwa memang mereka melakukannya.
Hasil positif dan negatif
Ketika seorang peneliti berusaha untuk menjawab pertanyaan penelitian, metode yang mereka gunakan harus dapat melakukan dua hal:
mengungkapkan efek, ketika memang ada efek yang berarti
tidak menunjukkan efek, ketika tidak ada efek yang berarti.
Misalnya, bayangkan Anda menderita sakit punggung kronis dan Anda menjalani tes medis untuk menemukan penyebabnya.
Tes ini mengidentifikasi disk yang tidak sejajar di tulang belakang Anda. Temuan ini mungkin penting dan menginformasikan rencana perawatan.
Namun, jika Anda kemudian menemukan tes yang sama mengidentifikasi disk yang tidak sejajar ini pada sebagian besar populasi yang tidak memiliki nyeri punggung kronis, temuan tersebut menjadi jauh kurang informatif bagi Anda.
Fakta bahwa tes gagal mengidentifikasi fitur pembeda yang relevan dari kasus negatif (tidak ada sakit punggung) dari kasus positif (sakit punggung) tidak berarti disk yang tidak sejajar di tulang belakang Anda tidak ada.
Bagian dari temuan ini sama “nyata” dengan temuan apa pun. Namun kegagalan berarti hasilnya tidak berguna: “bukti” yang mungkin ditemukan ketika ada efek yang berarti (dalam hal ini, sakit punggung) seperti ketika tidak ada sama sekali tidak diagnostik, dan, sebagai hasilnya, seperti bukti tidak informatif.
penularan XYZ
Dengan menggunakan alasan yang sama, kami mengevaluasi metode yang umum digunakan untuk menganalisis data media sosial — yang disebut “pengujian signifikansi hipotesis nol” dan “statistik korelasional” — dengan mengajukan pertanyaan penelitian yang tidak masuk akal.
Studi masa lalu dan saat ini telah mencoba mengidentifikasi faktor-faktor apa yang memengaruhi keputusan pengguna Twitter untuk me-retweet tweet lain.
Ini menarik baik sebagai jendela pemikiran manusia dan karena membagikan ulang postingan adalah mekanisme utama yang memperkuat atau menyebarkan pesan di media sosial.
Jadi kami memutuskan untuk menganalisis data Twitter menggunakan metode standar di atas untuk melihat apakah efek tidak masuk akal yang kami sebut “penularan XYZ” memengaruhi retweet. Secara khusus, kami bertanya
Setelah menganalisis enam kumpulan data yang berisi ratusan ribu tweet, “jawaban” yang kami temukan adalah ya.
Misalnya, dalam kumpulan data 172.697 tweet tentang COVID-19, kehadiran X, Y, atau Z dalam tweet tampaknya meningkatkan jangkauan pesan sebesar 8%.
Tak perlu dikatakan, kami tidak percaya kehadiran Xs, Ys, dan Zs adalah faktor utama apakah orang memilih untuk me-retweet pesan di Twitter.
Namun, seperti tes medis untuk mendiagnosis nyeri punggung, temuan kami menunjukkan bahwa terkadang, metode analisis data media sosial dapat “mengungkapkan” efek yang seharusnya tidak ada.
Hal ini menimbulkan pertanyaan tentang seberapa bermakna dan informatif hasil yang diperoleh dengan menerapkan metode ilmu sosial saat ini ke data media sosial sebenarnya.
Ketika peneliti terus menganalisis data media sosial dan mengidentifikasi faktor-faktor yang membentuk evolusi opini publik, membajak perhatian kita, atau menjelaskan perilaku kita, kita harus berpikir kritis tentang metode yang mendasari temuan tersebut dan mempertimbangkan kembali apa yang dapat kita pelajari darinya.
Apa yang dimaksud dengan temuan yang ‘bermakna’?
Masalah yang diangkat dalam makalah kami bukanlah hal baru, dan memang banyak praktik penelitian yang telah dilakukan n dikembangkan untuk memastikan hasil yang bermakna dan kuat.
Misalnya, para peneliti didorong untuk mendaftarkan hipotesis dan rencana analisis mereka sebelum memulai penelitian untuk mencegah semacam pengambilan data yang disebut “p-hacking”.
Praktik bermanfaat lainnya adalah memeriksa apakah hasilnya stabil setelah menghilangkan outlier dan mengontrol kovariat.
Juga penting adalah studi replikasi, yang menilai apakah hasil yang diperoleh dalam percobaan dapat ditemukan lagi ketika percobaan diulang dalam kondisi yang sama.
Praktik-praktik ini penting, tetapi itu saja tidak cukup untuk menangani masalah yang kita identifikasi.
Sementara mengembangkan praktik penelitian standar diperlukan, komunitas peneliti harus terlebih dahulu berpikir kritis tentang apa yang membuat temuan di data media sosial bermakna.