Pertama kali aku membaca tentang inter-rater reliability ini di bulan Juni saat libur Ramadhan. Aku membaca satu disertasi berjudul Writing Portfolio Assessment and Inter-Rater Reliability at Yildiz Technical University School of Foreign Languages Basic English Department (2005) oleh Asuman Türkkorur. Saat itu, aku seriusan nggak paham apa sih inter-rater reliability ini! Konsep reliability aja udah susah banget dipahami apalagi inter-rater. Makhluk macam apa itu.

Malam ini, saat baca ulang disertasi itu, tiba-tiba aku mulai mengerti maksudnya! Setidaknya ‘lebih menyadari’ maknanya, haha.

Reliability, which is a critical issue in any kind of assessment method, relates to the consistency of the results of an assessment method (Bachman & Palmer 1996; Hamp-Lyons, 1996).

Inter-rater reliability is the degree of similarity of assessment marks given by different reader-raters (Henning, 1993). Inter-rater reliability can be promoted by having two or more raters evaluate the same writing sample and then compare their marks and criteria (Hyland, 2003).

Reliability yang merupakan isu penting dalam setiap metode penilaian berkaitan dengan konsistensi dari hasil-hasil penilaian yang dilakukan. Sedangkan inter-rater reliability adalah derajat kesamaan dari nilai yang diberikan oleh pembaca yang berbeda-beda –yang bertindak sebagai penilai (reader-raters ). Inter-rater reliability ini bisa dilakukan dengan melihat dan menganalisis hasil evaluasi yang diberikan masing-masing penilai terhadap tulisan yang sama. Ummmm.. Penilai (reader-raters ) di sini bukan penilai kacang-kacang ya! Penilai di sini adalah orang-orang yang mempunyai kapasitas dalam menilai tulisan dengan tingkat objektif yang tinggi–tentunya memiliki rubrik dan kriteria spesifik.

Aku dulu pernah mikir, apakah nilai yang kudapat akan sama bila tulisanku dibaca dan dinilai oleh dosen yang berbeda? Nah, disertasi ini membahas tentang kasus seperti ini, khususnya di Yildiz Technical University School of Foreign Languages Basic English Department. Aku jadinya mikir, apakah dosen-dosenku khususnya writing teachers pernah berdiskusi dan membahas tentang standar baku untuk menilai tulisan mahasiswa dan mencoba inter-rater reliability  ini? Yah, yah, yah, sepertinya belum.

Yang jelas, aku kini tahu, bahwa pertanyaanku itu ternyata ada jawabannya secara teoritis. Ntar kalo aku punya kesempatan (jadi dosen), aku ingin mengadakan penelitian inter-rater reliability ini juga lah. Pembaca, doakan daku ya!

Iklan