EVALUATING RESEARCH REPORTS
Oktober 2016
ABSTRAK
Dalam melakukan penelitian bisa menjadi proses yang kompleks sehingga ada banyak jenis kesalahan. Jenis Kesalahan ada kesalahan teknis dan substantiv. Mengkritisi bagian utama dari laporan penelitian bagian bagiannya adalah pendahuluan, kajian literature, metode dan prosedur, Hasil, Kesimpulan, saran dan Implikasi. Pada Pendahuluan harus berisi pernyataan dari permasalahan penelitian dan pernyataan ini harus diidentifikasi secara jelas agar pembaca mudah untuk memahaminya. Bagian Kajian literatur, referensi ulasan harus jelas relevan dengan masalah penelitian. Metode atau prosedur merupakan bagian yang paling penting dalam melakukan evaluasi sebuah laporan karena dari sini pembaca harus memahami bagaimana sebuah penelitian dilakukan. Salah satu masalah utama yang terjadi dengan laporan penelitian adalah data tidak cukup untuk dilaporkan dan bagian penutup merupakan capstone dari sebuah laporam penelitian. Siapapun yang terlibat dalam penelitian edukasi, cepat atau lambat, dan biasanya cepat, menyadari pentingnya untuk membaca laporan penelitian tentang area penelitian. Saat mengevaluasi laporan penelitian, kita berfokus pada (1) konten dan kualitas dari bagian-bagian individual dan (2) laporan keseluruhan, kelengkapannya, kelanjutan, dan seterusnya
Kata Kunci: evaluasi, kekurangan, kesalahan, penulisan, laporan.
JENIS KESALAHAN DAN KEKURANGAN DALAM LAPORAN
Dalam melakukan penelitian bisa menjadi proses yang kompleks sehingga ada banyak jenis kesalahan dan kekurangan yang mungkin terjadi. Jenis jenis kesalahan yang mungkin terjadi seperti kesalahan teknis kecil seperti referensi yang kurang lengkap dan kesalahan substantive seperti penggunaan desain yang tidak cocok untuk masalah penelitian..Banyak penelitian pendidikan dilaporkan ke dalam jurnal professional, kemudian penelitian seperti disertasi dan proyek-proyek yang didanai juga banyak yang dilaporakan ke dalam jurnal professional.
Hall, Ward dan Comer (1988) dua puluh tahun lalu mereka melakukan evaluasi terhadap 54 artikel penelitian yang dipublikasikan dan menemukan bahwa 42 persen dari artikel tersebut dinilai tidak baik dan tidak dapat diterima untuk dipublikasikan atau membutuhkan revisi untuk membuat mereka diterima. Situasi sekarang tidak jauh berbeda, kesalahan yang paling sering muncul adalah kelalaian seperti kurangnya validitas dan realibilitas informasi terhadap instrument pengumpulan data.
Bagian yang rentan terhadap kesalahan pada laporan penelitian adalah bagian metoda dan prosedur. Ada jenis yang luas dari kekurangan seperti laporan yang bingung dan kurangnya kontinuitas yang mengurangi kualitas laporan penelitian, bahkan jika penelitian yang laporannya berdasarkan laporan yang dilakukan dengan baik.
Mengkritisi Bagian utama dari Laporan Penelitian
Pendahuluan
Isi dari Pendahuluan harus berisi pernyataan dari permasalahan penelitian dan pernyataan ini harus diidentifikasi secara jelas agar pembaca mudah untuk memahaminya. Beri ruang yang cukup untuk konteks penelitian sehingga pembaca memahami masalah penelitian. Kemudian, beberapa yang harus dicantumkan adalah Signifikansi penelitian dan Variabel. Pengantar juga harus dapat menjawab pertanyaan-pertanyaan : Apa masalah penelitiannya? Apakah itu cocok dalam konteks pendidikan dan apa maknanya?
Kajian Literatur
Kajian literatur terhadap artikel – artikel jurnal sangat terbatas ketersediaanya. Sehingga membutuhkan kemampuan menulis yang terampil untuk memilki kemampuan memadai untuk mengkaji. Referensi ulasan harus jelas dan relevan dengan masalah penelitian. Jika relevansi tidak jelas maka kajian tersebut memiliki kelemahan. Berikut ini ada 4 pertanyaan untuk diingat ketika meninjau suatu literatur sebagai berikut :
Apakah hasil dari referensi memiliki alur logis: yaitu, yang mereka terorganisir dengan baik?
Apakah peneliti "bekerja sama" dan hasilnya menunjukkan relevansinya dengan masalah penelitian daripada menyatakannya sebagai serangkaian hasil individu dan mungkin hasil terisolasi?
Ada ringkasan atau penutupan yang cukup untuk mengkaji sehingga tidak menyimpulkan secara tiba-tiba dengan hasil studi akhir yang direferensikan?
Apakah ulasan mencerminkan pemahaman peneliti tentang bagaimana hasil dikutip dalam kajian yang terintegrasi dan berhubungan dengan masalah penelitian atau memiliki implikasi untuk itu?
Beberapa kesalahan dalam kajian literatur yaitu rentan terhadap kesalahan teknis dimana referensi tidak dimasukkan kedalam format yang ada. Kemudian sebuah studi yang direferensikan dihilangkan dari daftar pustaka, kesalahan pengejaan nama penulis dan tanggal juga merupakan salah satu kesalahan teknis dalam kajian literatur. Relevansi dengan masalah penelitian, organisasi, kelanjutan di seluruh studi yang ditinjau dan penutupan adalah karakteristik yang harus dipertimbangkan ketika mengevaluasi kajian literatur.
Metode atau Prosedur
Metode atau prosedur merupakan bagian yang paling penting dalam melakukan evaluasi sebuah laporan karena dari sini pembaca harus memahami bagaimana sebuah penelitian dilakukan. Suatu desain penelitian mungkin saja memiliki kelemahan untuk penelitian yang spesifik. Penelitian yang spesifik haus memberikan deskripsi yang jelas sehingga pembaca dapat memahami bagaimana penelitian dilakukan, prosedurnya seperti apa dan bagaimana urutannya.
Ada banyak pertayaan yang mungkin muncul ketika mengevaluasi bagian metode. Beberapa terfokus untuk menanyakan jenis penelitian
Dalam pengumpulan data (pengukuran) instrumen digambarkan bahwa variabel didefinisikan secara operasional?
Apakah data yang untuk menguji hipotesis atau untuk menangani penelitian sesuai?
Apakah desain memadai untuk diidentifikasi dan sudah tepat?
Jika sampling digunakan, apakah desain sampling terperinci dan apakah itu tepat, dan berapa jumlah mata pelajaran yang memadai?
Apakah yang sesuai dengan analisis hipotesis atau masalah penelitian dan data dikoleksi?
Dengan dilakukannya penelitian ini, apakah akan bebas dari variabel pengganggu dan faktor lain yang mungkin mengancam validitas internal dan eksternal penelitian?
Apakah analisis dijelaskan dengan jelas sehingga jelas bagi pembaca?
Apakah bagian metode memiliki penutupan yang memadai sehingga pembaca dalam pikiran gabungan dari bagaimana penelitian itu dilakukan?
Hasil
Salah satu masalah utama yang terjadi dengan laporan penelitian adalah data tidak cukup untuk dilaporkan. Misalnya, statistik yang mungkin bisa diabaikan atau kelompok dapat diberikan tetapi tidak ada data varian yang disediakan. Jadi, hasilnya harus diperiksa untuk kelengkapan terhadap analisis yang dilakukan dan terhadap hasil yang diperlukan untuk mengatasi masalah penelitian.
Apakah hasil penilitian terorganisir dengan baik, teridentifikasi, dan direpresentasikan dengan baik?
Apakah format yg digunakan dapat diterima?
Apakah hasil mengikuti hasil analisa?
Apakah hasilnya komprehensif?
Apakah ada informasi tentang kondisi dari hasil penelitian yang signifikan digunakan jika hipotesa sudah diuji?
Apakah hasil terbebas dari simbol atau kode yang tidak diketahui?
Apakah bagian hasil memiliki penutupan dengan beberapa kesimpulan?
Kesimpulan, Rekomendasi dan Imlplikasi
Bagian penutup merupakan capstone dari sebuah laporam penelitian. Kriteria utama untuk mengevaluasi bagian ini adalah ringkasan yang diambil dari hasil dan rekomendasi yang masuk logika.
Beberapa tambahan pertanyaan yang relatif pada bagian ini adalah:
Apakah ringkasan bukan hasil penyederhanaan dari hasil?
Apakah sudah selesai ringkasan hanya mengikuti hasil?
Apakah mungkin keterbatasan studi teridentifikasi dan hasilnya terinteprasikan dengan baik?
Apakah mungkin masalah untuk edukasi terselesaikan?
Apakah validitas eksternal dari studi terselesaikan?
Apakah ada rekomendasi untuk melanjutkann penelitian, selain menyelesaikan masalah penelitian?
Apakah kesimpulan dari penelitian sudah mempunyai referensi dari dokumen pendukung?
Apakah bagian ini mempunyai ringkasan?
Adakah penutup dari laporannya?
keseluruhan Kesan Ketika Mengevaluasi Laporan
Akan muncul banyak pertanyaan spesifik ketika mengevaluasi bagian dari sebuah laporan penelitian, namun akan ada kesan yang menyeluruh yang akan berpengaruh pada kualitas dari sebuah laporan. Secara teknik, laporan harus bersih. Bersih yang dimaksud disini yaitu bebas dari typo, kesalahan pada ejaan, menggunakan judul dan format yang diterima, dan terorganisir secara logis. Diantara bagian harus ada transisi yang memadai sehingga pembaca mendapatkan gambaran yang lengkap.
Kajian Proses Jurnal
Proses evaluasi laporan penelitian sangat penting dilakukan terutama jika penelitian akan dipublikasikan. Contoh tipe evalusi jurnal yaitu menggunakan Manuscript Evaluation Criteria.
Suggested Disposition
Diterima dengan sedikit revisi. Laporan tersebut membutuhkan revisi spesifik namun tidak substantial.
Ditolak namun dapat dilakukan resubmisi. Laporan tersebut membutuhkan revisi yang signifikan dan tidak dapat diterima, namun penulis laporan harus merevisi dan mengumpulkan lagi.
Resubmisi sebagai petunjuk penelitian bukan manuskrip penelitian
Ditolak. Penulis harus menulis ulang
Ditolak karena judul dianggap kurang cocok
Ditolak dan tidak akan dipublikasikan. Meskipun dengan kesalahan yang sedikit.
Standards for Publications
American Educational Research Association (AERA) menerbitan standart untuk publikasi di AERA pada tahun 2006. Terdapat dua prinsip yang medasari standart untuk publikasi tersebut, yaitu:
Warranted, yaitu Menyertakan fakta atau bukti yang cukup untuk membuktikan kebenaran hasil dan kesimpulan yang diperoleh dari sebuah penelitian.
Transparent, yaitu Laporan penelitian harus menjelaskan seluruh aktivitas dalam penelitian mulai dari ketertarikan awal, topik, pertanyaan, pengumpulan dan analisis data sampai mencapai hasil penelitian.
Standart untuk publikasi ini terbagi menjadi delapan area:
1. Problem Formulation
1.1. Rumusan masalah harus memberikan pernyataan yang jelas tentang tujuan dan ruang lingkup penelitian.
1.2. Pelaporan harus menjelaskan bagaimana penelitian ini berkontribusi terhadap pengetahuan.
1.3. Pelaporan harus mencakup review beasiswa yang relevan yang dikenakan langsung pada topik laporan.
1.4. Sebuah pemikiran untuk orientasi konseptual, metodologis, atau teori dari penelitian ini harus dideskripsikan dan dijelaskan.
1.5. Sebuah pemikiran harus disediakan untuk perumusan masalah yang berkaitan dengan grup study.
2. Design and Logic of the Study
2.1. Laporan penelitian harus mengikuti logika yang jelas pada penelitiannya, yang memungkinkan pembaca untuk melacak jalur dari pernyataan awal dari masalah, untuk meninjau orientasi intelektual penelitian; untuk pertanyaan penelitian dimulai dan / atau dikembangkan dalam penelitian ini; untuk metodologi pengumpulan dan analisis bukti; untuk interpretasi dan penyajian hasil dan pemahaman yang diperoleh dari proses penelitian. Harus ada presentasi yang koheren dari aspek penelitian, dan harus jelas bagaimana bagian-bagian yang berbeda dari penelitian terkait satu sama lain.
2.2. Harus ada penjelasan spesifik dan tidak ada ambiguitas dari deskripsi desain.
3. Sources of Evidence
3.1. Unit studi (situs, kelompok, peserta, peristiwa, atau unit lain) dan darimana mereka dipilih harus dijelaskan secara jelas.
3.2. Pengumpulan data atau bahan empiris harus diuraikan secara jelas, termasuk bagaimana dan kapan mereka berkumpul, oleh siapa, dan untuk tujuan apa.
4. Measurement and Classification
4.1. Ukuran dan klasifikasi pada suatu pengembangan harus dideskripsikan secara jelas.
4.2. Skema klasifikasi harus dijelaskan secara komprehensif dan diilustrasikan dengan contoh-contoh konkrit yang mewakili berbagai fenomena diklasifikasikan.
4.3. Jika sebuah ukuran diharuskan, pada laporan harus mendeskripsikan elemen data dan organisasi secara spesifik dan tidak ambigu.
4.4. Ketika transkripsi rekaman audio atau video disediakan, konvensi (aturan yang tidak tertulis, dilakukan secara berulang-ulang) dan simbol yang digunakan untuk mewakili wacana atau karakteristik sebuah interaksi harus digambarkan secara jelas.
4.5. Sebuah pemikiran harus menyediakan relevansi sebuah ukuran atau klasifikasi untuk menangkap karakteristik di mana pertanyaan tentang kesesuaian yang mungkin akan timbul.
5. Analysis and Interpretation
Sebuah aspek penting dari pelaporan adalah untuk memberikan bukti bahwa hasil dan kesimpulan terjamin. Dalam pelaporan, beberapa metode atau penelitian tidak mudah diklasifikasikan sebagai metode kuantitatif atau kualitatif, terdapat standar yang relevan dari kedua set perlu ditangani.
Standart secara umum:
5.1. Prosedur yang digunakan untuk analisis harus tepat dan transparan.
5.2. Teknik analitik harus dijelaskan secara rinci untuk memberi pemahaman tentang bagaimana data dianalisis.
5.3. Analisis dan interpretasi dari hasil analisis harus jelas bagaimana mereka mendukung kesimpulan yang diambil dalam penelitian.
5.4. Analisis dan interpretasi harus menyertakan informasi tentang keadaan yang dimaksud atau yang tidak diinginkan yang mungkin memiliki implikasi signifikan bagi interpretasi hasil, membatasi penerapannya, atau kompromi keabsahannya.
5.5. Presentasi dari sebuah kesimpulan harus: (a) memberikan pernyataan tentang bagaimana klaim dan interpretasi mengatasi masalah penelitian, atau masalah yang mendasari penelitian; (B) menunjukkan bagaimana kesimpulan terhubung untuk mendukung (c) menekankan pada teoritis, praktis, atau implikasi metodologi penelitian.
Dengan menggunakan metode kuantitatif:
5.6. Laporan harus jelas menyatakan apa analisa statistik dilakukan dan kelayakan uji statistik, menghubungkannya dengan logika desain dan analisis yang dapat menggambarkan secara cukup detail bahwa data-data dapat direplikasi oleh analis data yang kompeten.
5.7. Deskriptif dan inferensial statistik harus disediakan untuk masing-masing analisis statistik untuk interpretasi hasil.
5.8. Pertimbangan yang muncul dalam pengumpulan dan pengolahan data (misalnya data hilang, penyimpangan dari administrasi standar instrumen, kecurangan) yang mungkin membahayakan validitas analisis statistik atau kesimpulan harus dilaporkan.
5.9. Pertimbangan yang diidentifikasi selama analisis data (misalnya, pelanggaran asumsi prosedur statistik, kegagalan prosedur statistik, perubahan model analisis) yang dapat membahayakan validitas dari analisis statistik atau kesimpulan harus dilaporkan.
5.10. Untuk setiap hasil statistik, sangat penting untuk dimasukkan: (a) relasi index kuantitatif antar variabel, (b) indek ketidakpastian, (c) uji statistik dan tingkat signifikansi yang terkait, (d) Interpretasi kualitatif efek.
Dengan menggunakan metode kualitatif:
5.11. Deskripsi, klaim, dan interpretasi proses pengembangan harus dijelaskan dan diilustrasikan secara jelas.
5.12. Bukti yang berfungsi sebagai surat perintah untuk setiap klaim harus disajikan.
5.13. Praktek yang digunakan untuk mengembangkan harus dijelaskan, termasuk pencarian bukti dan interpretasi alternatif.
5.14. Komentar interpretatif harus memberikan pemahaman yang lebih dalam klaim.
6. Generalization
6.1. Sangat penting untuk membuat jelas spesifikasi peserta, konteks, kegiatan, koleksi data, dan manipulasi yang terlibat dalam penelitian ini.
6.2. Penulis harus menjelaskan lingkup dari temuan penelitian.
6.3. Penulis harus menjelaskan logika dimana temuan penelitian harus diterapkan dalam lingkup generalisasi.
7. Ethics in Reporting
7.1. Pertimbangan etis yang terlibat dalam pengumpulan data, analisis, dan pelaporan harus secara eksplisit dijelaskan.
7.2. Laporan penelitian dan temuan harus disajikan sesuai dengan perjanjian persetujuan.
7.3. Laporan harus mencakup deskripsi dari setiap potensi konflik kepentingan atau bias dari peneliti.
7.4. laporan penelitian harus akurat
7.5. Data atau bahan empiris yang relevan dengan kesimpulan harus dipertahankan AGAR peneliti dapat mereproduksi analisis atau melacak jejak bukti yang mengarah ke kesimpulan penulis.
7.6. Dukungan dana harus disertakan.
8. Title , Abstract and Heading
8.1. Judul harus jelas menyampaikan tentang maksud artikel
8.2. Abstrak harus menyediakan ringkasan artikel yang ringkas, dan akurat.
8.3. Judul dan subjudul harus memperjelas logika penyelidikan yang mendasari laporan.
Evaluasi Proposal
Evaluasi berfokus pada dua isu berikut: (1) Makna dari peneliatan yang diajukan dan (2) kualitas dari penelitian yang diajukan. Isu-isu berikut dipertimbangkan dalam hubungan evaluasi proposal terhadap dua karakteristik tersebut.
Makna dari Penelitian yang Diajukan :
Kontribusi untuk pengetahuan dasar yang relevan untuk solusi dari masalah edukasi
Kontribusi untuk teori edukasi
Kontribusi untuk pengembangan dari alat metodologis, baik untuk praktek maupun penelitian edukasi
Kontribusi untuk solusi dari masalah edukasi, baik yang jarak jauh maupun jarak dekat
Potensi generalisasi dari hasil yang diharapkan
Potensi dari hasil yang diharapkan untuk mempengaruhi kemajuan dari praktek edukasi
Kualitas dari Penelitian yang Diajukan :
Sejauh mana penulis menunjukkan sebuah pengetahuan menyeluruh dari penelitian sebelumnya yang relevan
Sejauh mana penelitian sebelumnya berhubungan dengan penelitian yang diajukan
Kelengkapan dan kelayakan dari desain penelitian
Kelayakan dari instrumentasi dan metodologi
Kelayakan dari analisis yang diharapkan
Kemungkinan penelitian yang diajukan dapat berhasil diselesaikan sebagaimana dideskripsikan
Badan pendanaan biasanya mempertimbangkan kualifikasi dari peneliti utama dan staf proyek penelitian lainnya, dan mereka mungkin membutuhkan sebuah pernyataan fasilitas dan sumber daya yang tersedia untuk peneliti. Kewajaran dari anggaran sudah disebutkan. Bagaimanapun juga, karakteristik ini biasanya menerima beberapa poin, karena anggara dapat dirundingkan jika mereka tidak kelihatan tidak sesuai dengan petugas fiskal dari badan pendanaan.
Kriteria yang implisit juga diterapkan dalam mengevaluasi proposal. Penulisan harus benar dan rapi secara teknis. Konten dari proposal harus tersusun dengan baik, dan harus ada keterkaitan yang bagus antar bagian dan di dalam bagian itu sendiri. Secara umum, format yang diterima, melingkupi ukuran dari batas pinggir dan jarak, harus diikuti.
Persiapan dari proposal penelitian yang baik bukanlah tugas yang kecil dan evaluasi internal harus menjadi bagiannya. Saat menyerahkan sebuah proposal kepada badan pendanaan, penting diperhatikan pedoman persiapan proposal dari badan tersebut. Beberapa badan tidak mempunyai pedoman; mereka akan menerima format standar manapun. Yayasan swasta dan program pendanaan dalam agensi yang besar seringkali mendanai proyek untuk tujuan yang spesifik atau hanya pada area-area tertentu. Batasan-batasan tersebut perlu diperhatikan; ada poin kecil dalam menyerahkan proposal yang tidak cocok dengan kepentingan agensi.
Proses ulasan terhadap proposal seringkali didasarkan oleh kriteria eksplisit dengan sebuah angka tertentu yang diperbolehkan pada tiap kriteria. Tabel berikut mengilustrasikan formulir peringkat khusus untuk proposal. Formulir tersebut digunakan untuk sebuah Request for Proposals (RFP) untuk mengadakan penelitian pada edukasi/pelatihan guru di Kanada, namun kriteria evaluasinya sama pada proposal-proposal pada umumnya. (Canadian Education Statistics Council, 2001).
RINGKASAN
Siapapun yang terlibat dalam penelitian, cepat atau lambat (biasanya cepat) akan menyadari pentingnya untuk membaca laporan penelitian tentang area penelitian. Saat mengevaluasi, kita berfokus pada (1) konten dan kualitas dari bagian-bagian individual dan (2) laporan keseluruhan, kelengkapan, kelanjutan, dst. Kriteria untuk mengevaluasi kualitas dari laporan penelitian dapat menunjukkan bahwa gaya dan format penulisan harus sesuai dengan standar yang diharapkan lembaga/badan yang mengevaluasi.
PUSTAKA
Wiersma, W., and Jurs, S.G. (2009). Research Methods in Education, an introduction (9th ed.). Boston : Pearson.
No comments:
Post a Comment