Peningkatan Pengetahuan / Keterampilan

Hasil

jumlah atau persentase [sebutkan kelompok sasaran] yang memiliki pengetahuan dan/atau keterampilan yang meningkat dalam [sebutkan topik]

Indikator ini mengukur sejauh mana peserta proyek (misalnya, aktor masyarakat sipil, perwakilan pemerintah, mahasiswa, dan pemangku kepentingan lainnya) telah memperoleh pengetahuan atau keterampilan sebagai hasil dari kegiatan pembelajaran dan transfer keterampilan yang didukung proyek, seperti pelatihan, lokakarya, demonstrasi, pendampingan, bimbingan, sesi penyadaran, atau kegiatan penguatan kapasitas lainnya. Indikator ini berfokus pada apakah peserta telah meningkatkan pemahaman dan/atau kemampuan praktis mereka dalam satu atau beberapa bidang topik tertentu yang menjadi sasaran intervensi.

Tentukan nilai indikator tersebut dengan menggunakan metodologi berikut:

 

1)Tentukan bidang pengetahuan dan/atau keterampilan utama yang ingin diperkuat oleh proyek ini.Bidang-bidang tersebut harus selaras dengan tujuan pembelajaran dari intervensi tersebut dan didefinisikan dengan jelas sebelum pengumpulan data. Pastikan tim secara konsisten menerapkan perbedaan antara pengetahuan (pemahaman atau kesadaran yang lebih baik mengenai konsep, kebijakan, atau prosedur) dan keterampilan (kemampuan untuk menerapkan pengetahuan tersebut secara efektif).

2)Rancanglah pendekatan pengukuran yang sesuai dengan mempertimbangkan audiens sasaran Anda untuk mengevaluasi perubahan dalam pengetahuan dan/atau keterampilan. Hal ini biasanya memerlukan pengukuran selisih antara kondisi awal (situasi sebelum pemberian dukungan) dan kondisi pasca-intervensi (situasi setelah pemberian dukungan). Pilihan yang paling umum antara lain:

• Tes pengetahuan dan/atau keterampilan terstandarisasi: Laksanakan tes yang sama atau setara sebelum dan sesudah intervensi, lalu bandingkan skor masing-masing peserta.

• Penilaian mandiri: Minta peserta untuk menilai tingkat pengetahuan dan/atau keterampilan mereka terkait masing-masing bidang yang dinilai, baik sebelum maupun sesudah intervensi, dengan menggunakan skala standar (misalnya, 1 = sangat rendah, 5 = sangat tinggi).

• Pengamatan atau penilaian kinerja praktis: Mengamati secara langsung para peserta saat mereka melakukan tugas-tugas yang relevan atau mendemonstrasikan keterampilan dalam situasi nyata atau simulasi, serta mencatat seberapa baik kinerja mereka menggunakan formulir pengamatan terstruktur.

Jika indikator tersebut mencakup keterampilan, setidaknya satu metode yang mengukur penerapan keterampilan dalam praktik harus digunakan. Metode tersebut dapat berupa pengamatan langsung, tugas praktis, atau indikator pengganti berbasis bukti yang menilai hasil kerja yang dilakukan (misalnya, penilaian hasil kerja menggunakan kriteria kualitas yang telah ditetapkan sebelumnya, penilaian terstruktur terhadap kinerja tugas oleh pelatih atau mentor berdasarkan penerapan yang diamati, atau simulasi berbasis tugas yang dinilai berdasarkan standar yang jelas).

3)Tetapkan ambang batas minimum untuk peningkatan yang mendefinisikan “peningkatan pengetahuan dan/atau keterampilan.” Contoh:

• Persentase peningkatan minimal antara nilai pra-tes dan pasca-tes (misalnya, kenaikan setidaknya 20%).

• Kenaikan setidaknya satu poin pada skala penilaian diri yang terdiri dari 5 poin.

• Terlihat adanya peningkatan kinerja dalam melaksanakan tugas sesuai dengan kriteria yang telah ditetapkan.

Hindari menetapkan persyaratan yang terlalu tinggi hingga tidak realistis atau terlalu rendah tanpa alasan yang jelas dengan memverifikasi tingkat kesulitan metode penilaian tersebut melaluiuji coba awalyang melibatkan setidaknya 10 orang.

4)Kumpulkan data pra-intervensi baik dari seluruh populasi sasaran maupun dari sampel yang representatif, sesuai dengan kebutuhan.

5)Kumpulkan data pasca-intervensi. Ulangi pengumpulan data, idealny , segera setelah intervensi, dan, jika memungkinkan, sekali lagi pada tahap selanjutnya untuk menilai tingkat retensi. Pastikan responden telah memiliki waktu yang cukup untuk menginternalisasi atau menerapkan apa yang telah mereka pelajari. Individu yang sama harus dievaluasi pada semua titik pengukuran agar memungkinkan perbandingan pada tingkat individu antara hasil sebelum dan sesudah intervensi.

6)Evaluasi hasil pada tingkat peserta. Hitung berapa banyak peserta yang telah mencapai ambang batas minimum yang disyaratkan untuk peningkatan pengetahuan dan/atau keterampilan sebagaimana ditetapkan pada langkah 3.

7) Untuk menghitung nilai indikator tersebut, bagi jumlah peserta yang memenuhi ambang batas peningkatan pengetahuan/keterampilan yang telah ditetapkan dengan jumlah total peserta yang dinilai. Kalikan hasilnya dengan 100 untuk mengubahnya menjadi persentase.

Data tersebut dapat dipisahkan berdasarkan jenis kelamin, kelompok usia, wilayah geografis, dan/atau karakteristik relevan lainnya (misalnya, jenis pelatihan atau topik, organisasi sasaran), tergantung pada konteks dan fokus proyek Anda.

1) Saat melakukan survei terhadap sampel alih-alih seluruh populasi sasaran, pastikan ukuran sampelnya cukup besar untuk memperhitungkan tingkat pengurangan responden pada tahap akhir, karena tidak semua responden pada tahap awal mungkin masih tersedia pada tahap tersebut. Hal ini membantu memastikan bahwa penilaian pasca-intervensi tetap representatif (ukuran sampel Anda tetap cukup besar) dan memungkinkan pengumpulan data dari responden yang sama baik pada pengukuran tahap awal maupun tahap akhir.

2) Jika Anda bermaksud mengukur baik pengetahuan maupun keterampilan, mengandalkan tes awal dan tes akhir saja mungkin tidak cukup. Metode tambahan, seperti observasi atau penilaian kinerja praktis, mungkin diperlukan untuk mengukur peningkatan keterampilan secara memadai.

3) Langkah-langkah metodologis di atas merekomendasikanpengumpulan data sebelum dan sesudah intervensi untuk mengetahui sejauh mana responden mengalami peningkatan (atau tidak) dalam pengetahuan dan/atau keterampilan mereka. Namun, jika pengumpulan data awal tidak memungkinkan atau pengujian sebelum dan sesudah intervensi tidak sesuai untuk kelompok sasaran, formulir evaluasi berbasis ingatan dapat digunakan sebagai alternatif. Formulir semacam itu dapat mencakup pertanyaan kontrafaktual atau pertanyaan mengenai kondisi awal, misalnya:

• Menurut Anda, sejauh mana dukungan yang diberikan oleh [ sebutkan organisasi/pihak] memengaruhi pengetahuan Anda tentang [ sebutkan topik]?

• Apakah Anda memperoleh keterampilan dan pengetahuan yang sebelumnya belum Anda miliki?

Nilai gabungan dari beberapa pertanyaan semacam itu dapat digunakan untuk mengukur “peningkatan pengetahuan dan/atau keterampilan.” Formulir evaluasi semacam itu juga berguna untuk mengumpulkan umpan balik guna meningkatkan program intervensi.

Pendekatan berbasis ingatan sebaiknya dianggap sebagai pilihan kedua dan hanya digunakan jika data dasar tidak dapat dikumpulkan, karena bias ingatan dan bias keinginan sosial dapat membesar-besarkan hasil, terutama dalam konteks pelatihan yang didanai oleh donor. Oleh karena itu, temuan dari metode berbasis ingatan sebaiknya ditafsirkan sebagai perubahan yang dirasakan, bukan perubahan yang terukur.

4) Jika proyek Anda bertujuan untuk mengukur apakah populasi sasaran memiliki tingkat pengetahuan dan/atau keterampilan tertentu — bukan apakah tingkat tersebut telah meningkat seiring waktu — gunakan indikator % dari [sebutkan kelompok sasaran] yang memiliki pengetahuan/keterampilan yang diinginkan mengenai [sebutkan topik] sebagai gantinya. Keuntungan dari pendekatan ini adalah Anda tidak perlu mengumpulkan data awal dan data tindak lanjut dari responden yang sama.

5) Tentukan apakah akan mengukur dampak langsung dari suatu kegiatan yang bersifat satu kali (misalnya, demonstrasi) atau dampak dari proses pembelajaran yang lebih panjang (misalnya, serangkaian sesi pelatihan yang diselenggarakan selama periode waktu tertentu).

6)Jika menggunakan penilaian mandiri, validasi hasil tersebut melalui pemeriksaan eksternal untuk mengurangi bias. Mintalah para pelatih atau rekan sebaya untuk mengevaluasi apakah peserta dapat menunjukkan pengetahuan atau keterampilan yang telah mereka nilai sendiri. Langkah verifikasi ini memastikan bahwa hasilnya mencerminkan pembelajaran yang sesungguhnya, bukan sekadar persepsi subjektif.

7) Jika memungkinkan,lakukan “penilaian pasca-kegiatan” sebanyak dua kali: pertama, segera setelah kegiatan “penguatan kapasitas” selesai (untuk menunjukkan pembelajaran jangka pendek); dan kedua, 1–2 bulan kemudian (untuk menunjukkan pengetahuan dan/atau keterampilan yang benar-benar diingat dan mungkin digunakan oleh peserta). Namun,penilaian tersebut tidak perlu hanya berkaitan dengan satu kegiatan saja(misalnya pelatihan) — penilaian tersebut dapat dilakukan selama survei awal dan akhir, untuk menilai perubahan secara keseluruhan dalam pengetahuan dan/atau keterampilan spesifik populasi sasaran.

8) Berdasarkan analisis aksesibilitas dan gender Anda, nilai apakah diperlukan langkah-langkah tambahan untuk memastikan pengukuran yang adil dan akurat bagi semua responden, dan, jika diperlukan, terapkan langkah-langkah tersebut. Langkah-langkah ini dapat mencakup penyediaan berbagai format pengumpulan data (tertulis, lisan, atau digital) untuk mengakomodasi kemampuan yang berbeda-beda; memastikan lokasi penilaian bebas hambatan; memberikan waktu yang fleksibel bagi peserta yang membutuhkannya; mengizinkan penggunaan aplikasi atau program bantu; serta menyediakan bahan pendukung seperti teks cetak besar atau alat bantu visual. Gunakan bahasa dan contoh yang netral gender dalam semua pertanyaan, serta pisahkan dan tafsirkan hasil berdasarkan gender untuk mengidentifikasi apakah remaja perempuan, remaja laki-laki, atau remaja non-biner mengalami hasil belajar atau hambatan yang berbeda.

9) Jika relevan, pertimbangkan untuk menanyakan kepada responden dari mana mereka memperoleh pengetahuan/keterampilan tersebut. Hal ini mungkin dapat membantu Anda memahami kontribusi dari intervensi Anda.

10) Jika memungkinkan, tambahkan pertanyaan untuk mengumpulkan umpan balik mengenai kegunaan dan relevansi program penguatan kapasitas tersebut. Gunakan hasilnya untuk meningkatkan program tersebut.

11) Untuk memperkuat proses pembelajaran dan akuntabilitas, bagikan hasil penilaian kepada para peserta sejauh memungkinkan dan sesuai, serta manfaatkan hasil tersebut untuk menyempurnakan inisiatif pengembangan kapasitas di masa mendatang.