Tingkat Indikator
Rumusan Indikator
Tujuan Indikator
Cara Mengumpulkan dan Menganalisis Data yang Diperlukan
Tentukan nilai indikator tersebut dengan menggunakan metodologi berikut:
1) Bersama mitra utama proyek dan pemangku kepentingan terkait lainnya, diskusikan dan sepakati kriteria serta definisi indikator yang jelas.
Tentukan apa yang dimaksud dengan “mitra lain” sesuai dengan konteks proyek. Hal ini dapat mencakup kelompok nonformal yang didukung proyek, jaringan, organisasi berbasis masyarakat (CBO), pelaku sektor swasta, lembaga penelitian, dan kelompok masyarakat.
Sebutkan topik atau isu yang menjadi sasaran upaya advokasi organisasi masyarakat sipil (CSO) dan mitra-mitranya.
Jelaskan tahap-tahap mana saja dalam siklus kebijakan yang akan dievaluasi, seperti penetapan agenda, penyusunan rancangan, konsultasi, pengesahan, dan pelaksanaan.
Jelaskan arti kata “kontribusi” dalam konteks Anda. Pertimbangkan saran-saran berikut ini:
Menyediakan hasil penelitian, data, atau masukan teknis yang digunakan dalam penyusunan kebijakan
Menyelenggarakan atau memfasilitasi konsultasi atau dialog yang menjadi dasar penetapan arah kebijakan
Mendorong agar isu-isu, kelompok, atau pendekatan tertentu dimasukkan
Membangun koalisi atau jaringan yang memengaruhi proses pembuatan kebijakan
Mendukung pelaksanaan atau pemantauan kebijakan baru atau yang telah direvisi
2) Tetapkan periode acuan untuk mengumpulkan bukti kontribusi organisasi masyarakat sipil (OMS) dan mitra terhadap perubahan kebijakan. Biasanya , penilaian dilakukan terhadap perkembangan yang terjadi dalam tahun pelaporan atau periode proyek saat ini (misalnya, 12 bulan terakhir).
3) Kembangkan alat untuk mencatat bukti kontribusi organisasi masyarakat sipil (OMS) dan mitra terhadap perubahan kebijakan. Siapkan alat sederhana (tabel atau daftar periksa) untuk mendokumentasikan setiap proses kebijakan yang melibatkan OMS/mitra sesuai dengan kriteria yang telah ditetapkan sebelumnya (langkah 1). Alat tersebut dapat mencatat, misalnya, informasi berikut untuk setiap kasus yang diamati mengenai kontribusi OMS dan mitra terhadap perubahan kebijakan:
lokasi
periode / tanggal
LSM / mitra
jenis kebijakan / isu
tahap-tahap proses kebijakan (penetapan agenda, penyusunan rancangan, konsultasi, pengesahan, pelaksanaan)
jenis kontribusi (misalnya: advokasi, masukan teknis, fasilitasi dialog, dan sebagainya)
uraian mengenai peran LSM / mitra serta lingkup kontribusinya
makna perubahan
sumber verifikasi / bukti
kontribusi proyek
kontribusi dari pihak luar
4) Kumpulkan bukti melalui dua atau lebih metode yang disarankan:
Tinjauan dokumen dan media: Meninjau draf kebijakan, laporan konsultasi, makalah posisi, artikel media, dan pernyataan resmi yang merujuk pada masukan dari organisasi masyarakat sipil (CSO) / mitra.
Wawancara dengan Narasumber Utama: Melakukan wawancara dengan para pembuat kebijakan, pemimpin organisasi masyarakat sipil, dan mitra untuk memahami kontribusi serta pengaruh masing-masing pihak.
Diskusi Kelompok Terfokus atau lokakarya refleksi: Memfasilitasi diskusi partisipatif di antara organisasi masyarakat sipil (OMS) dan mitra untuk menilai dan memvalidasi sejauh mana kontribusi kolektif mereka.
5) Catat informasi yang telah dikumpulkan dan diverifikasi ke dalam alat/basis data yang telah dikembangkan (langkah 3).
6) Kembangkan serangkaian kriteria dan standar yang jelas untuk menilai sejauh mana kontribusi organisasi masyarakat sipil (CSO)/mitra. Salah satu opsi adalah menggunakan rubrik (panduan lebih lanjut tersedia di sumber daya di bawah) — alat penilaian terstruktur yang menggunakan tingkatan deskriptif untuk menilai tingkat kinerja yang dicapai. Rubrik menyediakan kriteria naratif yang jelas untuk setiap tingkatan, sehingga pengguna dapat mengklasifikasikan kemajuan secara konsisten, sistematis, dan dapat dibandingkan. Rubrik dalam hal ini harus menggambarkan sejauh mana dan seberapa substansial CSO/mitra memengaruhi hasil kebijakan pada setiap tahap siklus kebijakan. Pengguna harus selalu merumuskan rubrik khusus proyek mereka sendiri pada tahap awal sesuai dengan temuan awal. Idealnya, perumusan tersebut dilakukan selama lokakarya bersama dengan mitra proyek. Contoh ilustrasi skala rubrik sederhana dan deskripsi setiap tingkatan dapat berupa:
Tidak ada (=0) – Organisasi Masyarakat Sipil (OMS)/mitra tidak ikut serta dalam proses kebijakan.
Minimal (=1) – Organisasi Masyarakat Sipil (OMS)/mitra mengetahui atau diundang ke dalam proses kebijakan, namun hanya berperan secara terbatas atau sebagai pengamat.
Sedang Berkembang (=2) – Organisasi Masyarakat Sipil (OMS)/mitra memberikan masukan atau bukti, namun kontribusi mereka hanya memiliki pengaruh yang terbatas dan tidak terlalu terlihat terhadap hasil kebijakan.
Sedang (=3) – Organisasi Masyarakat Sipil (OMS)/mitra memberikan kontribusi yang berarti yang memengaruhi bagian-bagian tertentu dari perumusan kebijakan atau perancangan proses.
Signifikan (=4) – Organisasi Masyarakat Sipil (OMS)/mitra memiliki pengaruh yang besar terhadap isi kebijakan, kerangka kebijakan, atau rencana pelaksanaannya.
Transformatif (=5) – Organisasi Masyarakat Sipil (OMS)/mitra turut merumuskan kebijakan atau melembagakan mekanisme partisipasi untuk pengembangan kebijakan yang berkelanjutan.
Saat menyusun tingkat rubrik, Anda juga dapat menggunakan bahasa penanda kemajuan (panduan lebih lanjut tersedia dalam sumber daya di bawah ini) seperti “Diharapkan terlihat”, “Sebaiknya terlihat”, dan “Sangat diharapkan terlihat”. Anda juga dapat menyusun penanda kemajuan “Tidak diharapkan terlihat” untuk menggambarkan perubahan negatif, serta penanda kemajuan “Perlu terlihat” untuk melaporkan hasil yang diperlukan agar hasil akhir tercapai.
7) Menilai pencapaian indikator: Gunakan informasi yang telah dikumpulkan dan dicatat dalam alat/basis data yang telah dikembangkan (langkah 3) untuk menetapkan tingkat—minimal, awal, sedang, signifikan, transformatif—pada setiap proses kebijakan, topik kebijakan, atau lokasi yang dievaluasi, sesuai dengan konteks proyek Anda. Untuk menentukan tingkat yang sesuai, libatkan pakar atau — jika Anda ingin mendorong partisipasi dan memperkuat rasa kepemilikan — selenggarakan lokakarya partisipatif (misalnya bersama organisasi masyarakat sipil dan mitra lainnya).
Menggunakan skor numerik (misalnya 1–5, seperti yang disarankan pada langkah 6) alih-alih nama tingkat dapat mempermudah perbandingan.
Jika diinginkan, gabungkan hasilnya untuk menunjukkan berapa banyak proses kebijakan atau topik kebijakan yang termasuk dalam setiap tingkatan.
Pertimbangkan untuk melibatkan pakar atau penilai eksternal guna memperkuat/memvalidasi hasil Anda selama proses evaluasi proyek.
8) Laporan mengenai indikator. Berikan deskripsi naratif mengenai pencapaian indikator tersebut dengan menggunakan bukti yang dikumpulkan dan tingkat rubrik yang ditetapkan (langkah 7), serta notulen atau dokumentasi dari lokakarya penilaian partisipatif—jika tersedia. Jelaskan perubahan atau perkembangan kebijakan yang teridentifikasi, uraikan sejauh mana kontribusi organisasi masyarakat sipil (CSO) dan mitra, serta gambarkan jalur-jalur di mana advokasi, keterlibatan, atau dialog mereka memengaruhi proses kebijakan. Dalam pelaporan Anda, gabungkan informasi kuantitatif yang tersedia—jumlah proses kebijakan yang dievaluasi—dengan interpretasi kualitatif yang menjelaskan sejauh mana kontribusi yang diamati. Gunakan hasil rubrik untuk merangkum pola atau pergeseran secara keseluruhan dalam sejauh mana kontribusi CSO/mitra.
Pisahkan berdasarkan
Laporkan dan tafsirkan temuan dengan mengacu pada faktor-faktor kontekstual yang relevan, seperti jenis proses kebijakan atau topik kebijakan, tingkat pemerintahan (lokal, regional, nasional), dan jenis pemangku kepentingan yang terlibat (LSM, sektor swasta, akademisi, jaringan), sejauh memungkinkan dan sesuai.
Catatan Penting
1) Gunakan indikator ini jika Anda ingin berfokus pada tingkat keterlibatan, bukan sekadar adanya keterlibatan. Gunakan kriteria kualitatif yang jelas (misalnya, rubrik) untuk menggambarkan seberapa besar pengaruh atau seberapa mendalam keterlibatan organisasi masyarakat sipil (CSO) dan mitra tersebut, bukan sekadar apakah keterlibatan itu terjadi atau tidak.
2) Pertimbangkan untuk menggunakan metodologi Outcome Harvesting guna menilai dan memverifikasi kontribusi organisasi masyarakat sipil (OMS) dan mitra terhadap perubahan kebijakan. Metodologi Outcome Harvesting sangat sesuai untuk indikator ini, karena membantu mengidentifikasi, mendeskripsikan, dan memvalidasi secara sistematis contoh-contoh konkret di mana tindakan OMS atau mitra memengaruhi isi atau proses kebijakan. Manfaatkan panduan mengenai metodologi Outcome Harvesting yang disajikan dalam dokumen-dokumen di bawah ini. Untuk setiap “hasil yang diidentifikasi,” catat:
Apa yang berubah? (isi kebijakan atau prosesnya)
Siapa yang mengubahnya? (lembaga atau pengambil keputusan mana)
Bagaimana perubahan itu terjadi? (advokasi, bukti, koordinasi)
Seberapa besar dampak perubahan ini?
Bagaimana proyek tersebut memberikan kontribusi? (misalnya: fasilitasi, penguatan kapasitas)
3) Untuk memantau perkembangan dari waktu ke waktu, terapkan rubrik tersebut pada tahap awal dan kembali pada titik pelaporan yang telah direncanakan (misalnya, setiap tahun dan/atau pada tahap akhir) guna menilai apakah tingkat kontribusi organisasi masyarakat sipil (CSO) dan mitra mengalami perubahan seiring berjalannya waktu — misalnya, dari “yang mulai berkembang” menjadi “yang signifikan.”
4) Menafsirkan hasil dan penilaian dalam konteks kebijakan, kelembagaan, dan politik. Misalnya, sebuah organisasi masyarakat sipil (CSO) lokal yang memengaruhi pedoman pemerintah kota kecil bisa sama bermaknanya dengan koalisi nasional yang membentuk unsur-unsur kebijakan sektor besar. Saat memberikan skor, dorong mitra untuk menjelaskan langkah-langkah apa yang diperlukan untuk mencapai tingkat kemajuan berikutnya pada periode berikutnya, dengan mempertimbangkan kondisi pendukung—keterbukaan pemerintah, kapasitas jaringan, waktu yang tepat, dukungan donor—serta hambatan yang mungkin perlu diatasi. Hal ini membantu menghindari perbandingan yang tidak tepat antar konteks dan memberikan wawasan mengenai ruang politik di mana CSO dan mitra beroperasi.
5) Mengingat ruang sipil melibatkan banyak aktor, teliti bagaimana kegiatan proyek mungkin telah memengaruhi sejauh mana kontribusi organisasi masyarakat sipil (CSO) dan mitra terhadap pengembangan kebijakan. Hal ini akan membantu Anda memahami kontribusi Anda secara lebih mendalam. Tentukan apakah perubahan yang diamati dapat dikaitkan dengan dukungan proyek (misalnya: penguatan kapasitas, koordinasi, fasilitasi ruang dialog, pendanaan, pengumpulan bukti, serta upaya membangun jaringan). Saat menilai kontribusi, periksa apakah (a) kegiatan proyek selaras dengan hasilnya, (b) pemangku kepentingan mengonfirmasi pengaruh proyek, dan (c) apakah ada penjelasan alternatif yang lebih kuat. Dokumentasikan jalur kontribusi menggunakan wawancara, sesi refleksi, atau Outcome Harvesting untuk memahami bagaimana proyek tersebut membantu memperkuat keterlibatan CSO dalam proses kebijakan.
6) Jika sumber daya memungkinkan, pertimbangkan juga faktor-faktor alternatif atau eksternal yang berkontribusi terhadap perubahan. Hal ini dapat dievaluasi dengan mengajukan pertanyaan-pertanyaan seperti:
Bagaimana konteks politik memengaruhi perubahan/hasil ini, baik secara positif maupun negatif?
Bagaimana kerja sama dengan pihak-pihak lain memengaruhi tercapainya perubahan/hasil ini? Pihak-pihak mana saja yang terlibat, dan dalam hal apa saja keterlibatan mereka membantu atau justru menghambat kemajuan?
7) Jika proyek Anda bertujuan untuk memperkuat partisipasi dan rasa kepemilikan para pemangku kepentingan utama, libatkan mereka dalam perancangan metodologi indikator dan/atau validasi hasil indikator. Libatkan perwakilan organisasi masyarakat sipil (OMS)/mitra dan/atau pemerintah dalam menyusun kriteria penilaian, meninjau tingkat penilaian yang ditetapkan/skor numerik, serta mendiskusikan pemahaman bersama mereka mengenai tingkat kontribusi.
8) Jika proyek Anda memiliki komponen Kesetaraan Gender dan Inklusi Sosial yang kuat, pertimbangkan untuk mengevaluasi apakah kelompok-kelompok yang terpinggirkan atau kurang terwakili (misalnya perempuan, pemuda, penyandang disabilitas, minoritas etnis) terlibat dalam proses advokasi, keterlibatan pemangku kepentingan, atau dialog kebijakan. Teliti apakah perspektif mereka tercermin dalam usulan atau draf kebijakan, serta apakah mereka memperoleh manfaat dari perubahan kebijakan yang dihasilkan. Dokumentasikan hambatan yang dihadapi kelompok-kelompok ini dalam berkontribusi atau memengaruhi pengembangan kebijakan, dan gunakan wawasan ini untuk merekomendasikan cara-cara agar proses advokasi dan dialog kebijakan menjadi lebih inklusif dan adil.
9) Jika penggunaan rubrik terlalu memakan sumber daya atau jika data yang cukup tidak dapat dikumpulkan untuk membenarkan skor secara andal (misalnya karena skala proyek atau kendala koordinasi mitra), pertimbangkan untuk menyederhanakan pendekatan tersebut. Anda dapat menggunakan Outcome Harvesting secara mandiri tanpa penilaian menggunakan rubrik untuk mendokumentasikan dan memverifikasi hasil secara kualitatif, berbasis hasil, dan didukung bukti. Anda juga dapat memilih indikator kuantitatif yang lebih sederhana, seperti Jumlah kebijakan pemerintah di tingkat [lokal / provinsi / nasional] yang dikembangkan atau direvisi dengan partisipasi aktif organisasi masyarakat sipil (CSO), yang berfokus pada penghitungan kasus-kasus keterlibatan kebijakan yang terverifikasi daripada menilai kedalaman pengaruhnya. Alternatif-alternatif ini mengurangi beban pengukuran sambil tetap menangkap keterlibatan CSO yang bermakna.
10) Untuk proyek yang didanai UE, pertimbangkan indikator OPSYS berikut ini sebagai gantinya (pilihan lainnya dapat ditemukan di situs web Indikator yang Telah Ditentukan untuk Perancangan dan Pemantauan Intervensi yang Didanai UE ): Sejauh mana intervensi yang didanai UE mendukung advokasi masyarakat sipil yang efektif dalam mempromosikan perluasan sistem perlindungan sosial (indikator inti OPSYS).
11) Pertimbangkan indikator-indikator advokasi lainnya dariIndiKit :
Akses Panduan Tambahan
- Evaluasi yang Lebih Baik - Pengumpulan Hasil
- INTRAC (2017) Outcome Harvesting (.pdf)
- Outcome Harvesting
- Penggunaan Rubrik
- INTRAC (2024) Pemetaan Hasil (.pdf)