Akhir-akhir ini, saya banyak membimbing skripsi yang kebanyakan terkaitan dengan pengembangan dan evaluasi produk maupun layanan pembelajaran. Khusus untuk skripsi yang bersifat evaluasi program, seperti program pelatihan kebanyakan mahasiswa terpaku pada salah satu model saja, yaitu model CIPP (Cntext, Input, Process, dan Product) yang dikembangkan oleh Stufflebeam. Padahal masih banyak model lain yang bisa digunakan, tapi harus relevan dengan program yang akan dievaluasi tentunya.

Berikut saya ingin sekedar memberikan gambaran salah satu model evaluasi pelatihan yang mungkin rekan-rekan mahasiswa baik S1, S2, maupun S3 bisa gunakan untuk skripsi, tesis atau disertasi, yaitu model Flashlight Triad Blob. Model ini dikembangkan oleh Stephen C. Ehrmann, Ph.D. untuk mengevaluasi program online course. Jadi, cocok untuk mengevaluasi ‘elearning program’.

Model ini terdiri dari lima langkah yang secara umum dapat digambarkan sebagai berikut:

1. Overview and Confronting the Blob

Langkah pertama adalah melakukan kajian umum semacam curah pendapat. dengan kata lain mengurai benang kusut. Blob artinya mengidentifikasi segala sesuatu yang belum jelas. Melalui brainstorming ini akan terlihat kondisi dan permasalahan umum yang dihadapi dari suatu program pembelajaran online, mulai dari kesiapan pengelola, kesiapan dan prasyarat peserta, materi pembelajaran, bahan belajar yang digunakan, anggaran, teknologi yang dipakai, dan lain-lain. Tentu saja, untuk dapat memperoleh gambaran yang komprehensif, dalam tahap ini perlu melibatkan semua stakeholder terkait melalui focus group discussion, wawancara mendalam atau mungkin juga analisis dokumen.

2. Dari Blob menuju Issu

Tahap selanjutnya adalah dari identifikasi yang belum jelas (blob) menuju sesuatu yang lebih fokus (issu). Artinya, pada tahap ini adalah upaya untuk memfokuskan pertanyaan evaluasi yang diperoleh dari hasil pada tahap sebelumnya. Permasalahan yang melimpah luas sebagai dari hasil tahap satu, kemudian dikerucutkan menjadi suatu issu yang lebih fokus dan terarah. Tahap ini adalah saatnya menentukan tujuan evaluasi yang lebih spesifik. Pilih issu-issu yang lebih krusial dan lupakan issu-issu lainnya.

3. From Issues to Triad

Dari issu yang telah difokuskan tadi, masukan kedalam tabel “triad” yang terdiri dari tiga aspek yaitu Teknologi, Aktifitas dan Outcome. Kira-kira seperti ini triad-nya:

Triad ini adalah tool untuk mengidentifikasi teknologi yang digunakan, aktifitas yang dilakukan dengan teknologi tersebut serta outcome yang diharapkan dicapai dengan menggunakan teknologi tersebut. Misal issu pertama adalah terkait dengan penggunaan tool komunikasi seperti email, chatt dan lain-lain. tool komunikasi tersebut digunakan untuk aktifitas saling mengevaluasi, mengkritik dan memberikan umpan balik terhadap ide, produk antar peserta onlione course dengan harapan akan terjadi peningkatan tingkat kepuasan dan peningkatan tingkat kolaborasi antar peserta.

4. from Triad to data

Mengacu pada triad yang telah diidentifikasi dengan cermat di atas, kemudian kita dapat memunculkan pertanyaan-pertanyaan evaluasi yang lebih mendalam dan rinci. Fungsinya tentulah untuk mengumpulkan data dengan menggunakan beberapa teknik pengumpulan data yang relevan seperti wawancara, kuesioner, focus group discussion, analisis dokumen, observasi langsung, dan lain-lain. Ada lima tipe pertanyaan yang mestinya kita gunakan dalam rangka memperoleh data yang akurat, yaitu:

• Pertanyaan tipe 1: Teknologi. Pertanyaan ini terkait dengan hal-hal teknis seperti infrastruktur dan fasilitas teknologi pendukung lainnya, kapasitas infrastruktur tersebut, kemampuannya serta kemampuan atau kemudahan peserta dalam menggunakan teknologi yang diterapkan tersebu
• Pertanyaan 2: Interaksi antara teknologi dengan aktifitas pembelajaran. Pertanyaan yang terkait dengan apakah teknologi-teknologi yang digunakan mendukung aktifitas-aktifitas pembelajaran khusus tertentu yang dibutuhkan? kira-kira begitu.
• Pertanyaan Tipe 3: Aktifitas Pembelajaran. Pertanyaan-pertanyaan yang terkait dengan berbagai aktifitas pembelajaran yang dilakukan oleh peserta. Misalnya pertanyaan terkait dengan aktifitas forum diskusi, aktifitas pengerjaan tugas-tugas terstruktur, aktifitas kolaborasi, dan lain-lain.
• Pertanyaan Tipe 4: Interaksi antara Aktifitas dengan Outcome. Yaitu pertanyaan yang menggali hubungan natara aktifitas yang didukung teknologi tersebut dengan outcome yang diharapkan dihasilkan. Misal, apakah tool/aplikasi forum diskusi dapat mendukung peningkatan tingkat kolaborasi antar peserta?
• Pertanyaan Tipe 5: Outcome. Pokoknya, yang ini adalah pertanyaan terkait dengan tingkat ketercapaian hasil belajar, tingkat kepuasan belajar, dan lain-lain.

Contoh pertanyaan dapat Anda lihat disini:

• Survey of Student Usage of Course Info Communication Tools
• Survey of Faculty-Student Interaction in a Technology-Supported Course
• Survey of Active Learning in a Technology-Supported Course

5. From Data to Next Steps. Ini adalah tahap akhir dimana kita memberikan berbagai rekomendasi yang mengacu pada data atau temuan yang kita perloeh dari evaluasi yang kita lakukan tersebut.

Sebagai gambaran, silakan donlot penerapannya disini: Online Course survey

Semoga Bermanfaat. SELAMAT BERDJOEANG!