MUDAHKAN EVALUASI PEMBELAJARAN DENGAN AUTOMATIC QUESTION GENERATOR

Evaluasi pembelajaran merupakan kegiatan yang penting untuk dilakukan dalam proses pembelajaran karena dapat digunakan untuk menjadi alat ukur kemampuan siswa serta dapat digunakan untuk evaluasi metode pembelajaran yang digunakan oleh guru, sekaligus mengetahui apakah tujuan pembelajaran sudah tercapai saat prosesnya berlangsung. Evaluasi pembelajaran yang sering dilakukan adalah dengan guru memberikan soal yang berkaitan dengan materi yang telah diberikan saat proses belajar mengajar, akan tetapi seringkali soal-soal yang diberikan sudah usang atau menggunakan soal yang dibuat tahun-tahun sebelumnya dan kualitas soal yang kurang bervariasi, ini disebabkan tugas guru yang banyak dan tugas lainnya yang berkaitan dengan administrasi baik pribadi maupun sekolah. Inilah yang membuat guru tidak sempat untuk membuat soal yang memiliki kriteria tingkat kesulitan bervariasi seperti yang ada di dalam taksonomi Anderson. Untuk membantu guru mengatasi hal tersebut mahasiswa prodi pendidikan teknik informatika Fakultas Teknik UNY merancang sebuah sistem AQG (Automatic Question Generator) yang dapat digunakan oleh guru dalam pembuatan soal dari materi yang diinputkan dan kualitas soal yang dibuat juga memiliki kriteria tingkat kesulitan soal berdasarkan taksonomi Anderson sehingga kualitas evaluasi pembelajaran yang dilakukan oleh siswa tetap terjaga. Mereka adalah Danang Wijaya, Ahsan Firdaus dan Dhista Dwi Nur Ardiansyah yang tergabung dalam tim DikasihRegexDong.

Menurut Danang Wijaya salah satu kesulitan guru dalam melakukan evaluasi pembelajaran  adalah dalam mengembangkan instrumen dalam membuat soal ujian dan juga harus memperhatikan kualitas soal yang sesuai dengan Indikator Pencapaian Kompetensi (IPK) untuk dapat menilai apakah tujuan dari pembelajaran tercapai atau tidak. “Guru selain harus mengajar juga harus melakukan banyak tugas administrasi, sehingga pembuatan soal-soal yang digunakan untuk Evaluasi Pembelajaran kurang memperhatikan kesesuaian dengan IPK dan terkadang menggunakan soal-soal yang telah diberikan sebelumnya, sehingga evaluasi pembelajaran yang dilakukan kurang optimal” katanya. Oleh karena itu AQG ini dirancang menggunakan Artificial Intelligence yaitu Natural Language Processing (NLP) yang paling populer dan memiliki banyak aplikasinya seperti untuk text summarization, machine translation, question answering, dan automatic question generator. Sistem AQG ini dirancang untuk dapat lebih berfokus pada pembuatan soal sesuai dengan data input materi yang diberikan dan sesuai dengan IPK yang dibutuhkan dalam proses evaluasi pembelajaran yang dilakukan oleh guru. Output dari soal yang dibuat dari sistem AQG dapat berupa file untuk dicetak maupun file yang dapat digunakan untuk di bank soal di platform LMS seperti Moodle. Ahsan Firdaus menambahkan AQG merupakan sebuah sistem yang dapat membuat pertanyaan dari informasi yang ada berupa teks dengan menggunakan algoritma tertentu dan pola tertentu. “Dengan adanya AQG diharapkan dapat bekerja seperti halnya seorang pengajar yang dapat membuat sebuah soal dari pengetahuan yang dimilikinya dan teks yang dibaca dan dipahaminya” papar Ahsan. Sehingga dapat dihasilkan berbagai macam tingkat kualitas soal seperti pada taksonomi Anderson yang terdiri dari 6 tingkatan yaitu mengingat (remember), memahami (understand), mengaplikasikan (apply), menganalisis (analyze), mengevaluasi(evaluate), dan mencipta (create), serta sesuai dengan IPK pembelajaran.

Dhista Dwi Nur Ardiansyah menjelaskan model NLP yang digunakan oleh sistem AQG ini dikembangkan dengan menggunakan Sequence-To-Sequence Learning Model dengan RNN (Recurrent Neural Network). “Untuk arsitektur RNN  kami mengadaptasi dari Bidirectional Neural Network (BiRNN) dengan 2 mekanisme yaitu Bidirectional Long-Short Term Memory (BiLSTM) dan Bidirectional Gated Recurrent Unit (BiGRU). Input model yang berupa paragraf dari materi sebelumnya akan dilakukan beberapa Linguistic Features seperti Answer Location, Case Indicator, POS (Part Of Speech) dan NE (Named Entity)” ungkap Dhista. Selanjutnya dibuat pasangan paragraf-pertanyaan berdasarkan Answer Location dengan tingkatan kata serta  menggunakan paragraf materi sebagai input dan teks pertanyaan untuk targetnya. Setiap pertanyaan memiliki pasangan kalimat yang sesuai dalam teks paragraf dari materi dan hanya diambil satu kalimat yang bersisi kata pertama dari jawaban untuk pertanyaan yang sesuai dan tidak melakukan penanganan pertanyaan yang memiliki jawaban yang tersebar lebih dari satu kalimat secara spesifik. Setelah itu hasil dari prediksi soal akan dilakukan preproccessing data untuk melakukan klasifikasi tingakatan pertanyaan berdasarkan taksonomi Anderson menggunakan algoritma SVM (Support Vector Machine) Learning berdasarkan Linguistic Feature yang dilakukan kembali terhadap hasil prediksi soal jawaban untuk diperoleh POS dan NE. Perjuangan tim ini berhasil meraih medali emas dalam LIDM tahun 2021 pada Divisi Satu: Inovasi Teknologi Digital Pendidikan. Ini adalah salah satu upaya UNY dalam agenda pembangunan berkelanjutan dalam bidang pendidikan bermutu. (Dedy)