Uncategorized

Akord Integritas Penilaian: Tiga Nada untuk Harmoni Penilaian dan Tiga Cara untuk Mencapainya

[ad_1]

Diterbitkan pada 12 Desember 2024

AI menghasilkan gambar tangan yang memainkan akord piano (dihasilkan oleh Dall-E)

Gambar dibuat menggunakan Dall-E ChatGPT

Kecerdasan buatan generatif telah mengedepankan pertanyaan tentang integritas penilaian – apakah siswa melakukan apa yang kita minta? (Keandalan dan kredibilitas adalah konsep yang lebih besar (Dawson dkk., 2024).)

Keadilan dalam penilaian merupakan permasalahan yang kompleks, namun dapat disederhanakan menjadi tiga komponen dengan masing-masing tiga pilihan. Seperti not-not dalam akord musik, ketiga konsep tersebut harus dipertimbangkan bersama-sama, dan hubungan antara pilihan yang dipilih mempengaruhi keselarasan secara keseluruhan.

Komponen dan opsi:
Kejujuran dalam penilaian grafik tiga konsep

  • tiga tipe berbeda tugas kami menyesuaikan siswa kami: produksi, kinerja, dan proses;
  • tiga cara kita melakukan pendekatan peringkat dari tugas-tugas ini: analisis (artefak), interaksi dan observasi; Dan
  • tiga cara yang dapat kita tingkatkan KONTROL evaluasi: desain, pengawasan dan keselamatan pasca penyerahan.

Setiap komponen penting, dan interaksi di antara komponen-komponen tersebut mempengaruhi efektivitasnya. Penilaian dapat dilakukan dengan kesembilan opsi tersebut, namun biasanya hanya ada satu metode penilaian untuk setiap tugas, sedangkan ketiga kontrol sering kali ada. (Klik di sini untuk diagram interaksi.)

Kami menetapkan tiga jenis tugas

Kebanyakan penilaian terdiri dari satu atau kombinasi tiga jenis tugas: (artefak) produksi, eksekusi Dan proses. Untuk penilaian dengan banyak tugas, kita perlu mempertimbangkan setiap tugas secara terpisah. Integritas penilaian secara keseluruhan dipengaruhi oleh bobot setiap tugas dalam menghitung penilaian secara keseluruhan.

produksi adalah penciptaan artefak seperti dokumen, material, atau perangkat. Contohnya termasuk naskah ujian, laporan, ilustrasi, kode program, dan skema kelistrikan. Beberapa artefak memiliki bentuk yang tetap (misalnya jawaban pilihan ganda); yang lain membutuhkan proses kreatif. Namun, laporan penilaian mungkin tidak mewajibkan atau menilai proses ini – jika diperlukan, siswa hanya dapat dinilai berdasarkan produk yang diserahkan. Produksi sering kali tidak diawasi, dan jika prosesnya dievaluasi, seringkali melalui laporan tertulis yang merupakan suatu produk. Produk (artefak) hanya dapat dievaluasi melalui analisis.

Produktivitas menggambarkan semua kegiatan di mana siswa melakukan sesuatu untuk menunjukkan pengetahuan. Ini mencakup aktivitas seperti presentasi, diskusi kelas, titrasi bahan kimia, atau pendaratan pesawat. Pertunjukan itu sendiri bersifat sementara – setiap rekaman pertunjukan mengarah ke kategori lain, ke produksi artefak Karena bersifat fana, maka hanya dapat diapresiasi pengamatan. Tidak ada penilaian terhadap persiapan pidato dan dokumen yang menyertainya. Jika presentasi memiliki dek slide yang dinilai, itu adalah a produk secara terpisah dari produktivitas.

proses mungkin merupakan persyaratan penilaian yang paling penting karena mencakup cara siswa belajar dan menerapkan pengetahuannya pada tugas penilaian. (melihat Anak rusa, 2024) Proses meliputi seluruh kegiatan dan pemikiran yang dilakukan dalam meneliti, menciptakan, merakit dan mengembangkan artefak dan pertunjukan. Dengan demikian, tidak ada produksi atau produktivitas tanpa proses sebelumnya. Namun karena prosesnya sangat dekat dengan pembelajaran, maka akan sulit untuk mengevaluasinya.

Banyak tugas yang berada pada batasan atau melibatkan dua komponen, sehingga pembagian ini bersifat heuristik. Ini bisa bermanfaat. Meskipun membuat bibliografi adalah proses yang sulit, jika kita mengevaluasi struktur akhirnya, kita mengevaluasinya sebagai sebuah produk. Diskusi kelas dapat menjadi proses berpikir siswa sekaligus pertunjukan jika kelas mendengarkan. Melihat bagaimana perasaan siswa dapat membantu kita memikirkan kembali cara menilai tugas dengan lebih baik.

Tiga metode evaluasi

Kami mengevaluasi aktivitas siswa melalui lensa eksternal. Seringkali kita hanya menilai sebagian dari pekerjaan siswa.

Analisis artefak ketika kita mengevaluasi apa yang telah dilakukan siswa. Hal ini dapat terjadi kapan saja setelah artefak dibuat, selama artefak tersebut masih ada. Ini adalah penilaian yang pasif, jauh dari waktu dan tempat; evaluator hanya dapat melihat artefak siswa. Esai, laporan, dan naskah ujian adalah bentuk yang umum, tetapi artefak juga mencakup materi audiovisual, produk media fisik dan campuran, serta dokumentasi penelitian atau proses. Meskipun dokumentasi tersebut menjelaskan suatu proses, sebagai artefak, dokumentasi tersebut memiliki masalah integritas yang sama seperti artefak lainnya. Evaluasi artefak selalu dipisahkan waktu dan tempat dari pekerjaan siswa – tidak ada kontrol alami terhadap siswa. Hal ini harus diatasi KONTROL tindakan

Pengamatan ketika kita menilai dengan mengamati perilaku pelajar – baik selama proses atau selama kinerja. Evaluator bersikap pasif dalam proses ini dan tidak mampu melihat lebih jauh dari kinerja itu sendiri – kesimpulan apa pun mengenai persiapan atau pendekatan bersifat konsekuensial. Seperti halnya interaksi, selalu ada observasi sedang diamati penilaian, tetapi juga menilai siswa dan juga memantau lingkungan. Contoh observasi antara lain menonton diskusi kelompok, eksperimen laboratorium, dan pertunjukan musik.

Interaksi ketika kita berbicara dengan siswa, mengajukan pertanyaan tentang karyanya, atau bekerja dengan mereka sebagai rekan penulis. Interaksi selalu sedang diamati evaluasi – seorang evaluator berurusan dengan siswa. Contohnya termasuk proyek yang diawasi, siaran langsung, diskusi kelas, dan aspek penjelasan dari demonstrasi laboratorium. Interaksi memungkinkan evaluator untuk lebih memahami pembelajaran siswa dan menerima penjelasan proses (melihat Petunjuk untuk penilaian lisan). Yang penting, momen-momen ini juga merupakan momen umpan balik siswa yang penting dalam pembelajaran. Momen-momen ini dapat memberikan umpan balik yang bermakna dan tepat waktu (Henderson dkk., 2019). masing-masing pengamatan kamu bisa pindah ke interaksi jika evaluator mengajukan pertanyaan atau mengarahkan kegiatan.

Pengawasan adalah ukuran pengendalian yang paling langsung. Pengawasan di sini merupakan bentuk kontrol siswa terhadap apa yang diamati proses. Dengan demikian, jumlah dan kualitas pengawasan mempengaruhi kemampuannya menjaga integritas penilaian. Pengawas ujian hanya memantau bagaimana siswa menulis jawaban; tidak ada pemantauan terhadap proses pembelajaran mereka – dan sejauh mana mereka telah meneruskan pelatihan mereka kepada orang lain (Perancis dkk., 2023). Namun, jika supervisor memahami tugasnya, maka dimungkinkan untuk beralih dari supervisi ke evaluasi, baik melalui observasi maupun melalui interaksi. Jika pengawasan dilakukan dari jarak jauh, pertanyaan tambahan akan muncul.

Desain: Penilaian yang dirancang dengan baik dapat sangat mempengaruhi kepatuhan siswa terhadap proses yang direncanakan dan meningkatkan kemungkinan kejujuran (lihat di sini). Karena tidak ada evaluator, maka tidak ada pengukuran yang benar-benar dapat diandalkan, namun hal ini dapat membuat upaya yang dilakukan untuk menarik diri dari proses menjadi lebih merepotkan daripada manfaatnya bagi sebagian besar siswa. Ada banyak faktor yang dapat meningkatkan atau menurunkan integritas, dan banyak di antaranya dipengaruhi oleh AI generatif. Desainnya dijelaskan dalam deskripsi penilaian dan mempengaruhi sifat penilaian. Desain yang baik dapat memasukkan elemen suatu proses dalam penilaiannya, meskipun penilaian terhadap proses tersebut dapat dilakukan melalui proksi artefak.

Intervensi berbasis manusia melibatkan penggunaan pengetahuan awal karya siswa oleh evaluator untuk menilai integritas penyerahan (sesuatu yang sering kali tersirat dalam cara evaluator membaca artefak) atau percakapan interaktif tentang artefak atau kinerja. Langkah-langkah teknologi menganalisis artefak menggunakan algoritma komputer untuk menunjukkan masalah penulis atau pemrosesan yang tidak tepat. Setiap tanda yang ditandai oleh sistem ini memerlukan analisis lebih lanjut oleh pendidik yang berpengalaman untuk menentukan apakah ada perilaku tidak pantas yang teridentifikasi. Efektivitas berkaitan dengan apakah intervensi dapat memberikan efek jera, namun intervensi ini kemungkinan besar akan berdampak berbeda pada siswa (lihat Piquero dkk., 2011).

[ad_2]

Akord Integritas Penilaian: Tiga Nada untuk Harmoni Penilaian dan Tiga Cara untuk Mencapainya

Leave a Reply

Your email address will not be published. Required fields are marked *