Analisis Performansi Marmoset Untuk Penilaian Pemrograman

Abstract

Teknologi autograding saat ini telah berkembang, khususnya digunakan dalam kompetisi pemrograman. Marmosetmerupakan sistem autograding open source, yang telah digunakan di Maryland University untuk mendukung pengajaranpemrograman. Penelitian ini dimaksudkan untuk mengetahui performansi konfigurasi server, jika Marmoset digunakan untukmenilai sejumlah program dari sejumlah user secara otomatis, untuk jenis soal yang didefinisikan. Telaah performansi suatukonfigurasi server perlu dilakukan agar implementasi sistem autograding dapat stabil untuk mengeksekusi sejumlah program.Diharapkan, dengan mengetahui performansi sebuah konfigurasi, dapat dimanfaatkan untuk menyiapkan instrumenpembelajaran pemrograman secara formal, maupun latihan untuk persiapan kompetisi. Soal untuk uji coba digunakan 3program, yang tipikal digunakan dalam pengajaran pemrograman dasar. Uji coba dilakukan dengan melibatkan 50-500 user.Analisis performansi difokuskan untuk melihat respon time pada setiap konfigurasi. Hardware untuk uji coba digunakan 1komputer sebagai submit server (untuk menerima) dan 3 komputer build server (untuk mengeksekusi). Komputer yangdifungsikan sebagai build server, dapat menjalankan 2 proses build server. Kesimpulan dari penelitian ini adalah terjadipenurunan respon time yang besar ketika jumlah user bertambah disebabkan oleh overhead yang diakibatkan oleh submitserver dan/atau build server. Penurunan performansi terjadi lebih besar pada konfigurasi 6 build server dibanding dengan 2build server. Hal ini disebabkan karena request job dari build server meningkat, sehingga respon time dari submit servermenurun secara signifikan.