6 PHASE III: FORMATIVE QUALITATIVE

6 PHASE III: FORMATIVE QUALITATIVE EVALUATION
As part our iterative design process, we conducted a qualitative study to evaluate our prototype implementation for mSNA tasks.
6.1 Method
We invited five domain experts (4 graduate students and 1 faculty member from our university’s School of Communication) as study participants. All participants had been professionally analyzing social networks for more than one year (mean = 2.7 years). They reported
that they had experience in network data, such as Facebook friends networks, terrorist networks, donation networks, and authorship networks. All of them had experience with the SNA tool UCINET [8].
An experimenter, the second author of this paper who was not involved directly in developing the system, administered the experiments for all five participants. At the beginning of each experiment,the experimenter described the experimental procedure and tool for
ten minutes. For the next forty minutes, each participant was asked to use the tool to answer four mSNA tasks which are explained in Section 6.3. During the task, each participant was encouraged to think aloud. The experimenter also engaged participants in conversation by
asking questions. After a participant completed all the tasks, the experimenter interviewed the participant about the experiment and the tool for ten minutes. We collected audio-recorded conversation and screen activities of the experiments using Camtasia. Each experiment
lasted around one hour.

Results (Indonesian) 2:

6 TAHAP III: FORMATIF EVALUASI KUALITATIF
Sebagai bagian proses desain iteratif kami, kami melakukan studi kualitatif untuk mengevaluasi pelaksanaan prototipe kami untuk tugas-tugas msna.
6.1 Metode
Kami mengundang lima ahli domain (mahasiswa 4 pascasarjana dan anggota 1 fakultas dari universitas kami Sekolah Komunikasi) sebagai peserta studi. Semua peserta telah profesional menganalisis jaringan sosial untuk lebih dari satu tahun (rata-rata = 2,7 tahun). Mereka melaporkan
bahwa mereka memiliki pengalaman dalam jaringan data, seperti Facebook teman jaringan, jaringan teroris, jaringan sumbangan, dan jaringan kepenulisan. Semua dari mereka memiliki pengalaman dengan alat SNA • UCINET [8].
Sebuah eksperimen, penulis kedua makalah ini yang tidak terlibat langsung dalam pengembangan sistem, diberikan percobaan untuk semua lima peserta. Pada awal setiap percobaan, eksperimen dijelaskan prosedur eksperimental dan alat untuk
sepuluh menit. Selama empat puluh menit berikutnya, setiap peserta diminta untuk menggunakan alat ini untuk menjawab empat tugas msna yang dijelaskan dalam Bagian 6.3. Selama tugas, setiap peserta didorong untuk berpikir keras. Eksperimen juga terlibat peserta dalam percakapan dengan
mengajukan pertanyaan. Setelah peserta menyelesaikan semua tugas, eksperimen mewawancarai peserta tentang percobaan dan alat selama sepuluh menit. Kami mengumpulkan percakapan dan layar kegiatan audio yang direkam dari percobaan menggunakan Camtasia. Setiap percobaan
berlangsung sekitar satu jam.