8 PHASE V: SUMMATIVE QUALITATIVE EV

8 PHASE V: SUMMATIVE QUALITATIVE EVALUATION
Finally, to validate our improvements and new analytics capabilities in MMGraph, we conducted a second qualitative evaluation. We used the same NSF dataset as in the previous evaluation (Section 6.2).
8.1 Method
We recruited three domain experts: one faculty member (P1) and two graduate students (P2 and P3) from the same school of Communica-tion to learn how our improved MMGraph supported mSNA. P1 had
also participated in the previous formative qualitative evaluation, but P2 and P3 had never seen MMGraph before. Instead of providing pre-created tasks as in Section 6.3, in this phase, we allowed participants to freely study the NSF network, generate questions, and solve them
using MMGraph. The purpose for this phase was to observe how the newly added features (the node attribute visualization in Figure 10 and additional multimodal network metrics) were used and, more importantly, what kinds of other tasks participants would like to perform.

Results (Indonesian) 1:

8 TAHAP V: SUMATIF EVALUASI KUALITATIFAkhirnya, untuk memvalidasi perbaikan dan kemampuan analytics baru di MMGraph kami, kami melakukan evaluasi kualitatif yang kedua. Kami menggunakan dataset NSF sama seperti evaluasi sebelumnya (Bagian 6.2).8.1 metodeKami merekrut tiga ahli domain: satu fakultas anggota (P1) dan dua mahasiswa pascasarjana (P2 dan P3) dari sama sekolah dari komunikasi-tion untuk belajar bagaimana MMGraph meningkatkan kami didukung mSNA. P1 telahjuga berpartisipasi dalam evaluasi kualitatif formatif sebelumnya, tetapi P2 dan P3 belum pernah MMGraph sebelumnya. Alih-alih memberikan tugas-tugas yang pra-dibuat seperti 6.3 bagian, dalam fase ini, kita diperbolehkan peserta untuk secara bebas belajar jaringan NSF, menghasilkan pertanyaan, dan memecahkan merekamenggunakan MMGraph. Tujuan untuk tahap ini adalah untuk mengamati bagaimana fitur baru ditambahkan (node atribut visualisasi dalam gambar 10 dan tambahan jaringan multimodal metrik) digunakan dan, lebih penting lagi, apa jenis tugas-tugas lain peserta ingin melakukan.

Results (Indonesian) 2:

8 FASE V: sumatif KUALITATIF EVALUASI
Akhirnya, untuk memvalidasi perbaikan dan kemampuan analisis baru dalam MMGraph, kami melakukan evaluasi kualitatif kedua. Kami menggunakan dataset NSF yang sama seperti dalam evaluasi sebelumnya (Bagian 6.2).
8.1 Metode
Kami merekrut tiga ahli domain: satu anggota fakultas (P1) dan dua mahasiswa pascasarjana (P2 dan P3) dari sekolah yang sama dari Communica-tion untuk belajar bagaimana MMGraph kami membaik didukung msna. P1 telah
juga berpartisipasi dalam evaluasi kualitatif formatif sebelumnya, tapi P2 dan P3 belum pernah melihat MMGraph sebelumnya. Alih-alih memberikan tugas pra-dibuat seperti dalam Bagian 6.3, dalam tahap ini, kita diperbolehkan peserta untuk secara bebas mempelajari jaringan NSF, menghasilkan pertanyaan, dan menyelesaikannya
menggunakan MMGraph. Tujuan untuk fase ini adalah untuk mengamati bagaimana fitur baru ditambahkan (node ​​atribut visualisasi pada Gambar 10 dan tambahan metrik jaringan multimoda) yang digunakan dan, yang lebih penting, apa yang jenis peserta tugas-tugas lain ingin melakukan.