Summative Assessment of Process Ski

Summative Assessment of Process Skills
In this section the concern is with assessment for the purposes of reporting on
progress to date, or for certi® cation, and involves comparing the performance of
individuals with certain external standards or criteria. These may be standards set by
the `norm’ or average performance of a group, or may be pre-determined as
attainment targets at various levels.
One approach to arriving at a summative judgement is to use evidence already
available, having been gathered and used for formative assessment. Converting this
information into a summative judgement involves reviewing it against the standards
or criteria that are used for reporting or deciding about levels of performance. To be
speci® c, in the context of a curriculum with standards set out at levels (such as the
National Curriculum in England and Wales), this means making a judgement about
how the accumulated evidence, taken as a whole, matches one or other of the
descriptions set out at the various levels (levels 1± 8 in the National Curriculum). It
is important to stress that it is the evidence that is used (i.e. the pieces of work which
may be collected in a portfolio, or the notes of observations made), not records of
judgements already related to levels. In other words, the process is one of review of
evidence against criteria, not a simple arithmetic averaging of levels or scores. Levels
add nothing to formative assessment where the purpose is to use the information to
help teaching and learning, although the description of development that they
embody, if they have been well constructed, may help in identifying the course of
progression in skills and knowledge.
For summative assessment, however, agreed criteria in the form of standards or
levels have an important role, ® rst as a means of communicating what has been
achieved, and second as providing some assurance that common standards have
been applied. Ful® lling the two aspects of this role effectively requires that there is
a common appreciation of what having achieved a certain level means in terms of
Downloaded by [University of Auckland Library] at 11:25 07 December 2014
136 W. Harlen
performance and that similar judgements are made by different people about the
level of performance shown across various pieces of work. A number of different
ways of ensuring comparability in such judgements have been used and reviewed in
Harlen (1994) . Some form of moderation, where teachers can compare their
judgements with those of others, is regarded as having considerable advantages,
although exempli® cation is less costly and, according to Wiliam (1998) , more
effective in communicating operational meanings of criteria.
However, reaching a summative assessment using information collected for formative
assessment has its drawbacks. It depends for its validity on opportunities
having been created for students to show what they can do and on the teacher
having collected relevant evidence. Unfortunately, it is all too common to ® nd that
students’ use of science process skills is limited. There is massive evidence of
`recipe-following’ science that gives no opportunity for thinking skills to be used or
developed. Many primary teachers keep to `safe’ topics and keep children busy using
work cards (Harlen et al., 1995) , whilst it has been reported that in secondary
schools, laboratory exercises are often `trivial ’ (Hofstein & Lunetta, 1982) or fail to
engage students with the cognitive purpose of the activity (Marik et al., 1990;
Alton-Lee et al., 1993) . Indeed, there are many reasons why students may not be
engaging in activities which give evidence of the science process skills and, even
when they are, their teachers may not be able to assess them reliably.
Thus, it can be helpful to both students and teachers for special assessment tasks
to be available to complement teachers’ own assessments of process skills. This can
help the students by giving them opportunities to show the skills that they have and
it can help the teacher by giving concrete examples of the kinds of situations and
questions that provided these opportunities and which could readily be incorporated
in regular classroom activities. Practical experiences of this kind for primary pupils
have been discussed by Russell & Harlen (1990), whilst a series of written tasks
assessing science process skills is described in Schilling et al. (1990) . At the
secondary level, a major resource to help teachers in the assessment of practical work
developed from a research project in Scotland on Techniques for the Assessment of
Practical Skills. Three sets of materials have been produced, to assist with assessing
basic skills in science (Bryce et al., 1983) , process skills (Bryce et al., 1988) and
practical investigations in biology, chemistry and physics (Bryce et al., 1991). Banks
of tasks have b

Using written tasks for assessing science process skills presents less of a problem
in relation to context bias since more questions, covering a range of subject-matter,
can be asked more quickly. The focus of concern is then validity rather than
reliability. The arguments often focus around the use of multiple-choice items,
favoured for summative assessment because of ease and supposed reliability of
marking. But items in this form have been heavily criticised because of the ease with
which even four or ® ve distracters can be reduced, by the elimination of obviously
incorrect statements, to a choice between two and thus a 50% chance of success by
guessing. Further, correct answers are often chosen for the wrong reason (Tamir,
1990) . However, even the reliability of such items is in doubt according to Black
(1993) , who claims that `multiple choice questions are less reliable, for the same
number of items, than open-ended versions of the same questions’ (p. 71)

It has been argued that assessing science process skills is important for formative,
summative and monitoring purposes. The case for this is essentially that the mental
and physical skills that are described as science process skills have a central part in
learning with understanding. Thus they are important in the development of `big
ideas’ that are needed to make sense of the scienti® c aspects of the world and so
must be actively developed as part of formal education. They must be included,
therefore, in formative assessment.
Further, it is widely acknowledged that learning does not end with formal
education but has to be continued throughout life, requiring, inter alia, skills of
® nding, evaluating and interpreting evidence. Thus the level of these skills that
students have achieved as a result of their formal education is an important measure
of their preparation for future life and so must be a part of summative assessment.
It follows that it is important for nations and states to monitor the extent to which
education systems and curricula support process skills development. In this context,
a major limitation of the IEA studies has been the lack of attention in its written tests
to anything other than the application of knowledge. The OECD PISA surveys,
planned to begin in 2000, aim to shift the balance to processes, by assessing the
ability to draw evidence-based conclusions using scienti® c knowledge.
The fact that process skills have to be used, and therefore assessed, in relation to
some speci® c content has been noted as an obstacle to arriving at a reliable
assessment of skills development. However, the extent to which this is a problem
depends on the purpose of the assessment. For formative assessment, where the
whole purpose is to use the information gained to help learning, the variation in
performance due to the content can be a guide to taking action. The fact that a child
can do something in one context but apparently not in another is a positive
advantage, since it provides clues to the conditions which seem to favour better
performance and those which seem to inhibit it (Harlen, 1996) .
For formative purposes the reliabil ity of the assessment is less important than its
validity; that is, that it really does re¯ ect the use of skills. For summative purposes
reliability assumes a greater importance because the results may be used for
reporting progress or comparing students and so must mean the same for all
students, whoever assesses them. Unless appropriate steps are taken, the push to
increase reliability can infringe validity by a preference for easily marked questions,
such as those in multiple-choice formats. Skills concerned with planning investigations,
criticising given procedures or evaluating and interpreting evidence cannot be
assessed in this way (cf. Pravalpruk in this issue). Assessment of these skills requires
more extended tasks, such as students encounter, or should encounter, in their
regular work and which can be observed and marked by the teacher. The provision
Downloaded by [University of Auckland Library] at 11:25 07 December 2014
142 W. Harlen
of such tasks may be a spin-off from the national and international monitoring
programmes in science, which attract resources for developing innovative assessment
tasks. What is needed is a similar investment in the development of such tasks
for use by teachers, accompanied by professional development to increase the
reliability of the results and con® dence in teachers’ judgements. Without this there
will continue to be a mismatch between what our students need from their science
education and what is assessed and so taught.


Rezba. R. J. Fiel. R. L. Funk. H. J. Okey. J. R. and Jaus. H. H. (1994). Learning and Assessing
Science Process Skills (3rd edition.).

Results (Indonesian) 2:

Sumatif Penilaian Proses Keterampilan
Pada bagian ini perhatian adalah dengan penilaian untuk tujuan pelaporan
kemajuan sampai saat ini, atau untuk kation certi®, dan melibatkan membandingkan kinerja
individu dengan standar eksternal tertentu atau kriteria. Ini mungkin standar yang ditetapkan oleh
para `norma 'atau rata-rata kinerja kelompok, atau mungkin sudah ditentukan sebagai
target pencapaian di berbagai tingkatan.
Salah satu pendekatan untuk tiba di keputusan sumatif adalah dengan menggunakan bukti yang sudah
tersedia, yang telah dikumpulkan dan digunakan untuk penilaian formatif. Konversi ini
informasi menjadi penilaian sumatif melibatkan meninjau terhadap standar
atau kriteria yang digunakan untuk pelaporan atau memutuskan tentang tingkat kinerja. Untuk menjadi
speci® c, dalam konteks kurikulum dengan standar yang ditetapkan pada tingkat (seperti
Kurikulum Nasional di Inggris dan Wales), ini berarti membuat penilaian tentang
bagaimana akumulasi bukti, secara keseluruhan, cocok dengan salah satu atau lainnya dari
deskripsi yang ditetapkan di berbagai tingkatan (level 1 ± 8 dalam Kurikulum Nasional). Hal
ini penting untuk menekankan bahwa itu adalah bukti yang digunakan (yaitu lembar kerja yang
dapat dikumpulkan dalam portofolio, atau catatan dari pengamatan yang dilakukan), tidak catatan
penilaian sudah terkait dengan tingkat. Dengan kata lain, proses adalah salah satu review
bukti terhadap kriteria, bukan rata-rata aritmatika sederhana dari tingkat atau skor. Tingkat
menambahkan apa-apa untuk formatif penilaian di mana tujuannya adalah untuk menggunakan informasi tersebut untuk
membantu proses belajar mengajar, meskipun deskripsi pembangunan yang mereka
mewujudkan, jika mereka telah dibangun dengan baik, dapat membantu dalam mengidentifikasi jalannya
kemajuan dalam keterampilan dan pengetahuan.
Untuk penilaian sumatif, bagaimanapun, kriteria yang disepakati dalam bentuk standar atau
tingkat memiliki peran penting, ® pertama sebagai sarana berkomunikasi apa yang telah
dicapai, dan kedua menyediakan beberapa jaminan bahwa standar umum telah
diterapkan. Ful® lling dua aspek peran ini secara efektif mensyaratkan bahwa ada
apresiasi umum apa yang telah mencapai tingkat tertentu berarti dalam hal
diunduh oleh [University of Auckland Library] di 11:25 7 Desember 2014
136 W. Harlen
kinerja dan penilaian yang sama yang dibuat oleh orang yang berbeda tentang
tingkat kinerja yang ditunjukkan di berbagai lembar kerja. Sejumlah berbeda
cara untuk memastikan komparabilitas dalam penilaian tersebut telah digunakan dan Ulasan di
Harlen (1994). Beberapa bentuk moderasi, di mana guru dapat membandingkan mereka
penilaian dengan orang lain, dianggap sebagai memiliki keunggulan yang cukup besar,
meskipun kation exempli® lebih murah dan, menurut Wiliam (1998), lebih
efektif dalam berkomunikasi makna operasional kriteria.
Namun, mencapai penilaian menggunakan informasi sumatif dikumpulkan untuk formatif
penilaian memiliki kekurangan. Itu tergantung validitas peluang
yang telah diciptakan bagi siswa untuk menunjukkan apa yang bisa mereka lakukan dan guru
memiliki bukti yang relevan dikumpulkan. Sayangnya, itu semua terlalu umum untuk ® nd bahwa
penggunaan siswa keterampilan proses sains terbatas. Ada bukti besar
`resep-berikut 'ilmu yang tidak memberikan kesempatan bagi kemampuan berpikir yang akan digunakan atau
dikembangkan. Banyak guru sekolah dasar menjaga `aman 'topik dan menjaga anak-anak sibuk menggunakan
kartu kerja (Harlen et al., 1995), sementara itu telah dilaporkan bahwa di sekunder
sekolah, latihan laboratorium sering` sepele' (Hofstein & Lunetta, 1982) atau gagal untuk
melibatkan para siswa dengan tujuan kognitif kegiatan (Marik et al,
1990;.. Alton-Lee et al, 1993). Memang, ada banyak alasan mengapa siswa tidak dapat
terlibat dalam kegiatan yang memberikan bukti keterampilan proses sains dan, bahkan
ketika mereka, guru mereka mungkin tidak dapat menilai mereka andal.
Dengan demikian, dapat membantu untuk para siswa dan guru untuk tugas-tugas penilaian khusus
akan tersedia untuk penilaian guru sendiri keterampilan proses. Hal ini dapat
membantu siswa dengan memberi mereka kesempatan untuk menunjukkan keterampilan yang mereka miliki dan
dapat membantu guru dengan memberikan contoh-contoh konkret dari jenis situasi dan
pertanyaan yang memberikan kesempatan ini dan yang dapat mudah dimasukkan
dalam kegiatan kelas reguler. Pengalaman praktis semacam ini untuk murid SD
telah dibahas oleh Russell & Harlen (1990), sementara serangkaian tugas tertulis
menilai keterampilan proses sains dijelaskan dalam Schilling et al. (1990). Pada
tingkat menengah, sumber daya utama untuk membantu guru dalam penilaian kerja praktek
dikembangkan dari proyek penelitian di Skotlandia pada Teknik Pengkajian
Keterampilan Praktis. Tiga set bahan telah diproduksi, untuk membantu menilai
keterampilan dasar dalam ilmu (Bryce et al., 1983), keterampilan proses (Bryce et al., 1988) dan
penyelidikan praktis dalam biologi, kimia dan fisika (Bryce et al., 1991). Bank
tugas memiliki b Menggunakan tugas tertulis untuk menilai keterampilan proses sains menyajikan kurang dari masalah dalam hubungan bias konteks sejak lebih pertanyaan, yang mencakup berbagai subjek-materi, dapat ditanyakan lebih cepat. Fokus perhatian adalah kemudian validitas daripada reliabilitas. Argumen sering fokus seputar penggunaan item pilihan ganda, disukai untuk penilaian sumatif karena kemudahan dan kehandalan seharusnya menandai. Tapi item dalam bentuk ini telah banyak dikritik karena kemudahan dengan yang bahkan empat atau ® pernah distracters dapat dikurangi, dengan penghapusan jelas pernyataan yang tidak benar, untuk pilihan antara dua dan dengan demikian kesempatan 50% keberhasilan dengan menebak. Selanjutnya, jawaban yang benar sering dipilih untuk alasan yang salah (Tamir, 1990). Namun, bahkan keandalan item tersebut diragukan menurut Hitam (1993), yang mengklaim bahwa `pertanyaan pilihan ganda yang kurang dapat diandalkan, untuk hal yang sama jumlah item, dari versi terbuka dari pertanyaan yang sama '(hal. 71 ) Telah dikemukakan bahwa menilai keterampilan proses sains penting bagi formatif, tujuan sumatif dan pemantauan. Kasus untuk ini adalah bahwa pada dasarnya mental keterampilan dan fisik yang digambarkan sebagai keterampilan proses sains memiliki bagian tengah di belajar dengan pemahaman. Sehingga mereka penting dalam pengembangan `besar ide-ide 'yang diperlukan untuk memahami aspek scienti® c dunia dan jadi harus aktif dikembangkan sebagai bagian dari pendidikan formal. Mereka harus disertakan, karena itu, dalam penilaian formatif. Selanjutnya, secara luas diakui bahwa belajar tidak berakhir dengan resmi pendidikan tetapi harus terus sepanjang hidup, membutuhkan, antara lain, keterampilan ® nding, mengevaluasi dan menafsirkan bukti. Dengan demikian tingkat keterampilan ini yang siswa telah dicapai sebagai hasil dari pendidikan formal mereka adalah ukuran penting dari persiapan mereka untuk kehidupan masa depan dan harus menjadi bagian dari penilaian sumatif. Oleh karena itu penting bagi bangsa dan negara untuk memantau sejauh mana sistem pendidikan dan keterampilan proses dukungan kurikulum pengembangan. Dalam konteks ini, keterbatasan utama dari studi IEA telah kurangnya perhatian dalam tes tertulis untuk apa pun selain penerapan pengetahuan. Survei OECD PISA, direncanakan akan dimulai pada tahun 2000, bertujuan untuk menggeser keseimbangan proses, dengan menilai kemampuan untuk menarik kesimpulan berdasarkan bukti menggunakan pengetahuan scienti® c. Fakta bahwa keterampilan proses telah digunakan, dan karena itu dinilai, di Sehubungan dengan beberapa konten speci® c telah dicatat sebagai sebuah hambatan untuk tiba di handal penilaian pengembangan keterampilan. Namun, sejauh mana ini adalah masalah tergantung pada tujuan penilaian. Untuk penilaian formatif, di mana seluruh tujuan adalah dengan menggunakan informasi yang diperoleh untuk membantu pembelajaran, variasi kinerja karena konten dapat menjadi panduan untuk mengambil tindakan. Fakta bahwa seorang anak dapat melakukan sesuatu dalam satu konteks tetapi tampaknya tidak di lain adalah positif keuntungan, karena memberikan petunjuk untuk kondisi yang tampaknya mendukung baik kinerja dan orang-orang yang tampaknya menghambat itu (Harlen, 1996). Untuk tujuan formatif ity reliabil penilaian adalah kurang penting dibandingkan validitas; yaitu, bahwa itu benar-benar kembali dll penggunaan keterampilan. Untuk tujuan sumatif kehandalan mengasumsikan kepentingan yang lebih besar karena hasil dapat digunakan untuk melaporkan kemajuan atau membandingkan siswa dan harus berarti sama untuk semua siswa, siapa pun menilai mereka. Kecuali langkah yang tepat diambil, dorongan untuk meningkatkan kehandalan dapat melanggar validitas dengan preferensi untuk pertanyaan mudah ditandai, seperti yang di format pilihan ganda. Keterampilan berkaitan dengan penyelidikan perencanaan, mengkritik prosedur diberikan atau mengevaluasi dan menafsirkan bukti tidak dapat dinilai dengan cara ini (lih Pravalpruk dalam masalah ini). Penilaian keterampilan ini membutuhkan tugas yang lebih panjang, seperti mahasiswa menghadapi, atau harus menghadapi, di mereka pekerjaan tetap dan yang dapat diamati dan ditandai oleh guru. Penyediaan diunduh oleh [University of Auckland Library] di 11:25 7 Desember 2014 142 W. Harlen tugas tersebut dapat menjadi spin-off dari pemantauan nasional dan internasional program dalam ilmu, yang menarik sumber daya untuk mengembangkan penilaian inovatif tugas. Apa yang dibutuhkan adalah investasi yang sama dalam pengembangan tugas-tugas seperti untuk digunakan oleh guru, disertai dengan pengembangan profesional untuk meningkatkan keandalan hasil dan bukti-con® dalam penilaian guru. Tanpa ini ada akan terus menjadi ketidaksesuaian antara apa yang perlu siswa kami dari ilmu mereka pendidikan dan apa yang dinilai dan begitu diajarkan. Rezba. RJ Fiel. RL Funk. HJ Okey. JR dan Jaus. HH (1994). Belajar dan Menilai Proses Sains Keterampilan (3rd edition.).