The reliability of an instrument is

The reliability of an instrument is also affected by the darity of the items and their directions. The in-strument should be so designed that if a learner has actually acquired the ability associated with an objec-
ltvc, there is nntl.uig thai will 111LeilCIC WILL
learner's demonstrating this ability. Ambiguity in the statement of an item, incomplete directions, unfamil¬iar vocabulary, or unfamiliar context of items can cause a skilled learner to fail to demonstrate this abil¬ity. For example, learners who were skilled in locating the main idea of prose performed poorly when they were asked to 'Circle the statement that gives the gist of the preceding paragraph.' Subsequent questioning of the learners indicated that the fourth-grade learners were not dear on the meanings of both gist and preced¬ing. Formative evaluation of items with representative members of a target audience can help eliminate some of these problems.
It is also possible that conditions surrounding the ad¬ministration of the assessment can cause learners to perform at a less-than-optimal level. For example, un-familiar assessment formats, such as administering a computer-delivered exam to learners who have never experienced this format, can lead to unreliable test re-sults. Classroom conditions, such as excess heat or cold or other unpleasant physical conditions, can also lead to unreliability. In addition, unpleasant emotional condi¬tions, such as excessive anxiety, can lead to unreliable group performance. Planning for the administration of the assessment can usually eliminate these threats.
For those assessments that require constructed re-sponses (written or physically performed), we often need to do things to ensure reliability, such as use a checklist or rating form, as well as grading all of one question for the entire class set, to encourage a more consistent measure. If it is desirable that the grader re¬port an index of reliability, the grader may choose to have several graders rate a sample of the performances or written tests based on the scale used. Then an index of Inter-rater reliability" can be obtained by correlat¬ing the scores that each of the graders assigned. (See Shrock & Coscarelli, 1989. Chapter 10, for a more de¬tailed description of this procedure.)

Hasil (Bahasa Indonesia) 1:

Keandalan dari instrumen juga dipengaruhi oleh darity item dan arah mereka. Di-strument harus jadi dirancang bahwa jika seorang pelajar telah benar-benar memperoleh kemampuan terkait dengan keadan -ltvc, ada nntl.uig Thailand akan 111LeilCIC AKANpeserta didik mendemonstrasikan kemampuan ini. Ambiguitas dalam pernyataan item, arah lengkap, kosakata unfamil¬iar atau konteks asing item dapat menyebabkan seorang pembelajar yang terampil gagal untuk menunjukkan abil¬ity ini. Sebagai contoh, pelajar yang terampil dalam mencari gagasan utama dari prosa tampil buruk ketika mereka diminta untuk 'Lingkaran pernyataan yang memberikan inti dari paragraf sebelumnya.' Pertanyaan berikutnya dari para peserta didik menunjukkan bahwa kelas empat peserta didik tidak sayang pada makna inti dan preced¬ing. Evaluasi formatif item dengan perwakilan anggota audiens target dapat membantu menghilangkan beberapa masalah ini.Hal ini juga mungkin bahwa kondisi sekitar ad¬ministration penilaian dapat menyebabkan peserta didik untuk tampil di tingkat yang kurang optimal. Sebagai contoh, format penilaian un akrab, seperti administrasi yang disampaikan komputer ujian untuk pelajar yang tidak pernah mengalami format ini, dapat mengakibatkan tidak dapat diandalkan tes re-sults. Kondisi kelas, seperti kelebihan panas atau dingin atau kondisi fisik yang tidak menyenangkan, juga dapat mengakibatkan tidak dapat diandalkan. Selain itu, tidak menyenangkan condi¬tions emosi, seperti kecemasan yang berlebihan, dapat mengakibatkan kinerja kelompok tidak dapat diandalkan. Perencanaan untuk administrasi penilaian biasanya dapat menghilangkan ancaman ini.Untuk penilaian yang memerlukan dibangun re-sponses (tertulis atau secara fisik dilakukan), kita sering perlu untuk melakukan hal-hal untuk memastikan keandalan, seperti penggunaan bentuk daftar atau rating, serta penilaian semua satu pertanyaan untuk seluruh kelas terletak, untuk mendorong ukuran lebih konsisten. Jika diinginkan bahwa re¬port grader indeks kehandalan, anak kelas dapat memilih untuk memiliki beberapa siswa kelas tingkat sampel dari pertunjukan atau tes tertulis yang didasarkan pada skala yang digunakan. Kemudian indeks rating antar keandalan"dapat diperoleh dengan correlat¬ing nilai bahwa setiap siswa kelas yang ditetapkan. (Lihat Shrock & Coscarelli, 1989. Bab 10, untuk keterangan lebih de¬tailed dari prosedur ini.)