In terms of reliability, the facult

In terms of reliability, the faculty raters, although trained primarily through written materials, produced reliable ratings that were also comparable to the ETS ratings. Generalizability Measurement Decision Theory results suggested that an increase in subtasks would yield enhanced reliability, while the use of more than two raters would not substantially improve reliability. Support for the use of only two raters is beneficial for cost and time efficiency.

Task difficulty as determined by the percent of students who reached competency on Skill and Task Totals, was found to vary greatly. In addition, the majority of students who reached competency and took two tasks, reached competency on only one task. One may therefore conclude that Tasks and Skills were not equally challenging or difficult for students. If the Skills across each Task are to be considered equal measures (i.e., Analysis Total on Cubism = Analysis Total on Facts), then it is uncertain how difficulty can range so widely. Does one difficult Skill Total compensate for another less difficult Skill Total? Future investigation could help to identify how Tasks and Skills counterbalance one another.

Hasil (Bahasa Indonesia) 1:

Dalam hal kehandalan, penilai fakultas, meskipun dilatih terutama melalui bahan-bahan tertulis, menghasilkan peringkat yang dapat diandalkan yang juga sebanding dengan rating ETS. Hasil pengukuran teori keputusan generalizability menyarankan bahwa peningkatan subtugas akan menghasilkan keandalan ditingkatkan, sementara menggunakan lebih dari dua penilai tidak akan secara substansial meningkatkan kehandalan. Dukungan untuk penggunaan hanya dua penilai ini bermanfaat untuk efisiensi biaya dan waktu.Kesulitan tugas seperti yang ditentukan oleh persen dari siswa yang mencapai kompetensi pada keterampilan dan Total tugas, ditemukan sangat bervariasi. Selain itu, mayoritas siswa yang mencapai kompetensi dan mengambil dua tugas, mencapai kompetensi pada hanya satu tugas. Oleh karena itu mungkin menyimpulkan bahwa tugas dan keterampilan yang tidak sama menantang atau sulit bagi siswa. Jika keahlian di setiap tugas yang harus dianggap sebagai ukuran yang sama (yaitu, analisis Total pada Kubisme = Total analisis pada fakta-fakta), maka itu pasti bagaimana kesulitan dapat berkisar begitu luas. Apakah satu sulit keterampilan Total kompensasi untuk lain kurang sulit keterampilan Total? Masa depan penyelidikan bisa membantu untuk mengidentifikasi bagaimana tugas dan keterampilan mengimbangi satu sama lain.

Hasil (Bahasa Indonesia) 2:

Dalam hal reliabilitas, penilai fakultas, meskipun dilatih terutama melalui materi tertulis, diproduksi penilaian handal yang juga sebanding dengan peringkat ETS. Generalisasi Pengukuran hasil Teori Keputusan menyarankan bahwa peningkatan subtasks akan menghasilkan kehandalan ditingkatkan, sedangkan penggunaan lebih dari dua penilai tidak akan secara substansial meningkatkan kehandalan. Dukungan untuk penggunaan hanya dua penilai bermanfaat untuk efisiensi biaya dan waktu.

Tugas kesulitan sebagaimana ditentukan oleh persen siswa yang mencapai kompetensi pada Keterampilan dan Tugas Totals, ditemukan sangat bervariasi. Selain itu, sebagian besar siswa yang mencapai kompetensi dan mengambil dua tugas, mencapai kompetensi pada satu tugas. Satu Oleh karena itu dapat disimpulkan bahwa Tugas dan Keterampilan tidak sama menantang atau sulit bagi siswa. Jika Keterampilan di setiap Task harus dianggap ukuran yang sama (yaitu, Analisis Jumlah pada Kubisme = Analisis Jumlah pada Fakta), maka pasti bagaimana kesulitan dapat berkisar begitu luas. Apakah yang sulit Keterampilan Jumlah mengimbangi lain Keterampilan Jumlah terlalu sulit? Penelitian di masa depan bisa membantu mengidentifikasi bagaimana Tugas dan Keterampilan mengimbangi satu sama lain.