Understanding the Relationship Betw

Understanding the Relationship Between
Critical Thinking and Job Performance



Abstract

This study was conducted to evaluate the relationship between a measure of critical thinking
ability and job performance as measured by supervisors’ ratings. Results indicated that the
measure of critical thinking ability is related to several important aspects of job performance.

This paper presents the results of a study examining the relationship between critical thinking ability
, as measured by total scores on the Watson-Glaser Critical Appraisal Short Form (Watson-Glaser),
and job-related performance. A review of research literature suggests that the bulk of published
studies on the Watson-Glaser relate to its use to predict performance in a variety of educational
settings. For example, Gadzella, Stacks, Stephens, & Masten, (2005) found the Watson-Glaser
to be “a good instrument to measure critical thinking for students pursuing the teaching
career” (p.12). In the study by Gadzella et. al., the researchers found a correlation of .31 between
total scores on the Watson-Glaser and course grades. In their studies of three freshmen classes in
a Pennsylvania nursing program, Behrens (1996) found that Watson-Glaser scores correlated .59,
.53, and .51 respectively, with semester GPA. Similarly, in a study of 428 educational psychology
students, Williams (2003) found that Watson-Glaser total scores correlated .42 and .57 with mid-term
and final exam scores, respectively.

Critical thinking ability plays a vital role in academic instruction (e.g., College Board, as cited in Gadzella,
Stacks, Stephens, & Masten, 2005), as well as in occupations that require careful analytical thinking to perform
essential job functions (e.g., Spector, Schneider, Vance, & Hezlett, 2000). Kudish and Hoffman (2002), in a
study of 71 participants in a leadership assessment center, reported that scores on the Watson-Glaser
correlated
.58 with ratings on Analysis and .43 with ratings on Judgment. The ratings on Analysis and Judgment obtained
by Kudish and Hoffman were based on performance of the participants across assessment center exercises
including a coaching meeting, in-basket simulation, and a leaderless group discussion. In a study of managerial
and executive-level participants in an assessment center, Spector, Schneider, Vance, & Hezlett, (2000)
evaluated the relationship between Watson-Glaser scores and performance in the assessment center
exercises. Spector, Schneider, Vance, & Hezlett, found that Watson-Glaser scores significantly correlated with
overall scores in six of eight assessment center exercises, and related more strongly to exercises
involving primarily cognitive problem-solving skills
(e.g., with in-basket exercise scores, r = .26, p < .05) than exercises involving a greater level of
interpersonal skills (e.g., with a coaching exercise, r = .16, p < .05).


Another indication of the importance of critical thinking to effective performance across various occupations
and job levels can be found in O*Net OnLine (2005). In a search of the O*Net OnLine database, the authors
found that, for occupational positions like Government Service Executives and Private Sector Executives,
critical thinking received standardized importance

ratings of 92 and 79, respectively (on a scale of 0 – 100); the occupation Program Directors had a
standardized importance rating of 76 attached to critical thinking. For various manager positions (e.g.,
Compensation & Benefits Managers, Construction Managers, Financial Managers, Marketing Managers,
Storage & Distribution Managers, Training & Development Managers), the standardized importance rating
attached to critical thinking ranged from 76 to 88. In such professional positions as Actuaries,
Chiro-practors,
Emergency 911 Dispatchers, Industrial/ Organizational Psychologists, Management Analysts, Registered
Nurses, standardized importance ratings attached to critical thinking ranged from 81 to 94. Other examples
from O*Net regarding the rated importance of critical thinking to a variety of occupations include
Actors (73),
Concierges (74), Employment Interviewers (73), Fashion Designers (79), First-Line Supervisors

– Customer Service (79), Security Guards (74), and Tax Preparers (73).

In their book on Staffing Organizations: Contemporary Practice and Theory, Ployhart, Schneider, and
Schmitt (2006) highlighted the need for researchers to engage in more current efforts to update cognitive
ability tests and conduct new studies of the validity of such tests as an important predictor of job
performance.
According to Ployhart et. al., with few exceptions, “not many primary studies have added to the database
that support the validity of cognitive ability since the 1970’s” (p.415). Consequently, the main purpose of
this paper is to report the findings of a study on the criterion-related validity of Watson-Glaser total
scores as a predictor of supervisor-rated performance of job incumbents.

Method

Participants

The participants were 84 job incumbents working as Analysts (a professional-level individual contributor
position) in a government agency. The gender composition of the participants was 49 (58%) males
and 25 (29.8%) females, with 10 providing no information regarding their gender. Out of the
participants that provided information regarding their highest educational qualifications, 19 reported
having a Masters degree or higher qualification, 7 reported having done some post-graduate work,
while 12 reported having a Bachelors degree. Seventy-nine of the participants provided ethnic group
information as follows: 72 (85.7%) White (non-Hispanic), 3 (3.6%) Black/African American,
3 (3.6%) Hispanic/Latino (a), and 1 (1.2%) Asian/ Pacific Islander.

Materials

The 40-item Watson-Glaser Critical Thinking Appraisal – Short Form (Watson & Glaser, 1994) was used
to measure the critical thinking ability of the participants. The 40-item Watson
Glaser was published in 1994 to enhance the use of the Watson Glaser Critical Thinking Appraisal for selection
and developmental purposes in a range of work settings, and to assess critical thinking skills in an educational
context. According to Watson and Glaser, the Watson-Glaser is composed of the following five tests:
(1) Inference – discriminating among degrees of truth or falsity of inferences drawn from given data;
(2) Recognition of Assumptions

– recognizing unstated assumptions or presuppositions in given statements or assertions;
(3) Deduction – determining whether certain conclusions necessarily follow from information in given
statements or premises; (4) Interpretation – weighing evidence and deciding if generalizations or conclusions
based on the given data are warranted; (5) Evaluation of Arguments – distinguishing between arguments that
are strong and relevant and those that are weak or irrelevant to a particular issue. Each Watson-Glaser test is
composed of scenarios similar to those typically found in a variety of settings, including the workplace, the
school, and other organizational settings. Each scenario is
followed by a number of items for the participant to respond to, with response options ranging from 2 for
some items to 5 for other items. The Watson-Glaser score used as the measure of critical thinking ability
was the total score (ranging from 0 to 40) derived from the summation of the scores on the five tests.
Coefficient alpha and test-retest reliability coefficients of the total score on the 40-item Watson-Glaser
test had both been estimated to be .81 (Watson & Glaser, 1994).

Job performance was measured using a 21-item questionnaire independently completed on each participant
by the participant’s work supervisor. Nineteen items required ratings on job-relevant behaviors while two items
required ratings on overall performance and overall potential. All the behaviors were derived from O*Net
Online descriptions of jobs similar to the target job.

Procedure

The participants completed the computer-administered Watson-Glaser as part of a larger validation and
normative study. The data were collected over a six-month period in 2004. The participants signed consent
forms with the understanding that their data would be used purely for research purposes. The job
supervisor of each participant provided ratings using the performance rating form supplied by the
researchers. The performance rating form
contained 21 behavioral items. Nineteen of these items were behaviors regarding the following three composite
areas that were relevant to most professional, managerial, and executive jobs: Analysis and Problem Solving,
Judgment and Decision Making, and Professional/Technical Knowledge and Expertise. The ratings of
behaviors in the above three areas ranged from 1 = “needs improvement” through 4 = “acceptable” to 7 =
“outstanding”. A “Not Applicable” rating was also available for behaviors that supervisors considered
irrelevant to the job. Additionally, the supervisors rated their respective subordinates on a single-item Overall
Potential using a 5-point scale ranging from 1 = “no higher than current job” to 5 = “more than two levels above
current job.” The researchers also examined a composite variable – Overall Performance – that they
composed by summing the ratings on 19 performance behaviors in the questionnaire.

Data were analyzed by calculating correlation coefficients for the relationships of critical thinking
with job performance. Participant data were analyzed for subordinates whose supervisors reported
(a) having supervised them for at least four months and, (b) that the supervisors were at least “knowledgeable”
of the job performance of the subordinate. The observed criterion-related validity coefficients were corrected
for unreliability in the criterion (Schmidt & Hunter, 1998).
Results
The Watson-Glaser total scores of the 84 partic

Hasil (Bahasa Indonesia) 1:

Memahami hubungan antaraBerpikir kritis dan kinerja kerjaAbstrakStudi ini dilakukan untuk menilai hubungan antara ukuran berpikir kritis kemampuan dan pekerjaan kinerja yang diukur dengan pengawas peringkat. Hasil menunjukkan bahwa mengukur kemampuan berpikir kritis berhubungan dengan beberapa aspek penting dari kinerja kerja.Makalah ini menyajikan hasil penelitian yang meneliti hubungan antara kemampuan berpikir kritis, yang diukur dengan total nilai pada Watson-Glaser kritis penilaian formulir singkat (Watson-Glaser), dan pekerjaan yang berhubungan dengan kinerja. Review di dalam literatur penelitian menunjukkan bahwa sebagian besar diterbitkan studi tentang Watson-Glaser berhubungan dengan penggunaannya untuk memprediksi kinerja dalam berbagai pendidikan pengaturan. Sebagai contoh, Gadzella, tumpukan, Stephens, & Masten, (2005) ditemukan Watson-Glaser untuk menjadi "baik instrumen untuk mengukur berpikir kritis bagi siswa yang mengejar pengajaran Karier"(p.12). Dalam studi oleh Gadzella et. Al., para peneliti menemukan korelasi.31 antara Total Skor pada nilai Watson-Glaser dan lapangan. Dalam studi mereka dari kelas tiga mahasiswa Pennsylvania Keperawatan program, Behrens (1996) menemukan bahwa Watson-Glaser Partitur berkorelasi.59, .53, dan.51 masing-masing, dengan IPK semester. Demikian pula, dalam sebuah studi psikologi pendidikan 428 siswa, Williams (2003) menemukan bahwa nilai total Watson-Glaser berkorelasi.42 dan.57 dengan jangka menengah dan ujian akhir Partitur, masing-masing.Kemampuan berpikir kritis memainkan peran penting dalam instruksi akademik (misalnya, perguruan tinggi papan, seperti dikutip dalam Gadzella, Tumpukan, Stephens, & Masten, 2005), sebagai serta pekerjaan itu memerlukan hati-hati berpikir analitis untuk melakukan fungsi penting pekerjaan (misalnya, Spector, Schneider, Vance, & Hezlett, 2000). Kudish dan Hoffman (2002), di Studi peserta 71 di pusat penilaian kepemimpinan, dilaporkan bahwa nilai pada Watson-Glaser berkorelasi .58 dengan peringkat pada analisis dan 43 per dengan peringkat pada penilaian. Peringkat analisis dan penghakiman yang diperoleh oleh Kudish dan Hoffman didasarkan pada kinerja peserta di seluruh latihan pusat penilaian termasuk pertemuan pembinaan, simulasi dalam keranjang dan diskusi kelompok tergoncang. Dalam sebuah studi manajerial dan eksekutif tingkat peserta assessment center, Spector, Schneider, Vance, & Hezlett, (2000) dievaluasi hubungan antara nilai Watson-Glaser dan kinerja di pusat penilaian latihan. Spector, Schneider, Vance, & Hezlett, ditemukan bahwa Watson-Glaser nilai secara signifikan berkorelasi dengan keseluruhan nilai enam dari delapan penilaian pusat latihan, dan lebih kuat berkaitan dengan latihan melibatkan terutama pemecahan masalah keterampilan kognitif (misalnya, dengan Skor latihan dalam keranjang, r = 26, p < 05) daripada latihan yang melibatkan tingkat yang lebih besar kemampuan interpersonal (misalnya, dengan latihan yang pembinaan, r =.16, p < 05 mendapat Indikasi lain tentang pentingnya berpikir kritis efektif kinerja di berbagai pekerjaan dan pekerjaan tingkat dapat ditemukan di O * Net OnLine (2005). Dalam pencarian O * Net OnLine database, penulis menemukan bahwa, untuk kerja posisi seperti eksekutif Layanan pemerintah dan sektor swasta eksekutif, berpikir kritis menerima standar pentingperingkat 92 dan 79, masing-masing (pada skala dari 0-100); pendudukan Direktur Program telah standar nilai pentingnya 76 melekat berpikir kritis. Untuk manajer berbagai posisi (misalnya, Kompensasi & manfaat manajer, manajer konstruksi, manajer keuangan, Manajer Pemasaran, Penyimpanan & manajer distribusi, pelatihan & manajer pengembangan), peringkat pentingnya standar melekat pada pemikiran kritis yang berkisar dari 76-88. Dalam posisi seperti profesional sebagai aktuaris, Chiro-practors, Darurat 911 dispatcher, psikolog industri / organisasi, manajemen analis, terdaftar Perawat, standar pentingnya peringkat melekat berpikir kritis yang berkisar dari 81-94. Contoh lain dari O * Net mengenai pentingnya nilai pemikiran kritis untuk berbagai pekerjaan termasuk Aktor (73), Concierge (74), pekerjaan pewawancara (73), perancang busana (79), lini pertama supervisor-Customer Service (79), penjaga keamanan (74), dan Preparers pajak (73).Dalam buku mereka pada organisasi Staf: teori, Ployhart, Schneider, dan praktek-praktek kontemporer dan Schmitt (2006) menyoroti kebutuhan bagi para peneliti untuk terlibat dalam upaya lebih saat ini untuk memperbarui kognitif tes kemampuan dan perilaku studi baru validitas tes tersebut sebagai peramal penting pekerjaan kinerja. Menurut Ployhart et. Al., dengan beberapa pengecualian, "tidak banyak studi utama telah ditambahkan ke database yang mendukung validitas kemampuan kognitif sejak tahun 1970-an"(p.415). Akibatnya, tujuan utama dari karya ini adalah untuk melaporkan temuan-temuan dari studi terkait dengan kriteria validitas dari total Watson-Glaser Skor sebagai prediktor pengawas-rated pelaksanaan pekerjaan mapan.MetodePesertaPeserta yang mapan pekerjaan 84 bekerja sebagai analis (tingkat profesional individu kontributor posisi) di lembaga pemerintah. Komposisi jenis kelamin para peserta adalah 49 laki-laki (58%) dan 25 perempuan (29.8%), dengan 10 menyediakan tidak ada informasi mengenai gender. Dari peserta yang menyediakan informasi mengenai kualifikasi pendidikan mereka tertinggi, 19 dilaporkan memiliki gelar Master atau kualifikasi yang lebih tinggi, 7 dilaporkan telah melakukan beberapa pekerjaan pasca-sarjana, Sementara 12 dilaporkan memiliki gelar sarjana. Tujuh puluh sembilan peserta diberikan kelompok etnis informasi sebagai berikut: 72 (85,7%) Putih (non-Hispanik), 3 (3.6%) Hitam Afrika Amerika, 3 (3.6%) Hispanik/Latino (), dan 1 (1.2%) Asia / Pacific Islander.Bahan40-item Watson-Glaser kritis berpikir penilaian-formulir singkat (Watson & Glaser, 1994) digunakan untuk mengukur kemampuan berpikir kritis peserta. Watson 40-itemGlaser diterbitkan pada tahun 1994 untuk meningkatkan penggunaan Watson Glaser kritis berpikir penilaian untuk seleksi dan perkembangan tujuan dalam berbagai pengaturan kerja, dan menilai keterampilan berpikir kritis dalam pendidikan konteks. Menurut Watson dan Glaser, Watson-Glaser terdiri dari lima pengujian berikut: (1) kesimpulan-membedakan antara derajat kebenaran atau kesalahan dari kesimpulan yang diambil dari mengingat data; (2) pengakuan asumsi-mengenali asumsi-asumsi yang tidak dikemukakan atau praanggapan di diberikan pernyataan atau pernyataan; (3) pengurangan – menentukan apakah kesimpulan tertentu selalu mengikuti dari informasi dalam diberikan pernyataan atau lokal; (4) penafsiran-beratnya bukti dan memutuskan jika generalisasi atau kesimpulan Berdasarkan data tertentu yang dijamin; (5) evaluasi argumen-membedakan antara argumen yang kuat dan relevan dan mereka yang lemah atau tidak relevan dengan isu tertentu. Setiap tes Watson-Glaser terdiri dari skenario yang serupa dengan yang biasanya ditemukan dalam berbagai pengaturan, termasuk tempat kerja, sekolah, dan pengaturan organisasi lain. Masing-masing skenariodiikuti oleh sejumlah item untuk peserta untuk menanggapi, dengan pilihan jawaban mulai dari 2 untuk beberapa item untuk 5 untuk barang-barang lainnya. Skor Watson-Glaser digunakan sebagai ukuran kemampuan berpikir kritis total score (berkisar dari 0 hingga 40) berasal dari penjumlahan nilai pada tes lima. Koefisien Alfa dan tes-tes ulang koefisien keandalan dari Skor total pada 40-item Watson-Glaser tes memiliki keduanya telah diperkirakan.81 (Watson & Glaser, 1994).Kinerja kerja diukur menggunakan kuesioner 21-item mandiri selesai pada setiap peserta oleh pembimbing bekerja perserta. Sembilan belas item diperlukan peringkat pada pekerjaan-relevan perilaku sementara dua item peringkat diperlukan pada kinerja secara keseluruhan dan keseluruhan potensi. Semua perilaku yang diperolehi dari O * Net Deskripsi Online Jobs serupa dengan target pekerjaan.ProsedurPeserta diselesaikan dikelola komputer Watson-Glaser sebagai bagian dari sebuah validasi lebih besar dan normatif studi. Data yang dikumpulkan selama periode enam bulan pada tahun 2004. Peserta menandatangani persetujuan bentuk dengan pemahaman bahwa data mereka akan digunakan semata-mata untuk tujuan penelitian. Pekerjaan Pengawas setiap peserta diberikan peringkat menggunakan peringkat formulir yang disediakan oleh kinerja peneliti. Bentuk penilaian kinerjaberisi 21 perilaku item. Sembilan belas item ini adalah perilaku mengenai komposit tiga berikut area yang relevan dengan pekerjaan yang paling profesional, manajerial dan Eksekutif: analisis dan pemecahan masalah, Penghakiman dan pengambilan keputusan, dan pengetahuan profesional/teknis dan keahlian. Peringkat perilaku di daerah tiga atas berkisar 1 = "perlu perbaikan" melalui 4 = "diterima" ke 7 = "luar biasa". Peringkat "Tidak berlaku" yang juga tersedia untuk perilaku yang dianggap sebagai pengawas tidak relevan untuk pekerjaan. Selain itu, pengawas rated bawahan mereka masing-masing pada item tunggal yang secara keseluruhan Potensi menggunakan skala 5-titik mulai dari 1 = "tidak lebih tinggi daripada saat ini pekerjaan" dengan 5 = "lebih dari dua tingkat di atas Pekerjaan sekarang." Para peneliti juga dikaji variabel komposit-kinerja keseluruhan-bahwa mereka disusun oleh menjumlahkan peringkat pada perilaku kinerja 19 di kuesioner.Data dianalisis dengan menghitung korelasi koefisien untuk mempunyai hubungan dengan berpikir kritis dengan kinerja kerja. Peserta data dianalisis untuk bawahan supervisor yang dilaporkan (a) memiliki diawasi mereka setidaknya empat bulan dan, (b) bahwa mereka setidaknya "pengetahuan" kinerja pekerjaan subordinat. Koefisien diamati kriteria yang terkait dengan keabsahan dikoreksi untuk tidak dapat diandalkan dalam kriteria (Schmidt & pemburu, 1998).HasilWatson-Glaser nilai total 84 partic