use of multi-level modeling, which

use of multi-level modeling, which may have helped account for some patterns in
the results. Multi-level modeling might be supported when the number of nests is
greater than twenty, which was not possible in this case. The examination of three
important outcomes was restricted to rough course-by-course analyses. Although an
overall pattern of results seems to have emerged, the course-by-course analysis is
less than ideal. Within those courses, propensity score matching was contraindicated
which leaves the apparent pattern more confounded than might be desired.
The propensity score matching used in the analyses of enrollment intensity may
have given a clearer picture of an important outcome, enrollment intensity. Even so,
propensity score matching should not be considered to be a panacea that guarantees
causal claims. It does homogenize comparison groups across important confounds
and enhances statements of probability. However, the number and variety of
confounds in educational research is so large that, even with the most sophisticated
controls, causal claims are rarely justified. In this study, conclusions should be taken
as statements of enhanced probability and not causation.
Future directions
The authors hope this study will encourage others to pursue similar research. Very
little is known about the efficacy of OER and additional large-scale studies of the
efficacy of OER are needed. As the number of courses using OER proliferate within
institutions, and especially as some sections may use commercial textbooks while
others use OER, institutions may be able to conduct multi-level modeled designs
that account for department and teacher influences on outcomes.
Thus far, outcomes have been compared with the availability of OER versus
commercial textbooks. There are several important covariates to be considered.
Both the OER and the commercial textbooks should be evaluated for quality. There
is no guarantee that either resource would be particularly effective. The Open
Textbook Initiative (http://open.umn.edu) has undertaken efforts to evaluate OER
textbooks across ten dimensions. This is a very encouraging development. An
additional important covariate is how much students actually used either resource.
Rather than conclude that there are no differences in outcome based on availability,
quality and usage covariates would be helpful controls. Additional covariates to
consider are prior student achievement and teacher effects. It may be that teachers
that explore, use, and develop OER are systematically different than other teachers.
Subsequent research that can approximate these covariates will result in cleaner
estimates of possible differences in student outcomes between OER and non-OER
sections.

Hasil (Bahasa Indonesia) 2:

penggunaan pemodelan multi-level, yang mungkin telah membantu account untuk beberapa pola dalam
hasil. Pemodelan multi-level mungkin tidak didukung ketika jumlah sarang adalah
lebih besar dari dua puluh, yang tidak mungkin dalam kasus ini. Pemeriksaan tiga
hasil penting dibatasi untuk kasar saja demi kursus analisis. Meskipun
pola keseluruhan hasil tampaknya telah muncul, analisis saja-by-kursus adalah
kurang dari ideal. Dalam waktu kursus, skor kecenderungan pencocokan kontraindikasi
yang meninggalkan pola jelas lebih bingung daripada yang diinginkan.
Skor kecenderungan pencocokan yang digunakan dalam analisis intensitas pendaftaran mungkin
telah memberikan gambaran yang lebih jelas dari hasil penting, intensitas pendaftaran. Meski begitu,
kecenderungan skor pencocokan tidak harus dianggap sebagai obat mujarab yang menjamin
klaim kausal. Itu menyeragamkan kelompok pembanding di mengacaukan penting
dan meningkatkan pernyataan probabilitas. Namun, jumlah dan berbagai
mengacaukan dalam penelitian pendidikan begitu besar itu, bahkan dengan yang paling canggih
kontrol, klaim kausal jarang dibenarkan. Dalam penelitian ini, kesimpulan harus diambil
sebagai pernyataan ditingkatkan probabilitas dan tidak sebab-akibat.
Arah Masa Depan
Penulis berharap penelitian ini akan mendorong orang lain untuk mengejar penelitian serupa. Sangat
sedikit yang diketahui tentang kemanjuran OER dan studi skala besar tambahan dari
khasiat OER diperlukan. Karena jumlah program menggunakan OER berkembang biak dalam
lembaga, dan terutama karena beberapa bagian dapat menggunakan buku pelajaran komersial, sementara
yang lain menggunakan OER, lembaga mungkin dapat melakukan multi-level desain model
yang memperhitungkan departemen dan guru pengaruh pada hasil.
Sejauh ini, hasil telah dibandingkan dengan ketersediaan OER dibandingkan
buku teks komersial. Ada beberapa kovariat penting untuk dipertimbangkan.
Baik OER dan buku teks komersial harus dievaluasi untuk kualitas. Ada
ada jaminan bahwa baik sumber daya akan sangat efektif. Open
Textbook Initiative (http://open.umn.edu) telah dilakukan upaya untuk mengevaluasi OER
buku pelajaran di sepuluh dimensi. Ini adalah perkembangan yang sangat menggembirakan. Sebuah
kovariat penting tambahan adalah berapa banyak siswa benar-benar digunakan baik sumber daya.
Daripada menyimpulkan bahwa tidak ada perbedaan hasil berdasarkan ketersediaan,
kualitas dan penggunaan kovariat akan kontrol membantu. Kovariat tambahan untuk
dipertimbangkan adalah sebelum prestasi siswa dan guru efek. Mungkin guru
yang mengeksplorasi, penggunaan, dan mengembangkan OER yang sistematis berbeda dari guru lainnya.
Penelitian selanjutnya yang dapat mendekati kovariat ini akan menghasilkan bersih
perkiraan kemungkinan perbedaan hasil siswa antara OER dan non-OER
bagian.