3Focus the Evaluation DesignNow tha

3Focus the Evaluation Design
N
ow that you and your stakeholders have a clear understanding of your program, your evaluation team will need to focus the evaluation. The evaluation team must decide the purpose of the evaluation and the questions it wants answered. A typical approach to evaluation in public health is to design data-collection systems that monitor progress toward meeting a program’s process and outcome objectives. Initially, you may not be able to collect baseline data and track progress toward all of your objectives. However, it is important to remember that baseline data are valuable for planning and evaluation and should be collected if possible. Rather than trying to answer every question that various stakeholders may pose, the evaluation team should focus on those it determines to be the most important questions about your program. A focused evaluation requires “advance planning about where the evaluation is headed and what steps will be taken to get there.”3
Having a focused evaluation makes it easier to conduct a quality evaluation. The design should outline which questions you are investigating, the process you will follow, what will be measured, what methods will be used, who will perform each activity (including analysis and interpretation), what you will do with the information once it is collected, and how the results will be disseminated.
Process evaluation
P
rocess evaluations are used to document how well a program has been implemented; they are conducted periodically throughout the duration of a program. This type of evaluation is used to examine the operations of a program, including which activities are taking place, who is conducting the activities, and who is reached through the activities. Process evaluations assess whether inputs or resources have been allocated or mobilized and whether activities are being implemented as planned. They identify program strengths, weaknesses, and areas that need
37
Introduction to Program Evaluation for Comprehensive Tobacco Control Programs
impr
ovement. Following are examples of the type of tangible program indicators measured by process evaluation:
■
The locale wher
e services or programs are provided (e.g., rural, urban).
■
The n
umber of people receiving services.
■
The ec
onomic status and racial/ethnic background of people receiving services.
■
The qualit
y of services.
■
The actual e
vents that occur while the services are delivered.
■
The amount of
money the project is using.
■
The dir
ect and in-kind funding for services.
■
The staffing for ser
vices or programs.
■
The n
umber of activities and meetings.
■
The n
umber of training sessions conducted.
A process evaluation of a counter-marketing campaign to reduce the number of young people who start smoking might answer questions such as these:
■
H
as a workgroup been formed and is it meeting regularly?
■
A
re any key individuals or organizations missing from the workgroup?
■
W
as the counter-marketing campaign designed on schedule?
■
H
ave the campaign products (posters, billboard, radio and television spots) been pretested?
■
A
re project activities being implemented on schedule?
■
W
hat barriers have been encountered?
■
W
ho is the campaign’s target audience and how well are they being reached?
■
H
ow many advertisements are actually running? When and where?
■
W
here are the posters/billboards located?
■
W
hat is the estimated number of people who see or hear the advertisements?
■
H
ow might the action plan be improved on the basis of evaluation findings?
38
3. Focus the Evaluation Design
P
rocess evaluations can also assess issues related to program services. For example, they can determine the—
■
A
vailability and use of tobacco-use treatment services.
■
I
mplementation of smoking prevention programs in schools and the community.
■
A
ccessibility of resource centers and materials.
■
A
mount of technical support and training provided to grantees or staff.
■
A
mount of technical support and training needed by grantees or staff.
■
N
umber of calls to a quitline.
■
U
se of the quitline by various racial/ethnic groups.
■
Ext
ent of insurance coverage for tobacco-use treatment.
■
P
ercentage of primary care physicians who give advice and assistance on quitting.
■
N
umber of health care systems that have implemented tobacco-use reminder systems.
■
U
se of Food and Drug Administration (FDA)-approved medications by Medicaid recipients.
These are straightforward questions; monitoring them throughout the duration of your program ensures that the project is implemented as planned and is reaching the intended audience.
Outcome evaluation
Out
come evaluations are used to assess the impact of a program on the stated short-term, intermediate, and long-term objectives. This type of evaluation assesses what has occurred because of the program and whether the program has achieved its outcome objectives. Outcome evaluations should be conducted only when the program is mature enough to produce the intended outcome.
Outcome evaluations can measure the following:
■
Changes in people
’s attitude toward, and beliefs about, tobacco, their awareness of and support for your program, and their perception of how well tobacco-related policy is being enforced.
39
Introduction to Program Evaluation for Comprehensive Tobacco Control Programs
■
Changes in int
ended and actual tobacco-related behaviors.
■
Changes in the en
vironment, such as changes in public and private policies, in formal and informal enforcement of minors’ access and nonsmoking regulations, and in the influence of pro-tobacco forces.
■
Changes in populations,
such as in the average age at which people begin smoking, per capita consumption of cigarettes, and smoking prevalence.
■
Changes in t
rends in morbidity and mortality.
In this manual, program outcomes are divided into three levels: short-term, intermediate, and long-term. Decisions as to whether a particular outcome is short-term, intermediate, or long-term depend on the purpose of the program and the time needed for the change to occur. For example, there are no strict guidelines for whether a policy change is a short-term or an intermediate outcome; it could also be thought of as a process measure.
Similarly, changes in per capita consumption could be considered an intermediate or a long-term outcome. Whether outcomes are considered short- or long-term is less important than whether sound logic underlies the program. Do the short-term outcomes lead logically to the intermediate outcomes? Do the intermediate outcomes lead logically to the long-term outcomes? Is adequate time allowed to reasonably expect to see an effect?
S
hort-term outcomes are the immediate or early results of the program. Short-term outcomes may be changes in knowledge, attitudes, and skills. For example, in a program with the goal of reducing children’s exposure to ETS, a short-term outcome might be having parents who smoke show increased knowledge about the danger of smoking around children.
I
ntermediate outcomes reflect further progress in reaching a program goal. Intermediate outcomes link short-term outcomes with long-term outcomes. Intermediate outcomes may be changes in individual behaviors, social norms, or the environment. An intermediate outcome in the program described in the previous paragraph might be that the parents no longer smoke around their children.
40
L
ong-term outcomes reflect the ultimate goal of the program. The long-term outcome in the previously described program would be decreased morbidity from children’s exposure to ETS.
For a tobacco control program with the goal of reducing the number of young people who start smoking through a counter-marketing campaign, an outcome evaluation might examine whether the targeted young people exhibit—
■
I
ncreased knowledge and awareness of the dangers of smoking (short-term outcome).
■
Changes in t
obacco-related attitudes and beliefs (intermediate outcome).
■
Changes in t
obacco-related behavior (long-term outcome).
■
Changes in smoking r
ates and age of initiation (long-term outcome).
■
Changes in mor
bidity and mortality (long-term outcome).
Comparing tobacco-related data among states and between one state and the nation as a whole are common and important ways to evaluate tobacco control programs. Another option is to compare data from different—but relevant—sources. For example, you could make comparisons using indicators from the YTS, the BRFSS tobacco module, PRAMS, and a survey of adult tobacco use. Comparing your data with national data and other states’ data will help you to establish realistic objectives for your program and meaningful benchmarks for progress. States can also compare their progress with that of states with a similar investment in tobacco control, or they can contrast their results (outcomes) with the results that could be expected if their program were similar to those of states with a larger investment in tobacco control.
Comparison data are also useful for measuring indicators in anticipation of new or expanding programs. For example, noting a “lack of change” in key indicators over time prior to program implementation helps demonstrate the need for your program and highlights the comparative progress of states with comprehensive tobacco control programs already in place. A lack of change in indicators may continue for several years and is useful as a justification for greater investment in evidence-based, well-funded, and more comprehensive programs. There
3. Focus the Evaluation Design
41
Introduction to Program Evaluation for Comprehensive Tobacco Control Programs
ar
e many opportunities for between-state comparisons and trend analysis, which can be highlighted with time-series analyses. The tobacco questions on many of the larger surveillance systems have not changed in several years, so you can make comparisons with other states and over time, using specific ind

Hasil (Bahasa Indonesia) 2:

3Focus Evaluasi Desain
N
ow bahwa Anda dan stakeholder Anda memiliki pemahaman yang jelas tentang program, tim evaluasi akan perlu fokus evaluasi. Tim evaluasi harus memutuskan tujuan evaluasi dan pertanyaan-pertanyaan itu keinginan dijawab. Pendekatan yang khas untuk evaluasi kesehatan masyarakat adalah untuk merancang sistem pengumpulan data yang memonitor kemajuan mencapai proses dan hasil tujuan program. Pada awalnya, Anda mungkin tidak dapat mengumpulkan data dasar dan melacak kemajuan menuju semua tujuan Anda. Namun, penting untuk diingat bahwa data dasar yang berharga untuk perencanaan dan evaluasi dan harus dikumpulkan jika memungkinkan. Daripada mencoba untuk menjawab setiap pertanyaan yang berbagai pemangku kepentingan dapat menimbulkan, tim evaluasi harus fokus pada mereka yang menentukan untuk menjadi pertanyaan yang paling penting tentang program anda. Evaluasi terfokus membutuhkan "perencanaan awal tentang di mana evaluasi dipimpin dan langkah-langkah apa yang akan diambil untuk sampai ke sana." 3
Memiliki evaluasi terfokus membuatnya lebih mudah untuk melakukan evaluasi kualitas. Desain harus menggariskan mana pertanyaan Anda sedang menyelidiki, proses yang akan mengikuti, apa yang akan diukur, metode apa yang akan digunakan, yang akan melakukan setiap kegiatan (termasuk analisis dan interpretasi), apa yang akan Anda lakukan dengan informasi setelah dikumpulkan , dan bagaimana hasilnya akan disebarluaskan.
Proses evaluasi
P
evaluasi roses digunakan untuk mendokumentasikan seberapa baik program telah dilaksanakan; mereka dilakukan secara berkala sepanjang durasi program. Jenis evaluasi digunakan untuk memeriksa operasi dari sebuah program, termasuk kegiatan yang sedang berlangsung, yang sedang melakukan kegiatan, dan siapa yang dicapai melalui kegiatan. Proses evaluasi menilai apakah input atau sumber daya telah dialokasikan atau dimobilisasi dan apakah kegiatan yang sedang dilaksanakan sesuai rencana. Mereka mengidentifikasi kekuatan Program, kelemahan, dan daerah-daerah yang membutuhkan
37
Pengantar Evaluasi Program Komprehensif Tembakau Program Pengendalian
Jejak
ovement. Berikut ini adalah contoh dari jenis indikator program yang nyata diukur dengan evaluasi proses:
■
Lokal wher
. layanan e atau program yang disediakan (misalnya, pedesaan, perkotaan)
■
The n
. Banyaknya orang yang menerima jasa
■
The ec
Status onomic dan ras / latar belakang etnis orang yang menerima layanan.
■
The qualit
y layanan.
■
E sebenarnya
ventilasi yang terjadi ketika jasa diberikan.
■
Jumlah
uang proyek menggunakan.
■
The dir
dll dan dalam bentuk dana untuk layanan.
■
The staf untuk ser
keburukan atau program.
■
The n
Banyaknya kegiatan dan pertemuan.
■
The n
Banyaknya sesi pelatihan yang dilakukan.
Evaluasi proses kampanye kontra-marketing untuk mengurangi jumlah orang muda yang mulai merokok mungkin menjawab pertanyaan-pertanyaan seperti ini:
■
H
? sebagai kelompok kerja dibentuk dan itu bertemu secara teratur
■
A
? re perorangan kunci atau organisasi hilang dari workgroup
■
W
? sebagai kampanye kontra-pemasaran yang dirancang sesuai jadwal
■
H
ave produk kampanye (poster, billboard , radio dan televisi spot) telah pretested?
■
Sebuah
kegiatan proyek re dilaksanakan sesuai jadwal?
■
W
hambatan topi telah ditemukan?
■
W
ho adalah target kampanye dan seberapa baik mereka tercapai?
■
H
banyak iklan ow sebenarnya olahraga lari? Kapan dan di mana?
■
W
sini poster / billboard berada?
■
W
topi adalah perkiraan jumlah orang yang melihat atau mendengar iklan?
■
H
ow mungkin rencana aksi ditingkatkan berdasarkan hasil evaluasi?
38
3. Fokus Evaluasi Desain
P
roses evaluasi juga dapat menilai masalah yang berkaitan dengan memprogram layanan. Misalnya, mereka dapat menentukan the-
■
Sebuah
vailability dan penggunaan layanan pengobatan tembakau digunakan.
■
I
mplementation program pencegahan merokok di sekolah-sekolah dan masyarakat.
■
Sebuah
ccessibility pusat sumber dan bahan.
■
Sebuah
gunung dukungan teknis dan pelatihan diberikan kepada penerima atau staf.
■
Sebuah
gunung dukungan dan pelatihan teknis yang dibutuhkan oleh penerima atau staf.
■
N
Banyaknya panggilan ke Quitline a.
■
U
se dari Quitline oleh berbagai kelompok ras / etnis.
■
Ext
ent cakupan asuransi untuk tembakau pengobatan -menggunakan.
■
P
ercentage dokter perawatan primer yang memberikan nasihat dan bantuan pada berhenti.
■
N
Banyaknya sistem perawatan kesehatan yang telah menerapkan tembakau digunakan sistem pengingat.
■
U
se of Food and Drug Administration (FDA) obat -approved oleh . penerima Medicaid
Ini adalah pertanyaan sederhana; pemantauan mereka sepanjang durasi program Anda memastikan bahwa proyek dilaksanakan sesuai rencana dan menjangkau audiens yang dimaksudkan.
Evaluasi Hasil
Out
datang evaluasi digunakan untuk menilai dampak program pada jangka pendek menyatakan, menengah, dan jangka panjang tujuan. Jenis evaluasi menilai apa yang telah terjadi karena program dan apakah program telah mencapai tujuan hasilnya. Evaluasi hasil harus dilakukan hanya ketika program ini cukup matang untuk menghasilkan hasil yang diinginkan.
evaluasi Hasil dapat mengukur berikut:
■
Perubahan orang
sikap 's terhadap, dan keyakinan tentang, tembakau, kesadaran mereka dan dukungan untuk program Anda, dan persepsi mereka tentang kebijakan yang berkaitan dengan tembakau seberapa baik sedang ditegakkan.
39
Pengantar Evaluasi Program Komprehensif Pengendalian Tembakau Program
■
Perubahan int
perilaku yang berkaitan dengan tembakau berakhir dan aktual.
■
Perubahan en
lingkungannya, seperti perubahan kebijakan publik dan swasta , dalam penegakan formal dan informal akses dan tidak merokok peraturan anak di bawah umur ', dan dalam pengaruh kekuatan pro-tembakau.
■
Perubahan populasi,
seperti dalam rata-rata usia orang mulai merokok, konsumsi rokok per kapita, dan prevalensi merokok .
■
Perubahan t
rends morbiditas dan mortalitas.
Dalam panduan ini, hasil program dibagi menjadi tiga tingkatan: jangka pendek, menengah, dan jangka panjang. Keputusan apakah hasil tertentu adalah jangka pendek, menengah, atau jangka panjang tergantung pada tujuan program dan waktu yang diperlukan untuk perubahan terjadi. Misalnya, tidak ada pedoman yang ketat untuk apakah perubahan kebijakan jangka pendek atau hasil menengah; bisa juga dianggap sebagai ukuran proses.
Demikian pula, perubahan konsumsi per kapita dapat dianggap sebagai perantara atau hasil jangka panjang. Jangka pendek atau jangka panjang apakah hasil yang dianggap kurang penting dibandingkan apakah logika suara mendasari program. Apakah hasil jangka pendek menyebabkan logis dengan hasil menengah? Apakah hasil menengah mengarah logis untuk hasil jangka panjang? Apakah cukup waktu diperbolehkan cukup mengharapkan untuk melihat efek?
S
hasil jangka hort adalah hasil langsung atau awal program. Tujuan jangka pendek mungkin perubahan dalam pengetahuan, sikap, dan keterampilan. Sebagai contoh, dalam sebuah program dengan tujuan mengurangi paparan anak-anak untuk ETS, hasil jangka pendek mungkin memiliki orang tua yang merokok menunjukkan peningkatan pengetahuan tentang bahaya merokok di sekitar anak-anak.
Saya
ntermediate hasil mencerminkan kemajuan dalam mencapai tujuan program tersebut. Hasil menengah menghubungkan hasil jangka pendek dengan hasil jangka panjang. Hasil menengah mungkin perubahan perilaku individu, norma sosial, atau lingkungan. Sebuah hasil yang menengah dalam program yang dijelaskan dalam paragraf sebelumnya mungkin bahwa orang tua tidak lagi merokok di sekitar anak-anak mereka.
40
L
hasil jangka ong mencerminkan tujuan akhir dari program ini. Hasil jangka panjang dalam program dijelaskan sebelumnya akan menurunkan morbiditas dari paparan anak-anak untuk ETS.
Untuk program pengendalian tembakau dengan tujuan mengurangi jumlah orang muda yang mulai merokok melalui kampanye kontra-marketing, evaluasi hasil mungkin memeriksa apakah orang-orang muda yang ditargetkan pameran-
■
saya
meningkat menurut pengetahuan dan kesadaran akan bahaya merokok (hasil jangka pendek).
■
Perubahan t
sikap dan keyakinan (hasil menengah)-obacco terkait.
■
Perubahan t
perilaku-obacco terkait (panjang Hasil-istilah).
■
Perubahan merokok r
ates dan usia inisiasi (jangka panjang hasil).
■
Perubahan mor
morbiditas dan mortalitas (jangka panjang hasil).
Membandingkan data yang terkait tembakau antara negara dan antara satu negara dan bangsa secara keseluruhan adalah cara yang umum dan penting untuk mengevaluasi program pengendalian tembakau. Pilihan lain adalah dengan membandingkan data dari-sumber yang relevan yang berbeda-tapi. Misalnya, Anda bisa membuat perbandingan dengan menggunakan indikator dari YTS, modul tembakau BRFSS, kereta bayi, dan survei penggunaan tembakau dewasa. Membandingkan data dengan data nasional dan data negara-negara lain 'akan membantu Anda untuk menetapkan tujuan yang realistis untuk program dan tolok ukur yang berarti untuk kemajuan. Negara juga dapat membandingkan kemajuan mereka dengan negara-negara dengan investasi yang sama dalam pengendalian tembakau, atau mereka dapat kontras hasil mereka (hasil) dengan hasil yang bisa diharapkan jika program mereka mirip dengan negara-negara dengan investasi yang lebih besar dalam pengendalian tembakau .
Data Perbandingan juga berguna untuk mengukur indikator untuk mengantisipasi program baru atau memperluas. Misalnya, mencatat "kurangnya perubahan" dalam indikator kunci dari waktu ke waktu sebelum pelaksanaan program membantu menunjukkan perlunya program dan menyoroti kemajuan komparatif negara dengan program pengendalian tembakau yang komprehensif sudah di tempat. Kurangnya perubahan indikator dapat terus selama beberapa tahun dan berguna sebagai pembenaran untuk investasi yang lebih besar dalam berbasis bukti, baik yang didanai, dan program yang lebih komprehensif. Ada
3. Fokus Evaluasi Desain
41
Pengantar Evaluasi Program Komprehensif Pengendalian Tembakau Program
ar
e banyak kesempatan untuk antara negara perbandingan dan analisis kecenderungan, yang dapat disorot dengan time-series analisis. Pertanyaan-pertanyaan tembakau pada banyak sistem surveilans yang lebih besar tidak berubah dalam beberapa tahun, sehingga Anda dapat membuat perbandingan dengan negara-negara lain dan dari waktu ke waktu, menggunakan ind tertentu