7.11 Performance Evaluation of Spee

7.11 Performance Evaluation of Speech Coders
There are two approaches to evaluating the performance of a speech coder
in terms of its ability to preserve the signal quality [Jay84]. Objective measures
have the general nature of a signal-to-noise ratio and provide a quantitative
value'of how well the reconstructed speech approximates the original speech.
Mean square error (MSE) distortion, frequency weighted MSE, and segmented
SNR, articulation index are examples of objective measures. While objective
measures are useful in initial design and simulation of coding systems, they do
not necessarily give an indication of speech quality as perceived by the human




Figure 7.12
Block diagram of the USDC speed: encoder.
ear. Since the listener is the ultimate judge of the signal quality, subjective lis-
tening tests constitute an integral part of speech coder evaluation.
Subjective listening tests are conducted by playing the sample to a number
of listeners and asking them to judge the quality of the speech. Speech coders are
highly speaker dependent in that the quality varies with the age and gender of
the speaker, the speed at which the speaker speaks and other factors. The sub-
jective tests are carried out in cliflerent environments to simulate real life condi-
tions such as noisy, multiple speakers, etc. These tests provide results in terms of
overall quality, listening effort, intelligibility, and naturalness. The intelligibility
tests measure the listeners ability to identify the spoken word. The diagnostic
rhyme test (DRT) is the most popular and widely used intelligibility test. In this
test a word from a pair of rhymed words such as “those-dose” is presented to the
listener and the listener is asked to identify which word was spoken. Typical per-
centage correct on the DRT tests range from 75-90. The diagnostic acceptability
measure (DAM) is another test that evaluates acceptability of speech coding sys-
tems. All these tests results are difiicult to rank and hence require a reference
system. The most popular ranking system is known as the mean opinion score or
MOS ranking. This is a five point quality ranking scale with each point associ-
ated with a standardized descriptions: bad, poor, fair, good, excellent. Table 7.2
gives a listing of the mean square opinion ranking system.




Good No appreciable effort required
Fair Moderate efibrt required
. Poor Considerable effort required
l Bad No meaning understood with reasonable effort
One of the most difficult conditions for speech coders to perform well in is
the case where a digital speech-coded signal is transmitted from the mobile to
the base station, and then demodulated into an analog signal which is then
speech coded for retransmission as a digital signal over a landline or wireless
link. This situation, called tandem signaling, tends to exaggerate the bit errors
originally received at the base station. Tandem signaling is difficult to protect
against, but is an important evaluation criterion in the evaluation of speech cod-
ers. As wireless systems proliferate, there will be a greater demand for mobile-
to-mobile communications, and such links wil.l, by definition, involve at least two
independent, noisy tandems.

Hasil (Bahasa Indonesia) 2:

7.11 Evaluasi Kinerja Pidato Coders
Ada dua pendekatan untuk mengevaluasi kinerja coder pidato
dalam hal kemampuannya untuk menjaga kualitas sinyal [Jay84]. Ukuran objektif
memiliki sifat umum rasio signal-to-noise dan memberikan kuantitatif
value'of seberapa baik pidato direkonstruksi mendekati pidato asli.
Berarti kesalahan persegi (MSE) distorsi, frekuensi tertimbang MSE, dan tersegmentasi
SNR, indeks artikulasi adalah contoh ukuran objektif. Sementara tujuan
tindakan yang berguna dalam desain awal dan simulasi sistem pengkodean, mereka
tidak selalu memberikan indikasi kualitas pidato seperti yang dirasakan oleh manusia Gambar 7.12 Blok diagram dari kecepatan USDC: encoder. telinga. Karena pendengar adalah hakim tertinggi dari kualitas sinyal, subjektif lis- tes tening merupakan bagian yang tidak terpisahkan dari evaluasi pidato coder. tes mendengarkan subyektif dilakukan dengan memainkan sampel untuk sejumlah pendengar dan meminta mereka untuk menilai kualitas pidato . Coders pidato tergantung pada kualitas bervariasi dengan usia dan jenis kelamin dari speaker yang sangat pembicara, kecepatan di mana pembicara berbicara dan faktor lainnya. The sub tes jective dilakukan dalam lingkungan cli fl erent untuk mensimulasikan kehidupan nyata-kondisi tions seperti bising, beberapa speaker, dll tes ini memberikan hasil dalam hal kualitas secara keseluruhan, mendengarkan usaha, kejelasan, dan kealamian. Kejelasan tes mengukur kemampuan pendengar untuk mengidentifikasi kata yang diucapkan. Diagnostik uji sajak (DRT) adalah tes intelligibility yang paling populer dan banyak digunakan. Dalam tes kata dari sepasang kata-kata berirama seperti "orang-dosis" disajikan kepada pendengar dan pendengar diminta untuk mengidentifikasi mana kata yang diucapkan. Per- khas tampak dalam persentase yang benar pada tes DRT berkisar 75-90. Penerimaan diagnostik ukuran (DAM) adalah tes lain yang mengevaluasi penerimaan berbicara coding sistemik tems. Semua hasil tes ini di fi icult untuk menentukan peringkat dan karenanya memerlukan referensi sistem. Yang paling populer sistem peringkat dikenal sebagai pendapat rata-rata skor atau peringkat MOS. Ini adalah lima skala peringkat kualitas titik dengan masing-masing titik diasosiasikan- diciptakan dengan deskripsi standar: buruk, miskin, adil, baik, sangat baik. Tabel 7.2 memberikan daftar berpendapat persegi sistem peringkat rata-rata. Baik Tidak ada upaya yang cukup diperlukan Adil Sedang e fi brt diperlukan . Upaya yang cukup miskin diperlukan l Bad ada makna dipahami dengan upaya yang wajar Salah satu kondisi yang paling sulit bagi coders pidato untuk tampil baik di adalah kasus di mana sinyal pidato-kode digital yang ditransmisikan dari ponsel ke base station, dan kemudian didemodulasi menjadi sinyal analog yang kemudian pidato kode untuk pengiriman ulang sebagai sinyal digital melalui darat atau nirkabel Link. Situasi ini, yang disebut tandem signaling, cenderung membesar-besarkan kesalahan bit awalnya diterima pada base station. Tandem sinyal yang sulit untuk melindungi terhadap, tetapi merupakan kriteria evaluasi penting dalam evaluasi pidato cod- ers. Sebagai sistem nirkabel berkembang biak, akan ada permintaan yang lebih besar untuk Mobile- to-mobile komunikasi, dan link tersebut wil.l, dengan definisi, melibatkan setidaknya dua independen, tandem berisik.