BLEU sayfasının kaynağını görüntüle

'''BLEU'''([[İngilizce]]: '''bilingual evaluation understudy''') bir [[makine çevirisi]] sistemi tarafından oluşturulan çevirilerin kalitesini ölçmeye yarayan bir algoritmadır. Burada "kalite", makinenin çevirisinin [[Çevirmen|profesyonel bir insan çevirisine]] olabildiğince yakın sonuçlar oluşturabilmesi anlamına gelir. BLEU 2002'de yayınlanmış olup, günümüzde de yaygın otomatik [[Metrik (matematik)|metriklerden]] biridir.{{ref|Papineni2002a}}{{ref|Coughlin2003a}}

Skorlar çevrilmiş birimlerin(genellikle cümleler), önceden insan tarafından kaliteli olarak belirlenmiş çevirilerle karşılaştırılarak bulunur. Sonrasında, [[Korpus (doğal dil işleme)|korpus]] genelinde bu skorların ortalaması alınarak çeviri sisteminin başarısına dair bir fikir elde edilinir.

BLEU'nun çıktıları 0 ve 1 arasında bir [[kayan nokta]] değerdir. Bu değer çevrilmiş metnin doğru çeviriyle benzerleğini gösterir, 1'e yakın değerler daha büyük benzerlik gösterir. Çevirilerin(insan dahil) büyük çoğunluklarının 1'e erişmediği unutulmamalıdır, nitekim ortalamanın 1 olması çevirinin hedef çeviriyle birebir aynı olduğu anlamına gelir, dolayısıyla sonucun 1 olması gerekli değildir. Olasılıkları artıracağından dolayı, daha çok karşılaştırılacak örnek eklemek genellikle skoru artırır.

== Algoritma ==
{| class="wikitable"
|+Başarısız bir makine çevirisi örneği
!Aday
|masa
|masa
|masa
|masa
|masa
|-
!Örnek 1
|Masada
|bir
|kedi
|var.
|
|-
!Örnek 2
|Masanın
|üstünde
|bir
|kedi
|bulunur.
|}
Aday çevirideki 5 kelimenin hepsi örneklerde bulunduğundan, [[N-gram|uni-gram]](yani kelime bazlı) kesinliği:

<math>P = \frac{m}{w_{t}} = \frac{7}{7} = 1</math>

burada <math>m</math> adaydaki kelimelerin kaçının örnekte bulunduğu, <math>{w_{t}}</math> de örnekte bulunan toplam soru sayısıdır. 1 mükemmel skor olsa da, aday anlamlı veya doğru bir çeviri değildir ve örneklerle anlamsal veya biçimsel ortaklığı yoktur.

BLEU'nun bu sürece yaptığı değişiklikler nispeten bassittir. Aday çevirideki her kelime için maksimum toplam sayıyı temsil eden <math>{m_{max}}</math> hesaplanır. Yukarıdaki örneğe uyacak şekilde "masa" kelimesi Örnek 1'de 1, Örnek 2'de de 1 kere görünür. Dolayısıyla <math>{m_{max}}</math> 1'dir.

[[Kategori:Makine çevirisi]]