Çoklu örnekle öğrenme

Makine öğreniminde, çoklu örnekle öğrenme (ÇÖÖ) bir tür denetimli öğrenmedir.^[1], her bir örneğin bağımsız bir etiket yerine çantalar (bags) olarak adlandırılan örnek kümelerine ait etiketler aldığı bir öğrenme paradigmasıdır. Bu tür bir öğrenmede, çantanın etiketinin pozitif olması, çantanın içindeki en az bir örneğin pozitif bir örnek olduğu anlamına gelir.Şablon:Sidebar with collapsible lists

Her örneğin bir ilişkilendirilmiş gerçek etiketi olsa da, örnek etiketlerinin yalnızca çantalara eklenmiş etiketler aracılığıyla dolaylı olarak erişilebilir olduğu varsayılmaktadır. Kalıtım yasası gereği, bir küme belirli bir etiketi alırsa, kümedeki en az bir örneğin bu etikete sahip olması gerekir. Önemli bir ikili sınıflandırma durumunda, bu, bir çantanın "pozitif" olduğunu, içindeki en az bir örneğin pozitif bir örnek olduğu anlamına gelir. Çoklu örnekle öğrenme (ÇÖÖ), küme düzeyindeki sınıflandırıcının tasarım gereği örnek düzeyindeki bir sınıflandırıcıdan türetildiği genel küme öğrenme probleminden farklıdır. Dolayısıyla, ÇÖÖ'deki temel zorluk, pozitif bir çantadaki hangi örneklerin gerçekten pozitif olduğunu ve hangilerinin olmadığını bilmemekten kaynaklanan belirsizlikle başa çıkmaktır.^[2]

Makine öğrenimi

Öğrenim verilerinin türüne ve çeşitliliğine bağlı olarak, makine öğrenimi kabaca üç çerçeveye ayrılabilir: denetimli öğrenme, denetimsiz öğrenme ve pekiştirmeli öğrenmedir. Çoklu örnek öğrenme (ÇÖÖ), her öğrenim örneğinin ayrı veya gerçek değerli bir etikete sahip olduğu denetimli öğrenme çerçevesine girer. ÇÖÖ, eğitim setlerindeki eksik etiket bilgileriyle ilgili problemlerle ilgilenir. Daha kesin olarak, çoklu örnek öğrenmede eğitim seti, her biri etiketlenmemiş örneklerden oluşan etiketli "Paketten" oluşur. Bir torba, içindeki en az bir örnek pozitifse pozitif olarak etiketlenir ve içindeki tüm örnekler negatifse negatif olarak etiketlenir. ÇÖÖ'in amacı yeni, görünmeyen çantaların etiketlerini tahmin etmektir.

Tarihçesi

Keeler ve diğer araştırmacılar,^[3] 1990'ların başındaki çalışmalarında ÇÖÖ alanını keşfeden ilk kişilerdi. Fiili çoklu örnek öğrenme terimi, 1990'ların ortasında Dietterich ve diğerleri tarafından tanıtıldı. ilaç aktivitesi tahmini problemini araştırırken kullanılmıştır.^[4] Bilinen moleküllerin bir koleksiyonunu analiz ederek, yeni molekülün bir ilaç üretmeye uygun olup olmadığını tahmin edebilecek bir öğrenme sistemi yaratmaya çalışılmıştır. Moleküllerin birçok alternatif düşük enerji durumu olabilir, ancak bunlardan yalnızca biri veya bazıları bir ilaç yapmaya yetkilidir. Sorun, bilim adamlarının yalnızca molekülün nitelikli olup olmadığını belirleyebildikleri için ortaya çıktı, ancak bunun düşük enerjili şekillerinin hangisinin sorumlu olduğunu tam olarak söyleyemediler.

Dietterich ve ark.nın çoklu örnek öğrenme problemine çözüm. önerilen eksen paralel dikdörtgen (YYO) algoritmasıdır.^[4] Özelliklerin birleşimiyle oluşturulmuş uygun eksenli paralel dikdörtgenleri aramaya çalışır. Algoritmayı, ilaç aktivitesi tahminine ilişkin somut bir test verisi olan ve çoklu örnekli öğrenmede en yaygın olarak kullanılan karşılaştırma ölçütü olan Musk veri kümesi [1] Şablon:Webarşiv üzerinde test ettiler. Yıllık yüzde oranı algoritması en iyi sonucu elde etti, ancak YYO, Musk verileri düşünülerek tasarlanmıştır.

Çok örnekli öğrenme 1998'de Maron ve Ratan, makine görüşünde sahne sınıflandırmasına çoklu örnek öğrenmenin başka bir uygulamasını buldular ve Diverse Density çerçevesini tasarladılar.^[5] Bir görüntü verildiğinde, bir örnek, bir veya daha fazla sabit boyutlu alt görüntü olarak alınır ve örneklerin çantası, görüntünün tamamı olarak alınır. Bir görüntü, hedef sahneyi (örneğin bir yangın musluğu) içeriyorsa pozitif, aksi takdirde negatif olarak etiketlenir. Hedef sahneyi karakterize eden alt görüntülerin özelliklerini öğrenmek için çoklu örnek öğrenme kullanılabilir. Bundan sonra, bu çerçeveler, görüntü kavramı öğrenme ve metin kategorizasyonundan borsa tahminine kadar geniş bir uygulama yelpazesi için kullanılmıştır.

Kullanım Alanı örnekler

Örneğin görüntü sınıflandırmasını ele alalım Amores^[6] (2013) Bir görüntü verildiğinde, görsel içeriğine göre hedef sınıfını bilmek istiyoruz. Örneğin, hedef sınıf, görüntünün hem "sınıf" hem de "masa" içerdiği "okul" olabilir. ÇÖÖ terimleriyle, görüntü bir paket $X = {X_{1}, . ., X_{N}}$ , burada her biri $X_{i}$ , görüntüdeki karşılık gelen i-inci bölgesinden çıkarılan özellik vektörüdür (örnek olarak adlandırılır) ve $N$ , görüntü. içinde, hem "sınıf" bölgesi örnekleri hem de "masa" bölgesi örnekleri içeriyorsa pozitif ("okul") olarak etiketlenir.

ÇÖÖ'in uygulandığı yerlere örnekler şunlardır:

Molekül aktivitesi
Calmodulin bağlayıcı proteinlerin bağlanma bölgelerinin tahmin edilmesi^[7]
Alternatif olarak eklenmiş izoformlar için tahmin fonksiyonu Li, Menon . (2014)
Görüntü sınıflandırması Maron ve Ratan (1998)
Metin veya belge kategorizasyonu Kotzias (2015)
MicroRNA'nın fonksiyonel bağlanma alanlarının tahmin edilmesi, Bandyopadhyay, Ghosh . (2015)
Tıbbi görüntü sınıflandırması Zhu . (2016), P.J.Sudharshan vd. (2019)

birçok araştırmacı, çoklu örnekli öğrenme bağlamında çalışmak için destek vektör makineleri veya hızlandırma gibi klasik sınıflandırma tekniklerini uyarlamak için çalıştı.

Yüzeysel Kavramlar

Örneklerin alanı $X$ çoklu alt kümeleri kümesine izomorfiktir. $y \in {0, 1}$ içindeki her paket örneği için $r (x, y)$ x'in kaç kez geçtiği olarak görülmektedir.^[8] $Y$ etiketlerin alanı olsun, o zaman bir "çoklu örnek kavramı" bir harita. ÇÖÖ'in amacı böyle bir kavramı öğrenmektir. Makalenin geri kalanı ikili sınıflandırmaya odaklanacak, bunlarda $Y = 0, 1$ elemanları arasındadır

Algoritma

Dosya:Mildiag.jpg

ÇÖÖ şeması

Çoklu Örnek Öğrenme için iki ana algoritma çeşidi vardır: örnek tabanlı ve meta veri tabanlı veya gömme tabanlı algoritmalardır. "Örneğe dayalı" terimi, algoritmanın bir MI varsayımına dayalı olarak bir dizi temsili örneği bulmaya çalıştığını ve bu temsilcilerden gelecek çantaları sınıflandırdığını belirtir. Buna karşılık, meta veriye dayalı algoritmalar, örnekler ve çanta etiketleri arasındaki ilişki hakkında hiçbir varsayımda bulunmazlar ve bunun yerine kavramı öğrenmek için çantalar hakkında örnekten bağımsız bilgileri (veya meta verileri) çıkarmaya çalışmışlardır.^[9] Modern ÇÖÖ algoritmalarından bazılarının araştırması için . Foulds ve Frank.^[8]

Örnek tabanlı algoritmalar

İlk önerilen ÇÖ algoritmaları, Dietterich ve arkadaşları tarafından geliştirilen bir dizi "yinelemeli ayrımcılık" algoritması ve Maron ve Lozano-Pérez tarafından geliştirilen Diverse Density idi.^[4]^[10] Bu algoritmaların her ikisi de standart varsayım altında işlemektedir.

Yinelenen ayrımcılık

Genel olarak, tüm yinelemeli ayrımcılık algoritmaları iki aşamadan oluşur. İlk aşama, her pozitif torbadan en az bir örnek içeren ve herhangi bir negatif paketten hiç örnek içermeyen bir paralel eksenli dikdörtgen (PED) geliştirmektir. Bu yinelemeli olarak yapılır: Pozitif bir paketin $B_{1}$ elemanı $x_{1} \in B_{1}$ olacak şekilde rastgele bir $x_{1}$ örneğinden başlayarak, PED herhangi bir örneği kapsayan en küçük PED'ye genişletilir $x_{2}$ yeni bir pozitif paket $B_{2} .$ ^[8]^[11] oluşmuştur.

Genel bakış

Şimdiye kadar bu makale, yalnızca ikili sınıflandırıcılar bağlamında çoklu örnek öğrenmeyi ele aldı. Ancak, tek eşgörünümlü ikili sınıflandırıcıların genellemeleri, çok-eşgörünümlü duruma taşınabilir.

Bu tür bir genelleme, her bir torbanın artık etiket alanının herhangi bir alt kümesiyle ilişkilendirilebildiği çoklu örnek çoklu etiket problemidir (MIML). Resmi olarak, $X$ etiketlerin uzayıysa, bir MIML kavramı bir harita $c : N^{X} \to 2^{Y}$ . Zhou ve Zhang (2006),^[12] MIML problemine çoklu-örnekli veya çoklu-konseptli bir probleme indirgeme yoluyla bir çözüm önermektedir.

Bir başka bariz genelleme, çoklu-örnek regresyonudur. Burada, her torba standart regresyonda olduğu gibi tek bir gerçek sayı ile ilişkilendirilir. Standart varsayıma çok benzer şekilde, MI regresyonu, her torbada, torbanın etiketini (gürültüye kadar) belirleyen "birincil eşgörünüm" olarak adlandırılan bir örnek olduğunu varsayar. MI regresyonunun ideal amacı, her bir çantadaki ana örneklerin kare kaybını en aza indiren bir hiper düzlem bulmaktır, ancak asıl örnekler gizlidir. Aslında, Ray ve Page (2001) [22], torba başına üçten az örnek varsa, her bir torbadan bir örneğe uyan en iyi uyan hiper düzlemi bulmanın zor olduğunu göstermekte ve bunun yerine yaklaşıklık için bir algoritma geliştirmektedir. MI sınıflandırması için geliştirilen algoritmaların çoğu, MI regresyon problemine de iyi yaklaşımlar sağlayabilir.^[8]

Kaynakça

Şablon:Kaynakça

↑ Dietterich, Thomas G.; Lathrop, Richard H.; Lozano-Pérez, Tom (August 1994). "Solving the multiple instance problem with axis-parallel rectangles". *Artificial Intelligence*. 89 (1-2): 231-252. doi:10.1016/0004-3702(94)90048-4.
↑ Zhang, K.; Goldman, S. A. (2001). "Support Vector Machines for Multiple-Instance Learning". *Proceedings of the International Conference on Machine Learning (ICML)*. 18: 119-126.
↑ Keeler, James D., David E. Rumelhart, and Wee-Kheng Leow. Integrated Segmentation and Recognition of Hand-Printed Numerals. Microelectronics and Computer Technology Corporation, 1991.
↑ ^4,0 ^4,1 ^4,2 Şablon:Akademik dergi kaynağı
↑ O. Maron and A.L. Ratan. Multiple-instance learning for natural scene classification. In Proceedings of the 15th International Conference on Machine Learning, Madison, WI, pp.341–349, 1998.
↑ Şablon:Akademik dergi kaynağı
↑ Şablon:Akademik dergi kaynağı
↑ ^8,0 ^8,1 ^8,2 ^8,3 Şablon:Akademik dergi kaynağı
↑ Xu, X. Statistical learning in multiple instance problems. Master’s thesis, University of Waikato (2003).
↑ Maron, Oded, and Tomás Lozano-Pérez. "A framework for multiple-instance learning." Advances in neural information processing systems (1998): 570-576
↑ Şablon:Web kaynağı
↑ Zhou, Zhi-Hua, and Min-Ling Zhang. "Multi-instance multi-label learning with application to scene classification." Advances in Neural Information Processing Systems. 2006. pp 1609 - 16

[1] Dietterich, Thomas G.; Lathrop, Richard H.; Lozano-Pérez, Tom (August 1994). "Solving the multiple instance problem with axis-parallel rectangles". *Artificial Intelligence*. 89 (1-2): 231-252. doi:10.1016/0004-3702(94)90048-4.

[2] Zhang, K.; Goldman, S. A. (2001). "Support Vector Machines for Multiple-Instance Learning". *Proceedings of the International Conference on Machine Learning (ICML)*. 18: 119-126.

[3] Keeler, James D., David E. Rumelhart, and Wee-Kheng Leow. Integrated Segmentation and Recognition of Hand-Printed Numerals. Microelectronics and Computer Technology Corporation, 1991.

[:0-4] 4,0 ^4,1 ^4,2 Şablon:Akademik dergi kaynağı

[5] O. Maron and A.L. Ratan. Multiple-instance learning for natural scene classification. In Proceedings of the 15th International Conference on Machine Learning, Madison, WI, pp.341–349, 1998.

[6] Şablon:Akademik dergi kaynağı

[7] Şablon:Akademik dergi kaynağı

[:2-8] 8,0 ^8,1 ^8,2 ^8,3 Şablon:Akademik dergi kaynağı

[9] Xu, X. Statistical learning in multiple instance problems. Master’s thesis, University of Waikato (2003).

[10] Maron, Oded, and Tomás Lozano-Pérez. "A framework for multiple-instance learning." Advances in neural information processing systems (1998): 570-576

[11] Şablon:Web kaynağı

[12] Zhou, Zhi-Hua, and Min-Ling Zhang. "Multi-instance multi-label learning with application to scene classification." Advances in Neural Information Processing Systems. 2006. pp 1609 - 16

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]