İnsanlar duygusal yaratıklardır. Duygusal durumumuz en temel süreçlerden, karmaşık eylemlere ve zor kararlara nasıl davrandığımızı bildirir [1, 2]. Yaşamlarımız birçok yönden duygularımız tarafından yönlendirilir, bu yüzden duygular hakkında daha fazla bilgi sahibi olmak, insan davranışı hakkında daha fazla bilgi sahibi olmamızı sağlar.

İnsanların duygusal durumunu anlamanın, insan psikolojisinin daha iyi anlaşılmasını geliştirmekten, gelişmiş kullanıcı deneyimleri için davranışı araştırmaya ve üretken reklam kampanyaları geliştirmeye kadar bir dizi uygulama için yararlı olabileceği açıktır.

Ancak duyguları anlamanın önemi açık olsa da, bir bireyin duygusal durumu hakkında nesnel, gerçek zamanlı veriler elde etmek zor olabilir.

Bireyin duygusal durumunu ölçmek için inşa edilmiş anketler vardır, ancak yanıltıcı önyargılarla karşılaşılabilir [3]. Dahası, bu bilgiler anketin yapıldığı zamana aittir, yani veriler yalnızca birinin nasıl hissettiğine dair genel bir resim verebilir.

Yüz ifadesi analizi ise yüzlerimizin duygusal içeriği nasıl ifade ettiği hakkında objektif, gerçek zamanlı veriler sağlayabilir. Yüz ifadelerinin gösterdiği tam duygusal içerik hakkında bir tartışma olsa da [4, 5], birisinin nasıl hissettiğine dair bir fikir veren tek araç olmaya devam ediyor [6].

Ancak analiz hakkında daha fazla konuşmadan önce, temellerle başlayalım: 

Yüz ifadeleri nedir?

Yüzümüz vücudumuzun karmaşık, oldukça farklılaşmış bir parçasıdır. Aslında bizim için mevcut en karmaşık sinyal sistemlerinden biridir. Her biri birbirinden bağımsız olarak tetiklenebilen 43 yapısal ve fonksiyonel otonom kas içerir [7].

Yüz kas sistemi vücudumuzda kasların bir kemiğe ve yüz dokusuna (insan vücudundaki diğer kaslar iki kemiğe bağlanır) veya sadece gözleri veya dudakları çevreleyen kas gibi yüz dokusuna bağlandığı tek yerdir.

Vücudumuzdaki tüm kaslar, başlangıçta omurilik ve beyinden giriş alan sinirler tarafından donatılmıştır. Sinir bağlantısı çift yönlüdür, yani bu, sinirin beyin sinyallerine dayanan kas kasılmalarını tetiklediği ve aynı zamanda bilgiyi beyne iletebileceği anlamına gelir.

Hemen hemen tüm yüz kasları, 7. kraniyal sinir olarak da bilinen tek bir sinir, yüz siniri, tarafından yönetilir. Yüze ait sinirler, beyin sapının (pons) derinliklerinde ortaya çıkar, kulağın biraz altından geçerek (yüz kanalı) tüm yüz kaslarına ulaşır [8]. Yüze ait sinir ayrıca vücudumuzun tüm kas hareketlerini kontrol eden neokorteksimizin ön motor bölgesi ile bağlanır (bunun nasıl organize edildiğinin temsili bir görüntüsü aşağıda gösterilmiştir; [9]).

Bu nedenle yüz ifadelerimiz genellikle talamus ve tamamlayıcı motor korteksten sinyal alan birincil motor alandan gelir [10, 11]. Bu yol esas olarak çeşitli aşamalarda yüz ifadelerini aktive edebilen daha geniş bir beyin alanı ağı oluşturur.

Yüzle ilgili sinir, bir kas sinyali verdiğinde, yüz ile ilgili kas (veya kaslar) da kasılır veya gevşer. Bu sinyalin harici olarak gözlemlenebilir bir yüz ifadesi değişikliğine yol açması gerekmeyebilir.

Yüz ifadesi analizi nasıl çalışır?

Her biri kendi avantajları ve dezavantajları olan üç temel yüz ifadesi analizi yöntemi vardır. Bu üç yöntemden en eskisi yüz elektromiyografisi (fEMG), yüz kaslarındaki elektriksel aktivitenin kaydedilmesini sağlar.

fEMG

fEMG’de yapılan kayıtlar, yüz ifadesinde harici bir değişiklik görülmese bile aktivitenin tespit edilebileceğini göstermiştir. Bu aktivitenin bireyin duygusal durumu ile ilgili olduğu ileri sürülmüştür. Zygomaticus major kasının gülümsemeyle ilgili artan aktivitesinin sevinç duygularıyla ilişkili olduğu ileri sürülmüştür [12]. “Dudaklarımızın köşeleri ile yanaklarımızın üst kısmı arasında otururken, gülümsememizi kontrol eder.”

fEMG, görsel olarak tespit edilmesi imkansız olan yüz kas hareketleri hakkında veri sağlayabilirken, kayıtlar yüze yerleştirilebilen sınırlı sayıda elektrotla sınırlıdır. Elektrotların uygulanması ayrıca hem yüz kas sistemi hem de elektrotların nasıl doğru bir şekilde uygulanacağı hakkında bilgi gerektirir.

FACS

Yüz ifadesi değişikliklerini tespit etmek için fEMG kullanımından kısa bir süre sonra Facial Action Coding System (FACS) Paul Ekman ve Wallace Friesen tarafından tanıtıldı [13]. FACS, yüzü ayrı kas hareketlerine bölen Carl-Herman Hjortsjö [14] tarafından tamamlanan çalışmalar üzerine inşa edilmiştir.

FACS, yüz ifadesi analizi alanını başlangıcından itibaren şekillendirerek temel kaynak haline gelmiştir. Araştırmacılar, yüz kas hareketiyle ilgili bir dizi yüz hareketini ana hatlarıyla belirleyerek yüzün hareketini ölçüp bunu duygusal ifadelerle ilişkilendirdiler.

Yüz ifadesi analizi alanında FACS’ın önemini abartmak zor olsa da çok pratik bir yöntem olduğu ortadadır. Yüz ifadelerini FACS yöntemine göre doğru bir şekilde ölçmek için, resmi olarak sertifikalı ve eğitimli FACS uzmanlarının hangi kasların hareket ettiğini ve hareket yoğunluğunu belirlemeleri gerekir. Bu, pratikte, bir videonun kare kare görüntülenmesi ve işlenmesi gerektiği anlamına gelir ve çok zaman alabilir.

Yüz ifadesi analiz yazılımı

Yüz ifadelerini doğru bir şekilde işlemek için gereken gereksinimleri FACS yönteminin ilkelerine göre ve bu ilkelere dayanarak karşılamaya çalışan yazılımlar ortaya çıkmıştır. Oluşturulan yazılımlardan birine danışman olarak Paul Ekman’ın katıldığı Emotient şirketi 2016 yılında Apple tarafından satın alındı.

Diğer şirketler, algoritmalarını yedi milyondan fazla yüze (herhangi bir yüz ifadesi analiz yazılımı şirketinin en büyük veri kümesi) eğiten Affectiva yazılımı gibi yüz ifadesi analizlerine otomatik çözümler sağladı.

Yazılım önce yüzü tanımlar ve önemli noktaları tanımlamak için görüntü algoritmaları kullanır. Yazılımlar görüntülerin işlenme biçiminde farklılık gösterebilir. Örneğin Affectiva yüz kaslarının hareketini analiz etmek ve daha sonra yüz ifadelerini tahmin etmek için derin öğrenme yoluyla eğitilmiş algoritmalar kullanır.

Yüz ifadelerini analiz etmek için oluşturulan yazılım, zaman ve gerekli kaynaklar söz konusu olduğunda açıkça avantaj sağlar. Gereken tek donanım sadece basit bir web kamerasıdır. Bununla birlikte veri doğruluğunun genellikle fEMG veya manuel FACS yöntemi kadar iyi olduğu düşünülmektedir. Sonuçta yüz ifadesi analizi ile çalışanların hangi yöntemin ihtiyaçlarını ve gereksinimlerini en iyi karşıladığına karar vermeleri gerekmektedir.

Yüz ifadesi analiz verileri

Elbette verilerin türü, toplandığı modele bağlıdır (yani fEMG, manuel FACS kodlaması veya yazılım aracılığıyla otomatik yüz ifadesi analizi). Her biri için veri türlerini inceleyeceğiz.

fEMG
EMG’de olduğu gibi veriler bir eşik değeri belirlendikten sonra kaslar tarafından üretilen elektriksel aktivite seviyesini ifade eder. Eşik değeri, MVC (Maximum Voluntary Contraction) adı verilen kayıtlarla belirlenir. MVC, bireyin yapabileceği maksimum kas kasılmasının maksimum yoğunluğudur.

Ardından iki elektrot arasındaki voltaj farkı deriden kaydedilir ve maksimum aktivite miktarına göre analiz edilir.

FACS
FACS algoritmasında her farklı kas hareketiyle ilgili bir sayı oluşur ve yüzün yanıyla (yani sol veya sağ) ve ayrıca eylemin gücü ile daha ayrıntılı olarak detaylandırılır. Güç, ‘A’ (iz aktivitesi) ile ‘E’ (maksimum aktivite) arasında puanlanır. Bu şekilde, gözlerin güçlü bir şekilde açılması R5C + L5C (sol ve sağ göz kapağı hareketi, ‘C’ yoğunluğunda) olarak adlandırılabilir.

Otomatik yüz ifadesi analizi
Bu yöntemde veri türü, otomatik yüz ifadesi analizi için kullanılan yazılım türüne bağlı olacaktır. Örneğin Affectiva yazılımı, 0 (ifade yok) ile 100 (tam olarak mevcut bir ifade) arasında değişen değerleri toplar. Bu değerler daha sonra diğer veriler gibi analiz edilir.

Yüz ifadelerinin duygularla olan bağlantısı tartışma konusu olmaya devam ederken, bu analiz yöntemi duygusal ifadelere bağlı objektif veriler sağlayabilen az sayıdaki araçtan biri olmaya devam ediyor.

Yüz ifadesi analizinin yapılabileceği çeşitli yollar vardır ve araştırmanız için hangisinin en iyi olduğunu belirlemek, büyük ölçüde elinizdeki kaynaklara bağlı olacaktır. Verebileceğiniz en iyi karar bilgiye dayalı olarak verilen karardır.

 

Kaynakça

[1] Sanfey, A.G., Rilling, J.K., Aronson, J.A., Nystrom, L.E., & Cohen, J.D. (2003). The neural basis of economic decision-making in the Ultimatum Game. Science, 300, 1755–1758.

[2] Angie, A. D., Connelly, S. Waples, E. P. Kligyte, V. (2011). The influence of discrete emotions on judgement and decision-making: a meta-analytic review. Cogn. Emotion, 25 (2011), 1393-1422.

[3] Choi, B. C. K., & Pak, A. W. P. (2005). A catalog of biases in questionnaires. Preventing Chronic Disease, 2, 1-13.

[4] Carroll, J. M. & Russell, J. A. (1996) Do facial expressions signal specific emotions? Judging emotion from the face in context. Journal of Personality and Social Psychology, 70:205–18.

[5] Aviezer H, Trope Y, Todorov A (2012) Body cues, not facial expressions, discriminate between intense positive and negative emotions. Science, 338: 1225–1229.

[6]  Sebe. N, Lew, M.S., Cohen, I.,Sun, Y., Gevers, T., Huang, T.S. (2004). Authentic facial expression analysis. In Proc. International Conf. Face and Gesture Recognition, 517-522.

[7] Moore, Keith L.; Dalley, Arthur F.; Agur, Anne M. R. (2010). Moore’s clinical anatomy. United States of America: Lippincott Williams & Wilkins.

[8] Gupta, S., Mends, F., Hagiwara, M., Fatterpekar, G., Roehm, P. C. (2013). Imaging the facial nerve: a contemporary review. Radiol Res Pract, 248039:1–14.

[9] OpenStax College, CC BY 3.0. Retrieved September 24th, 2018, from: https://commons.wikimedia.org/wiki/File:1421_Sensory_Homunculus.jpg

[10] Behrens, T., Johansen-Berg, H., Woolrich, M., Smith, S., Wheeler-Kingshott, C., Boulby, P., Barker, G., Sillery, E., Sheehan, K., Ciccarelli, O., Thompson, A., Brady, J., Matthews, P. (2003). Noninvasive mapping of connections between human thalamus and cortex using diffusion imaging. Nat. Neurosci. 6 (7), 750 – 757.

[11] Oliveri, M., Babiloni, C., Filippi, M. M., Caltagirone, C., Babiloni, F., Cicinelli, P., Traversa, R., Palmieri, M. G. & Rossini, P. M. (2003). Influence of the supplementary motor area on primary motor cortex excitability during movements triggered by neutral or emotionally unpleasant visual cues. Exp Brain Res, 149, 214–221.

[12] Schmidt, K. L., Ambadar, Z., Cohn, J. F., Reed, L. I. Movement differences between deliberate and spontaneous facial expressions: Zygomaticus major action in smiling. Journal of Nonverbal Behavior. 2006;30:37–52.

[13] Ekman, P., and Friesen, W. V. (1978). Facial Action Coding System: A technique for the measurement of facial movement. Palo Alto, CA: Consulting Psychologists Press.

[14] Hjortsjo, C. H. (1970). Man’s face and mimic language. Malmo, Sweden: Nordens Boktryckeri.

[15] Russell, J. A., Fernandez-Dols, J. M. (1997). The psychology of facial expression. Cambridge, MA: Cambridge UP.

 

Çeviri: Celal Özer

Kaynak: Bryn Farnsworth, Ph.D, https://imotions.com/blog/facial-expression/