Affective Image Classification using Features Inspired by Psychology and Art Theory

Affective Image Classification using Features Inspired by Psychology and Art Theory (2010)

 

ABSTRACT

• 이미지는 감정적인 수준에서 사람들에게 영향을 미칠 수 있음
  • 그러나 이미지를 보는 사람에게 발생하는 감정은 매우 주관적이기 때문에 인덱스가 형성되는 경우는 거의 없음
    • BUT 감정적인 내용을 기반으로 이미지를 검색할 수 있다면 도움이 될 수 있는 상황이 있음
• 해당 논문은 이미지의 감정적인 내용을 나타내는 low level feature를 추출하고 결합하는 방법을 조사하고 개발하여 이미지 감정 분류에 사용함
  • 심리학과 예술 이론의 이론적이고 경험적인 개념을 활용하여 감정적인 표현으로 예술 작품 영역에 고유한 이미지 특징을 추출함
  • → IAPS에서 SOTA와 비교하여 향상된 분류 결과를 얻음

 

SYSTEM FLOW OF THE FRAMEWORK

1. image 데이터 셋 3종 이용

• IAPS(International Affective Picture System) (394개)
• Artistic Photography 공유 사이트 크롤링 (807개)
  • using the emotion categories as search terms in the art sharing site
    • These photos are taken by people who attempt to evoke a certain emotion in the viewer
    • 작가가 표시한 색상과 질감을 의식적으로 사용하면 분류가 개선되는지 여부를 조사하기 위해 사용
• Abstract Painting (228개)
  • 특정 물체, 심볼 등이 유발하는 감정을 배제하고 맥락적인 내용이 없는 상태에서 이미지의 특징만을 보기 위해 사용

2. Preprocessing 진행 후 segmentation

⇒ segmentation result + original image: input to the feature extraction process

Preprocessing

• resize image into 200,000 pixels
• crop borders
• conversion from RGB to HSV

  

  • intuitive definition of colors by defining a well separated Hue (H), Saturation (S) and Brightness (Y) channel

Segmentation

• Waterfall segmentation 이용
  • takes both color and spatial information into account
  • ⇒ results in an image separated into contiguous regions

3. FEATURE extraction: get the feature vector (low level feature 이용)

FEATURES

• based on the experimentally-determined relation between 색의 채도, 밝기, 그리고 감정의 dimensions [26], as well as features based on relations between 색의 혼합과 induced emotional effects from art theory [15].
  • We complement these features by a selection of features, some of which are shown to be of use in similar image retrieval [24] and classification tasks [7, 32]

1) Color

• low-level color features를 감정과 매핑하는 것은 매우 어려운 일임
  • 색의 사용에 대한 이론과 인지 모델을 고려해야 하며 문화적, 인류학적 배경을 포함해야 함 [15, 5]
    • 다른 문화나 배경을 가진 사람들은 동일한 색상 패턴을 상당히 다르게 인식하고 해석할 수 있음 (= 우리의 한계점 또한 될 수 있을 듯)
  • 색채와 색채 조합의 emotional impact는 예술가[15], 심리학[26], 색채 과학자[23] 및 마케팅 에이전트의 관점에서 조사되었음
• 색의 측정을 위해 implemented 된 features:
  • Saturation and Brightness statistics (채도와 밝기)
    • 직접적인 영향을 줄 수 있음 on pleasure, arousal and dominance, the three axes of the emotion space according to the dimensional approach to emotions [22].
    • formulae determined by Valdez and Mehrabian from their 심리학적 실험 [26].
      • The experiments were conducted in a controlled environment, where 250 people were shown series of single color patches and rated them on a standardized emotional scale (Pleasure-Arousal-Dominance) to describe how they feel about the color.
      • The resulting equations:
        • Pleasure = 0.69 Y +0.22 S (1)
        • Arousal = −0.31 Y +0.60 S (2)
        • Dominance = 0.76 Y +0.32 S (3)
  • Hue statistics (색상)
    • tone of the image를 결정
    • 그러나 hue는 circular way (in degrees)로 측정됨
      • vector-based, circular statistics [20] must be used to compute measurements like mean, hue spread, etc.
  • Colorfulness
    • measured by Earth Mover’s Distance (EMD) between the histogram of an image and the histogram having a uniform color distribution, according to an algorithm suggested by Datta [7].
  • Color Names
    • each color has a special meaning and is used in certain ways by artists
      • 11가지 기본 색상에 대해 사용된 픽셀 수를 계산함 (black, blue, brown, green, gray, orange, pink, purple, red, white, yellow) are present on the image using the algorithm of van de Weijer et al. [27].
  • Itten contrasts [15]
    • a powerful concept in art theory
    • viewer에게 감정적인 효과를 유도하고 조화로운 이미지를 얻기 위해 색을 조합하기 위한 공식화된 개념
    • hue, saturation and luminance(색상, 채도, 휘도)에 따라 색상을 characterize함
      • 12개 색상이 기본 컬러로 identified
        • 5 레벨의 휘도와 3 레벨의 채도로 varied
        ⇒ 180개의 distinct colors, which have been organized into a spherical representation
      • 12개의 pure colors가 equatorial circle에 따라 배열, luminance 휘도는 meridians에 따라 달라지며, radius가 커짐에 따라 saturation이 증가
      • The center of the sphere is neutral gray, 대조적인 색상은 서로 반대편에 위치함
        • Warm colors lie opposite cold colors, dark colors opposite light colors, etc.
        • 참고

        

        
        
        • Figure 1. Three views of the Runge-Itten sphere
    • 이 polar representation을 바탕으로, Itten은 7가지 타입의 contrast를 identified
      • contrast of saturation, contrast of light and dark, contrast of extension, contrast of complements, contrast of hue, contrast of warm and cold and the simultaneous contrast.
        • 참고
        7 colors contrast by Johannes Itten - Painting and Artists
    • 또한 formalized color combinations that look harmonious: the color accordances (색의 조화)
    • 이를 mathematical formulae로 나타냄
      • partly based on the work in [6].
        1. transform the image into a simpler collection of colored patches
           1. waterfall segmentation의 결과로 얻은 region과 각각의 average Hue, Saturation and Brightness 계산 결과를 이용
           2. translate the region’s average values into the Itten color model [15]
           3. → 각 region이 e.g. “dark”, with “low saturation” and “green hue”와 같이 표현됨
        2. 모델의 채도와 밝기는 fuzzy membership functions defined in [32]를 이용해 encoded됨
           1. 추가로 각 영역(has Itten color and a size)에 대해 Itten contrasts를 분석함
           2. 명암의 대조 측정: 상대적 크기에 따라 가중치가 부여된 모든 영역의 Brightness membership functions에 대한 표준 편차 및 아날로그 방식으로 포화도의 대비를 정의
           3. 색상의 대조 측정: 벡터 기반의 measurement of the hue spread
           4. complements의 대조 측정: 분할된 영역 사이의 색상 차이를 계산
              1. hue-wheel problem을 고려해야 하므로, hue difference measure (색차 측도, where hi is the representative (mean) hue of the region i)로 d = min(|hi − hj |, 360 − |hi − hj |) 를 사용함
                 1. 만약 contrast of complements가 있다면 값은 180◦에 가까움
           5. 웜쿨의 대조 측정: [6]에서 정의
              1. 각 영역에는 ri 영역의 추위(t = 1), 중립(t = 2) 및 따뜻한(t = 3) 정도를 나타내는 three membership functions wt가 할당
              2. warm-cold contrast between two regions is defined as:
              3. total amount of warm and cold area in the image 또한 계산함
           6. simultaneous contrast: absence of contrast of complements임
              1. complementary contrast값이 낮은 것과 같음
           7. contrast of extension: 수학적으로 공식화 되기 어려워 계산하지 않음
           8. Harmony: 사람의 눈에 안정감을 주는 색상과 톤의 조합
              1. the combination of those colors whose mix is gray로 정의되는 객관적인 개념임
              2. spherical model에 적용된 color accordances 는 구면 상 위치를 선으로 연결했을 때 정다각형을 생성하는 색상 조합임
              3. 계산 방법
                 1. 이미지로부터 12개 주요 색상을 가진 hue histogram을 작성함 (5% 미만인 bin은 무시)
                    1. 주로 3–4개의 주요 색상이 발견됨
                 2. 위 주요 색상을 Itten color wheel과 mapping하고, 이들의 위치를 연결해 다각형 생성
                 3. 생성된 다각형의 내각과 동일한 수의 정점을 가진 가상의 정다각형의 내각의 차이로 측정
• Color features by Wang Wei-ning et al. [32]
  • 색상의 감정적 영향을 이미지로 표현할 수 있도록 설계된 전문 히스토그램

2) Texture

• 전문 사진작가들과 예술가들은 보통 선명한 사진, 혹은 아웃포커싱(the main object is sharp with a blurred background) 된 사진을 만듦
  • 그러나 우리는 사진 속 블러 처리가 desired expression을 achieve하는 데에도 효율적으로 사용될 수 있음을 발견함
    • 의도적으로 blur된 이미지는 fear를 나타내는 art photography images에서 자주 활용되었음
• Wavelet-based features
  • to measure spatial smoothness/graininess in images
    • using the Daubechies wavelet transform [8]
  • [7]에서 제안된 three-level wavelet transform on all three color channels (Hue H, Saturation S and Brightness Y)를 이용함
    • 영상의 한 채널의 wavelet transform에 대한 수준 i의 계수를 다음과 같이 표시할 때:

      

      • the wavelet features (where i = {1, 2, 3}) are:

        

         
        • 모든 레벨 i와 모든 채널(H, S, Y)에 대해 계산됨
          • 즉, 9개의 wavelet features를 얻게 됨
          • sum over all three levels를 각 채널마다 추가함 (총 3개)
• Tamura [25]
  • affective image retrieval [33]에서 효과적으로 사용되었음
    • coarseness, contrast and directionality
  • ⇒ 따라서 Tamura texture features 중 앞에서 3개를 사용하기로 함:
• Gray-Level Co-occurrence Matrix (GLCM) [13]
  • 질감을 측정하는 또 하나의 고전적인 방법임
  • ⇒ compute contrast, correlation, energy, and homogeneity of an image

3) Composition

• 이미지 part 간의 관계는 굉장히 복잡하므로 only few aspects of composition만 analyze했음
  • 그러나 이 분야는 앞으로 much improvement could be made
• Level of Detail
  • detail이 많은 이미지는 일반적으로 미니멀리스트 구성과 다른 심리적 효과를 냄
  • 이미지의 detail 수준을 측정하기 위해 predefined Alternating Sequential Filter size(필터 크기 3 및 폭포 계층의 수준 2)로 waterfall segmentatione된 영역의 개수를 count함
    • simple images: low, busy or cluttered images: high
• Low Depth of Field (DOF)
  • 전문 사진작가가 배경을 블러 처리하여 reducing the “busyness”하고 attention of the observer를 object of interest로 집중되게끔 하는 데에 사용됨 (아웃포커싱)
  • [7]에서 전체 이미지에 대한 이미지의 내부 부분의 고주파수(식 4의 표기에 사용된 레벨 3)의 웨이블릿 계수의 비율을 계산하여 low DOF 및 macro image를 검출하는 방법이 제안됨
• Dynamics
  • 선행 연구에 따르면 선들은 emotional effects [15, 2]를 유발함
    • Horizontal lines(수평선): associated with a static horizon(정적인 지평선) and communicate calmness, peacefulness and relaxation
    • vertical lines(수직선): clear and direct and communicate dignity and eternity
    • slant lines(기울어진 선): unstable and communicate dynamism
    • Lines with many different directions: chaos, confusion or action
    • 선이 길고 굵으며 지배적일수록 induced psychological effect가 강함
  • Hough transform을 통해 significant line slopes를 detect함
    • 발견된 선은 기울기 각도 θ에 따라 static (horizontal and vertical) or slant로 분류되고, 각각의 길이로 가중치가 부여됨
      • (-15 ◦ < θ < ◦ < ◦>) 또는 (75 ◦ < θ < 105 ◦)이면 정적, 그렇지 않으면 기울기
    ⇒ 이미지에서 정적 선과 동적 선의 비율을 얻음
• Rule of Thirds

  

  • main object는 내부 직사각형의 안쪽 혹은 주변에 놓여 있음
  • ⇒ 따라서 우리는 내부 직사각형에 대한 color statistics를 측정하였음

4) Content

• 이미지의 semantic content는 어떤 그림의 emotional influence에 가장 큰 영향을 미침
• induced two algorithms
  • Human Faces
    • strongly draw the attention of human observers
    • 표정은 distinguish the moods of a picture를 위해 매우 중요하나, 이미지에서 사람의 표정을 인식하는 알고리즘은 아직 완벽하지 않음
      • 따라서 (하위호환으로) 얼굴 감지 알고리즘 by Viola and Jones [28]을 사용하였음
      • 발견된 얼굴의 수, 이미지에 대한 가장 큰 얼굴의 상대적인 크기를 사용함
      • → 인물사진 구분, 단체사진과 초상화 구분이 가능함
  • Skin
    • 스킨 컬러 픽셀의 양으로 “artistic nudes” 이미지를 구별함
      • very specific emotional response를 갖는 이미지임
    • [18]의 알고리즘을 이용함
      • basic idea: 이미지에서 피부색을 나타내는 색상 스펙트럼을 찾는 것
        • YCbCr color space is well suited to this task
          • 사전에 정의된 static model (thresholds on the Cb and Cr channels)
            • many case에 대해 피부색을 잘 나타냄
      • [18]에서는 face detection을 포함해 위 방법을 개선함
        • face detection algorithm by Viola and Jones [28]를 이용해 얼굴 먼저 감지→ 만약 하나 이상의 얼굴이 발견된다면 skin color models are combined
        • → 만약 얼굴이 발견된다면 the thresholds in the above model are altered to present a spectrum specific to the person found in the image
        • 우리는 피부 면적 (i.e. the number of pixels in skin color)과 감지된 얼굴 크기에 대한 proportion of the “skin area”를 feature로 계산하였음

4. Classifier: Naive Bayes classifier 이용

 

RESULTS

• best feature selection for each data set and each category, along with the dimensionality reduction method producing each feature set listed in the last row
  • IAPS
    • Anger 및 Contentment: Yanulevskaya et al. features가 가장 적합한 성능을 제공
    • IAPS 세트의 카테고리는 콘텐츠와 밀접한 관련이 있음
      • Fear 및 Disgust: snakes, insects, injuries가 자주 표시
      • Amusement: 행복한 사람의 초상화가 포함되는 경우가 많음
  • best feature set는 카테고리와 데이터 세트 모두에 의존함
    • Amusement: 사람의 얼굴 occurrence와 크기는 IAPS 이미지 세트의 Amusement카테고리에서 가장 강력한 특징
  • classifier는 기본적으로 초상화를 감지할 때 가장 좋은 성능을 발휘함
    • 그러나 artistic sets의 얼굴과 카테고리 사이에는 이러한 강한 연결이 없음
      • 대신 색상이 훨씬 더 중요해짐
        • 예술 이론(Itten colors, Wang Wei-ning histograms)을 기반으로 한 특징이 실제로 예술적 사진 세트에 가장 자주 선택됨
        • Amusement 및 Excitement: Itten features가 많이 선택됨, color features developed by Wang Wei-ning et al. 또한 효과적임 (feature selection algorithms에 의해 선택되었음)
        • Awe 및 Disgust: color features developed by Wang Wei-ning et al.이 가장 우수한 성능을 보였음

---

⭐ 정리하자면

• Anger 및 Contentment
  • IAPS + Yanulevskaya et al. features가 가장 적합
• Fear 및 Disgust
  • IAPS의 경우 콘텐츠 (snakes, insects, injuries) 영향이 큼
• Awe 및 Disgust
  • artistic sets + Wang Wei-ning histograms
• Amusement 및 Excitement
  • IAPS의 경우 콘텐츠 (행복한 사람의 초상화, occurrence와 크기) 영향이 큼
  • artistic sets + Itten colors/Wang Wei-ning histograms

 

CONCLUSIONS

• 더 나은 특징과 더 나은 분류를 개발하는 데 있어 개선의 가능성이 있음
  • 얼굴이나 특정 공통 기호(e.g. 하트)의 감정 표현 인식과 같은 semantic-based features가 유리할 수 있음
  • 분류를 위해 각 이미지를 하나의 감정 범주에 강제하는 대신 범주에 대한 분포를 보여주는 “emotional histogram”을 생성할 수 있음
  • 더 많은 수의 사람들로부터 더 신뢰할 수 있는 실측 자료가 필요
  • consensus-based approach(합의 기반 접근법) 대신 개별 사람들의 선호도를 학습하는 것이 더 잠재적인 발전임