텍스트 감정 인식 모델 파인튜닝

 

1️⃣ 모델 선정 - RoBERTa

먼저 텍스트 감정 인식에 사용되는 다양한 모델 중 하나를 선정하기 위해 XLnet, ELECTRA, BERT, RoBERTa를 대상으로 동일한 조건 하에 정확도를 실험했다. 이 중 RoBERTa가 가장 높은 성능을 보였기에 RoBERTa를 채택해 파인튜닝을 하기로 결정했고, 이는 선행연구와 동일한 결과였다.

Comparative analyses of bert, roberta, distilbert, and xlnet for text-based emotion recognition (IEEE ICCWAMTIP'20)
Exploring transformers models for emotion recognition: A comparision of BERT, DistilBERT, RoBERTa, XLNET and ELECTRA (Proceedings of the 2022 3rd International Conference on Control, Robotics and Intelligent System)

 

2️⃣ 데이터 셋 선정 - Empathetic Dialogues

해당 데이터 셋은 특정 감정을 포함하는 실제 대화 상황을 연출한 것으로, 데이터가 비교적 clean 한 것으로 알려져 있다. 일상 생활의 대화 및 상황 속에서 감정을 인식하고자 하는 우리의 목표와 맞기에 해당 데이터 셋을 채택하였다.

데이터 셋의 head를 찍어보면 다음과 같다.

conv_id	utterance_idx	context	prompt	speaker_idx	utterance	selfeval	tags
hit:0_conv:1	1	sentimental	I remember going to the fireworks with my best friend. There was a lot of people_comma_ but it only felt like us in the world.	1	I remember going to see the fireworks with my best friend. It was the first time we ever spent time alone together. Although there was a lot of people_comma_ we felt like the only people in the world.	5|5|5_2|2|5
hit:0_conv:1	2	sentimental	I remember going to the fireworks with my best friend. There was a lot of people_comma_ but it only felt like us in the world.	0	Was this a friend you were in love with_comma_ or just a best friend?	5|5|5_2|2|5
hit:0_conv:1	3	sentimental	I remember going to the fireworks with my best friend. There was a lot of people_comma_ but it only felt like us in the world.	1	This was a best friend. I miss her.	5|5|5_2|2|5
hit:0_conv:1	4	sentimental	I remember going to the fireworks with my best friend. There was a lot of people_comma_ but it only felt like us in the world.	0	Where has she gone?	5|5|5_2|2|5
hit:0_conv:1	5	sentimental	I remember going to the fireworks with my best friend. There was a lot of people_comma_ but it only felt like us in the world.	1	We no longer talk.	5|5|5_2|2|5

하나의 대화에 참여하는 두 speaker가 있고, 이 중 해당 감정에 관한 발화를 진행하는 사람은 1이다.

데이터셋을 그대로 사용했을 경우의 모델 정확도는 Test Loss: 1.4786 | Test Accuracy: 0.5771였다.

우리는 위 데이터 셋 중 context (emotion), utterance, prompt를 사용했다. prompt의 경우에는 EDA 시에 활용했다.
또한, conv_id 가 동일한 텍스트는 하나의 데이터로 보도록 하였으며, speaker_idx가 1인 데이터만을 모아 하나로 통합하여 monologue로 만들었다.

 

3️⃣ 감정 재라벨링

Empathetic Dialogues 데이터 셋은 총 32개의 감정으로 라벨링이 되어있다.

이를 Anger, Disgust, Fear, Sadness, Contentment, Excitement, Awe, Amusement의 8개 라벨로 재라벨링하였다.
부정적 감정에 해당하는 Anger, Disgust, Fear, Sadness는 널리 알려진 Plutchick의 감정 분류를 따른 것이다.
긍정적 감정의 경우, 부정적 감정의 라벨의 수와 동일하게끔 Contentment, Excitement, Awe, Amusement를 사용하였는데, 이는 선행 연구에서 제안되었던 Happiness의 finer grained version에 해당한다.
이와 같은 8개 감정 라벨로의 분류 또한 선행 연구에서 제안 및 사용된 적이 있다.

감정 재라벨링은 SenticNet의 knowledge graph, BERT, spaCy, 그리고 Word2vec을 이용한 벡터 임베딩의 유사도 계산을 통해 진행하였다. 사용된 메소드마다 서로 다른 결과를 보였던 context의 경우에는 모호한 것으로 판단, 사용할 데이터 셋에서 제외(10개 라벨 - 'anticipating', 'prepared', 'caring', 'hopeful', 'confident', 'nostalgic', 'disappointed', 'sentimental', 'trusting', 'faithful')하였다.

emotion_mapping = {
    'anger': 0, 'disgust': 1, 'fear': 2, 'sadness': 3, 'contentment': 4, 'excitement': 5, 'awe': 6, 'amusement': 7
}
emotion_to_label = {
    'surprised': 6, 'excited': 5, 'angry': 0, 'pround': 6 'sad': 3,
    'annoyed': 1, 'grateful': 6, 'lonely': 3, 'afraid': 2, 'terrified': 2,
    'guilty': 1, 'impressed': 6, 'disgusted': 1, 'furious': 0, 'anxious': 2,
    'joyful': 7, 'jealous': 1, 'content': 4,
		'devastated': 3, 'embarassed': 1, 'ashamed': 1, 'apprehensive': 2,
}
emotion_except = {
	'anticipating', 'prepared', 'caring', 'hopeful', 'confident', 'nostalgic', 'disappointed', 'sentimental', 'trusting', 'faithful'
}

이 과정을 통해 정확도를 Test Loss: 0.5743 | Test Accuracy: 0.8159까지 향상시킬 수 있었다.

 

4️⃣ 하이퍼파라미터 조정

RoBERTa 논문에서 제안된 최적의 하이퍼 파라미터는 아래와 같다.

• batch size : 16, 32
• 학습률(Adam): 5e-5, 3e-5, 2e-5
• epoch numbers: 2, 3, 4

이들의 가능한 모든 조합을 테스트하였고, 그 결과 가장 높은 정확도를 보인 것은 아래의 조합이었다.

• batch size 16
• 학습률(Adam): 2e-5
• epoch: 2

추가로 아래 하이퍼 파라미터를 이용했다. 

• LR 스케줄러: get_linear_schedule_with_warmup (warmup ratio = 0.06)
• weight decay: 0.1
• eps: 1e-8
• max length: 128

이에 Test Loss: 0.5362 | Test Accuracy: 0.8258의 정확도를 얻을 수 있었다.

 

5️⃣ EDA

데이터 불균형의 해결을 위해 Empathetic Dialogues의 prompt와 GoEmotions 데이터 셋을 활용하였다.

GoEmotions 데이터 셋의 경우,  Empathetic Dialogues와 같이 감정 재라벨링을 진행하였고 그 중 amusement만을 사용했다.

그리하여 최종적으로 Test Loss: 0.3050 | Test Accuracy: 0.8973

의 정확도를 얻을 수 있었다.

Classification Report for the Entire Test Set:
              precision    recall  f1-score   support

       anger       0.70      0.66      0.68       151
     disgust       0.86      0.84      0.85       467
        fear       0.87      0.92      0.89       292
     sadness       0.90      0.94      0.92       231
 contentment       0.83      0.82      0.82       342
  excitement       0.72      0.66      0.69        91
         awe       0.82      0.85      0.83       176
   amusement       0.96      0.95      0.96      1776

    accuracy                           0.90      3526
   macro avg       0.83      0.83      0.83      3526
weighted avg       0.90      0.90      0.90      3526

Test Accuracy (anger): 0.6623
Test Accuracy (disgust): 0.8437
Test Accuracy (fear): 0.9247
Test Accuracy (sadness): 0.9351
Test Accuracy (contentment): 0.8158
Test Accuracy (excitement): 0.6593
Test Accuracy (awe): 0.8523
Test Accuracy (amusement): 0.9544