A Taxonomy of Prompt Modifiers for Text-To-Image Generation

논문을 읽기 전에

프롬프트 엔지니어링 (Prompt Engineering)이란?

• 생성형 인공 지능(생성형 AI) 솔루션을 안내하여 원하는 결과를 생성하는 프로세스
  • 원하는 결괏값에 최대한 가까워지도록 입력을 계속해서 다듬는 과정
    • ‘원하는’ 작업을 수행하도록 지시하는 최적의 프롬프트를 설계
  • AI가 사용자와 더 의미 있게 상호 작용하도록 안내하는 가장 적절한 형식, 구문, 단어 및 기호를 선택 → 예상대로 작동하도록 함
• 생성형 AI: 스토리, 대화, 동영상, 이미지, 음악과 같은 새로운 콘텐츠를 만들어내는 인공 지능 솔루션
  • 방대한 양의 데이터로 사전 훈련된 심층 신경망을 사용하는 규모가 아주 큰 기계 학습(ML) 모델을 기반으로 함
  • 대규모 언어 모델(LLM)은 매우 유연하며 다양한 작업을 수행할 수 있음
    • BUT 매우 개방적 → 모든 유형의 입력이 유용한 출력을 생성하는 것 X
      • 컨텍스트와 세부 정보가 필요함
  • ex) 문서 요약, 문장 완성, 질의응답, 번역 등 → 과거 훈련을 바탕으로 판단한 최상의 결과를 예측
• 프롬프트: 특정 작업을 수행하도록 생성형 AI에 입력하는 자연어 텍스트
  • AI 모델이 학습한 내용 가운데 특정 내용을 탐색하도록 안내해 목표에 맞는 결과를 생성
  • 구성요소
    • 명령(Instruction): 모델이 수행하기를 원하는 특정 작업 또는 지침
    • 맥락 정보(Context): 모델을 조정할 수 있는 외부 정보 또는 추가 맥락
    • 입력 데이터(Input Data): 답변을 찾고자 하는 입력 또는 질문
    • 출력 데이터(Output Data): 출력의 유형 또는 형식
  • 프롬프트에 모든 구성 요소가 포함돼야 하는 것은 X
  • 추가적으로 AI 모델에 전달할 지시 사항/질문, 입력/예제 같은 기타 세부 정보도 포함될 수 있음
  • 결과의 품질은 프롬프트가 얼마나 많은 정보를 제공하고, 프롬프트가 얼마나 잘 구성돼 있는지에 따라 달려있음

→ 텍스트 요약, 정보 추출, 질의응답, 텍스트 분류, 코드 생성, 추론 등의 작업에서 언어 모델의 성능을 향상할 수 있음

 

프롬프트 엔지니어링이 중요한 이유

• 프롬프트 엔지니어: 최종 사용자와 대규모 언어 모델 간의 격차를 해소
  • 다양한 유형의 입력을 실험하여 애플리케이션 개발자가 다양한 시나리오에서 재사용할 수 있는 프롬프트 라이브러리를 구축
  • → AI 애플리케이션의 효율성과 효과를 높임
  • 일반적으로 개방형 사용자 입력을 AI 모델로 전달하기 전에 프롬프트 내에 캡슐화 함
  ex) AI 챗봇: 사용자가 *‘셔츠 구입처’*와 같은 불완전한 문제 설명을 입력 → 내부적으로 애플리케이션 코드가 엔지니어링 프롬프트 사용 ‘당신은 의류 회사의 영업 사원입니다. 미국 앨라배마에 거주하는 한 사용자가 셔츠 구입처를 묻습니다. 현재 셔츠 재고가 있는 가장 가까운 매장 세 곳으로 응답하세요.’ → 더 연관성이 높고 정확한 정보 생성

 

프롬프트 엔지니어링의 이점

• 개발자의 제어 능력 강화: 사용자와 AI의 상호 작용을 보다 효과적으로 제어
  • AI 오용, AI가 알지 못하거나 정확하게 처리할 수 없는 요청 방지
  • ex) 비즈니스 AI 애플리케이션에서 부적절한 콘텐츠를 생성하지 못하도록 제한할 수 있음
  • → AI는 출력을 세분화하고 필요한 형식으로 간결하게 표시할 수 있음
• 개선된 사용자 경험: 시행착오를 피하며 일관되고 정확하며 적절한 응답을 얻을 수 있음
  • 인간의 편견으로 인해 대규모 언어 모델의 훈련 데이터에 존재할 수 있는 편견을 완화하는 데 도움이 됨
  • 최소한의 입력으로도 사용자의 의도를 이해하도록 함
  • ex) 법률 문서와 뉴스 기사를 요약해 달라는 요청 → 스타일과 어조에 따라 결과가 조정
• 유연성 향상: 논리적 연결과 광범위한 패턴을 강조하는 도메인 중립적 지침을 포함하는 프롬프트 제작 → 간단하게 재사용 가능
  • 추상화 수준이 높을수록 AI 모델이 개선되고, 조직이 보다 유연한 도구를 대규모로 만들 수 있음
  • ex) 프로세스 최적화를 위한 기회를 찾기 위해 상황별 데이터 대신 광범위한 신호를 사용하여 비효율성을 찾도록 AI 모델을 훈련하는 다양한 프롬프트를 만들 수 있음 → 다양한 프로세스와 사업부에 사용 가능

 

A Taxonomy of Prompt Modifiers for Text-To-Image Generation (2023)

 

ABSTRACT

• 프롬프트 수식어의 6가지 유형을 구분함
  • subject terms, image prompts, style modifiers, quality boosters, repeating terms, and magic terms
  • → 온라인 커뮤니티의 실무자들을 대상으로 3개월 간의 민족지학적 연구를 진행하였음

Example of iterative prompt engineering for generating an image

 

TAXONOMY OF PROMPT MODIFIERS

Subject terms (주제어)

• 원하는 이미지의 주제

  

• 이미지 생성 과정의 control을 위해 필수적임
  • ex) “a landscape”, “an old car in a meadow”
• BUT Text-to-Image 시스템이 특정 텍스트에 대한 연관 이미지 훈련이 덜 되어 있는 경우 subject terms이 결과물에 잘 반영되지 않을 수 있음

 

Style modifiers (스타일)

• 특정 스타일의 이미지를 생성하기 위해 프롬프트에 추가될 수 있음

  

• 미술 시대, 학파, 스타일뿐만 아니라 미술 재료, 매체, 기법, 작가와 관련한 정보를 넣을 수 있음
  • ex) “by Francisco Goya”: 스페인 미술가인 프란시스코 고야의 스타일로 이미지 생성

 

Image prompts (이미지 프롬프트)

• 주제와 스타일에 관한 (visual) target을 제공함

  

• 이미지를 프롬프트 입력으로 받는 것
  • 하나 또는 여러 개의 URL로 텍스트 프롬프트에 추가됨
  • 별도의 배열로 추가됨
• initial images와는 다른 개념임
  • image prompt: 여러 장의 이미지를 포함할 수 있음
  • initial image: 이미지 생성의 시작점, 하나여야 함
    • ex) for the purpose of enhancing or distorting the initial image

 

Quality boosters (퀄리티 부스터)

• 이미지의 미적 품질과 level of detail을 높이는데 사용

  

• 대표적인 용어: “trending on artstation,” “award-winning,” “masterpiece,” “highly detailed”, “awesome,” “#wow,” “epic,”, “rendered in Unreal Engine.”
  • ex) “painting of an exploding heart” → “highly detailed, eclectic, fiery, vfx, rendered in octane, postprocessing, 8k.”
• “extra fluff”의 형태로 프롬프트에 추가될 수 있음
• BUT 생성되는 이미지의 디테일과 전반적인 퀄리티는 향상할 수 있지만, subject의 반영도가 낮아질 수 있음

 

Repeating terms (용어 반복)

• 서로 다른 phrasing과 synonyms을 사용함

• ex) “space whale. a whale in space”
• 생성 시스템이 형성한 assciations를 강화할 수 있음
• 반복되는 용어는 모델들이 positive feedback loops에 갇히도록 할 가능성이 있기 때문이라는 기술적 설명이 가능

 

Magic terms (마법 용어)

• 이미지의 랜덤성을 강화함

  

• ex) “orchestra conductor leading a chorus of sound wave audio waveforms swirling around him on the orchestral stage”에 “control the soul”을 추가함
• 더욱 다양한 결과물을 얻고자 하는 의도에서 사용됨
  • 프롬프트의 main subject와 semantically 거리가 있는 용어일 수 있음
  • non-visual qualities일 수 있음
    • 촉각 (somatosensory), 청각 (auditory), 후각 (olfactory), 미각 (gustatory) 등
      • ex) “feed the soul”, “feel the sound”

 

→ 위 용어들은 해시태그의 형태 (ex. “#wow”), attribution phrases (ex. “by [artist]”)의 형태, 좀 더 복잡한 composite statements (e.g., “in the style of [artist]”)의 형태로 프롬프트에 반영될 수 있음

 

CONCLUSION

• 프롬프트 수식어의 유형을 구분함 통해 구조화된 프롬프트 작성에 도움이 될 수 있으며, Gen AI의 고유한 행동유도성을 강조해 프롬프트 엔지니어링을 보다 명확하게 이해하게 함

 

 

참고

생성형 AI 모델과 대화하는 프롬프트 엔지니어링(Prompt Engineering)
생성형 AI란 무엇인가요?
프롬프트 엔지니어링이란 무엇인가요?
당장 써먹을 수 있는 Text to Image AI 활용법 #1