본 논문 선정 이유

• ICLR 2024 Poster paper

본 논문의 contribution

• “Expert-like output을 모사하도록 directly 학습한 Generative AI의 생성 능력은, 그러한 expert-like output을 이해하는 능력과는 상관 없거나 그 이해 능력을 뛰어넘는다.”라는 Generative AI Paradox를 제시 및 증명한다.
  • 이를 통해, 모델 개선을 위한 현재의 연구 방향은 인간의 지능과 상반되는 방향임을 주장한다.

실험 전까지의 전체적인 흐름

• 생성 모델은 단 몇 초만에 전문가 수준의 output을 생성해내지만, 동시에 이해에 있어서는 비전문가보다 못한 수준의 error를 발생시킨다.

  • 이러한 현상은 output을 생성하기 전에 이해 능력을 갖고 있어야 하는 인간과는 대조된다.

• 논문의 저자들은 이러한 현상의 원인을 생성 모델의 capabilities 구성은 인간 지능이 갖고 있는 구성과 다르기 때문이라고 가정한다.

  • capability 구성의 example: model training objectives, size, nature of input, etc…
  • 개인적인 생각으로는 인간과 모델은 training objectives가 다른 것 같다.

• 그러한 가정을 확인해보기 위해서, Generative AI Paradox 가설을 해당 논문을 통해 제시한다.

  • Generative AI Paradox: expert-like output을 모사하도록 directly 학습한 생성형 모델은 그러한 output을 이해하는 능력과는 상관 없는 혹은 그 이해 능력을 뛰어넘는 생성 능력을 획득한다.
    • 여기에서 생성 능력은 language, vision 생성 능력을 의미한다.

Generative AI Paradox의 definition

→ t: task, g: measure of generation, u: measure of understanding. epsilon은 reasonably large

→ 즉, generation performance가 인간과 같을 때, model의 understanding 능력은 인간보다 underperform 할 것이다.