논문의 전체적인 흐름

저자의 문제 정의

• LLM은 자신의 knowledge boundary를 인지하는 능력이 부족하다. 그래서 자신이 생성한 답이 맞든 틀리든 상관없이 confident하다.
  • 주어진 문제를 풀기에 internal knowledge가 부족하다고 인지하면, 그럴 듯해 보이는 답을 생성하는 것이 아니라, 그것을 인정하는 모습을 보여야 한다고 저자는 주장
• 그렇게 발생할 수 있는 hallucination을 해소하기 위해서 retrieval augemented(RA)가 연구되어 왔는데, 이 RA는 아래 2가지 문제를 초래한다.
  • overhead 문제 - 매 문제마다 retrieval을 하므로
  • 보장되지 않은 retrieved document의 quality 때문에, 오히려 RA가 성능에 악영향을 끼치는 문제

1) LLM의 knowledge boundary 인지 능력 확인

• 본인들이 제시하는 knowledge boundary 인지 능력 metric을 통해, LLM의 knowledge boundary 인지 능력을 확인함
• 그리고 그 결과로, LLM의 knowledge boundary 인지 능력은 낮으며, 그 이유는 overconfidence 때문이라고 주장

2) LLM의 uncertainty 정도에 따른 external information에 대한 의존성 파악

• LLM은 자신이 생성한 답변에 대해 uncertainty를 가질수록, external information에 더 많이 의존함을 주장

  → 특히, 전달을 받은 external information이 정답을 포함하든 포함하지 않든 LLM은 uncertain 할수록 external information에 더 많이 의존한다고 함

• 그래서, adaptive RA는 필수적이라고 주장

3) LLM의 overconfidence를 낮추는 prompting 방법론을 제시

• LLM의 knowledge boundary 인지 능력 부족의 주된 원인은 overconfidence라고 밝혔으므로, 그러한 overconfidence를 낮춤으로써 LLM의 knowledge boundary 인지 능력을 강화하고자 함
• overconfidence를 낮추기 위한 총 5가지 prompting 방법론 소개

4) 강화된 knowledge boundary 인지 능력을 이용한 Adaptive RA 소개

• 자신들이 제시한 prompting 방법론을 통해 knowledge boundary를 강화시키고, retrieval을 하는 시점을 **“LLM이 자신이 생성한 답변에 대해 uncertainty를 표현하는 경우”**로 설정하여 효율적인 retrieval 방법인 adaptive RA를 사용할 수 있다고 주장