문제 정의

인간은 생각을 할 때, 그리고 어떤 목적을 위한 행동을 취하려고 할 때, reasoning과 action을 매끄럽게 combining해서 진행한다. 하지만, LLM은 reasoning과 action을 분리된 topic으로 보고 연구를 진행하고 있다.

→ 만약 LLM도 reasoning과 acting을 함께 진행할 수 있도록 한다면 LLM의 reasoning, decision making task에 대한 성능을 개선시킬 수 있지 않을까?

본 논문의 novelty라고 생각되는 것

LLM이 reasoning과 acting을 혼합하여 task를 수행할 수 있도록 하는 prompting 방법론인 ReAct(Reason + Act)를 제시

Reasoning과 Acting

본 논문에서 reasoning은 주로 CoT와 같은 reasoning을 의미하고, acting은 retrieval이나 decision을 의미

어떻게 LLM이 reasoning과 acting을 혼합하여 task를 수행할 수 있도록 하는지?

인간이 직접 만든 few-shot example(trajectories)를 이용한 In-context learning을 통해서, reasoning이나 decision making task를 수행할 때, reasoning과 acting을 같이 수행할 수 있도록 한다.

few-shot example 예시 (HotpotQA)

→ 이와 같은 few-shot example을 통해 reasoning과 acting을 혼합하여 task를 수행하면, LLM은 action을 위한 planning이나, action으로 얻은 외부 정보를 통해 더 나은 reasoning을 진행하는 것을 가능하게 만든다.