Paper information

• conference: ICLR 2024 @ Workshop LLMAgents
• paper title: EcoAssistant: Using LLM Assistant More Affordably and Accurately
• authors: Jieyu Zhang, Ranjay Krishna, Ahmed H. Awadallah, Chi Wang

Main idea

1. Code-Driven Question Answering: query에 대한 answer를 위해 LLM과 Code Excutor와 대화하며 코드 실행 결과를 바탕으로 반복적으로 수정
2. Assistant Hierarchy: LLM 사용 비용 절감을 위해 저렴한 모델(GPT-3.5)를 먼저 실행하고 시스템에 의해 평가 후 상위 모델 사용 여부 결정
3. Solution Demonstration: 과거의 성공했던 query-code pair를 벡터 데이터베이스에 저장하고 새로운 쿼리 해결 시 참고해 성능 향상

Pros

1. 이들이 제안하는 컴포넌트로 인해 GPT-4를 단독으로 사용했을 때 대비 10%의 성공률 향상과 약 50%의 비용 절감을 보였음
2. LLM과 Excutor사이 자동으로 대화하며 코드를 수정함으로 사용자 개입 없이 적절한 코드를 제공할 수 있음
3. 특히, 과거 성공사례를 활용하기 때문에 고성능 모델의 결과를 GPT-3.5와 같은 모델의 프롬프트로 활용 가능

Cons

1. 고정적인 Hierarchy구조: 어떤 LLM을 사용할지 미리 정해진 계층 구조가 최적이 아닐 수 있음
2. Solution Demonstration를 위해 과거 사례를 DB에 저장함. 이때, 저장된 pair가 많을 수록 검색 등의 부하로 성능 저하의 가능성 존재
3. Iterative Coding이 동작할 때 반복적인 수정과정을 거침. 반복 횟수에 따라 지연이 발생할 수 있음.
4. LLM의 토큰 제한으로 긴 대화에서 문맥의 유지가 어려울 수 있음

Cite

@misc{zhang2023ecoassistantusingllmassistant,
      title={EcoAssistant: Using LLM Assistant More Affordably and Accurately}, 
      author={Jieyu Zhang and Ranjay Krishna and Ahmed H. Awadallah and Chi Wang},
      year={2023},
}