회고 romi - 100-hours-a-week/6-nemo-wiki GitHub Wiki

배운 점

• 다양한 한국어 LLM 모델을 직접 비교 실험하며, VRAM 사용량, 추론 속도, 출력 품질 등 모델 선택 시 고려해야 할 평가 기준을 명확히 해야 한다는 것을 알게 되었다.
• FastAPI를 활용한 AI 서버 구성, LangChain 기반 멀티스텝 체인 설계, ChromaDB를 통한 벡터 검색 등 AI 모델 서빙과 추천 시스템 구축 경험을 실질적으로 쌓을 수 있었다.
• 각자 진행한 파트의 실험 결과를 체계적으로 정리하고 팀원들과 설계 방향을 맞추는 과정을 통해, 협업 시 명확한 기록과 소통의 중요성을 실감했다.

어려웠던 점

• 초기 LLM 모델 선정 과정에서 VRAM 부족, 추론 지연, 출력 불안정 등의 다양한 문제로 인해 적합한 모델을 찾는 데 시간이 많이 소요되고 많은 어려움이 있었다.
• GPU 종류에 따라 실행 가능 여부가 다르고, 모델별로 결과 형태(JSON 출력 안정성)도 다르기 때문에, 평가 기준을 설정하는 과정이 예상보다 복잡했다.

해결 방법

• 모델별로 응답 품질, 지연 시간, 메모리 사용량을 체계적으로 수집하여 비교표를 만들고, 명확한 선택 기준을 수립했다.
• 실험 방법과 기준을 위키에 명시하고, 주기적인 동기화 회의를 통해 설계 방향을 지속적으로 조율하며 팀원 간 이해 차이를 해소했다.