오조사마의 AI 설계 Wiki

단계	파일 이름	승인 여부
1	1단계- API 명세서 작성	O
2	2단계- 모델 추론 성능 최적화	O
3	3단계- 서비스 아키텍처 모듈화	O
4	4단계- 멀티스텝 AI 파이프라인 구현 검토	O
5	5단계- RAG 적용 설계	O
6	6단계- MCP 활용 설계	O
7	7단계- 서비스 인프라 확장성과 모니터링 설계	O
8	8단계- 최종 통합 설계 및 회고	O

간단 설명

스마트 냉장고 서비스의 AI는 사용자가 촬영한 영수증·식재료 사진에서 재고 후보를 만들고, 사용자가 확인한 보유 재료와 소비기한을 근거로 실제로 만들기 쉬운 레시피를 추천합니다.

이 문서는 AI 기능을 외부 API 하나에 종속시키지 않고, 자체 모델과 규칙 기반 처리를 점진적으로 발전시키기 위한 설계 문서의 진입점입니다.

AI가 해결하는 두 가지 사용자 문제

식재료 등록 후보 생성

• 입력 이미지가 영수증인지 실물 사진인지 구분합니다.
• 상품·식재료명, 수량, 소비기한 후보를 추출합니다.
• 포장에서 용량을 확인할 수 있으면 고체는 g, 액체는 ml로 표준화합니다.
• 서비스가 사용하는 고정 카테고리로 정규화합니다.
• 인식 근거와 불확실성을 바탕으로 인식, 미인식, 확인 필요, AI 예상을 결정합니다.
• 사용자가 수정한 내용은 저장소·동의·보관·철회 정책이 승인된 뒤에만 평가 데이터로 축적합니다.

RECOGNIZED 상태도 AI가 사용자 재고를 자동으로 저장한다는 뜻은 아닙니다. 모든 분석 결과는 임시 후보이며 사용자가 확인한 뒤에만 서비스 API가 냉장고 재고에 반영합니다. 문서에서 사용하는 ‘자동 확정’도 모델 내부에서 후보 상태와 필드 근거를 결정한다는 뜻이며, 사용자 재고에 자동 저장한다는 의미가 아닙니다.

냉장고 기반 레시피 추천

• 현재 보유한 재료를 최대한 많이 활용합니다.
• 소비기한이 가까운 재료에 가장 높은 우선순위를 줍니다.
• 서비스 백엔드가 권한 확인 후 전달한 제외 재료는 추천 후보를 만들기 전에 제외합니다. 현재 ERD에는 알레르기·비선호 설정 테이블이 없으므로 영속 설정 조회를 가정하지 않습니다.
• AI는 전달받은 재료로 식품안전나라, TheMealDB, Tavily 순서의 승인된 출처에서 레시피를 검색해 AI PostgreSQL에 원본을 저장하고, 규칙으로 순위를 정합니다. Tavily는 앞선 두 원천에 후보가 없을 때만 사용하며 백엔드 MySQL에는 변경분을 단방향 동기화합니다.

고정 카테고리

AI는 다음 목록 밖의 카테고리를 새로 생성하지 않습니다.

코드	표시 이름
VEGETABLE	채소
FRUIT	과일
MEAT	육류
SEAFOOD	수산
DAIRY	유제품
TOFU_BEAN	두부·콩류
GRAINS_NOODLE	곡류·면
PROCESSED_FOOD	가공식품
SEASONING	양념
BEVERAGE	음료
OTHER	기타

카테고리 코드는 백엔드 API 명세와 통일했습니다(2026-10-08 GRAIN_NOODLE→GRAINS_NOODLE, PROCESSED→PROCESSED_FOOD, ETC→OTHER). 카테고리 OTHER는 모델이 분류에 실패했을 때 사용하는 값이 아니라, 식재료는 식별했지만 앞선 열 개 카테고리에 속하지 않을 때만 사용합니다. 이름이 같은 입력 이미지 유형(documentType)의 OTHER와는 다른 필드입니다.

설계 원칙

• AI의 추정과 이미지에서 직접 확인한 사실을 구분합니다.
• 소비기한과 알레르기처럼 안전에 영향을 주는 값은 모델이 임의로 확정하지 않습니다.
• 이미지 분석은 자체 모델(원격 GPU Worker)과 규칙으로 처리하고, 확정할 수 없는 결과는 사용자 확인이나 직접 입력으로 전환합니다.
• OCR, 문서 분류, 카테고리 분류, 추천 랭킹은 자체 데이터와 모델로 계속 개선합니다.
• 모델이 실패해도 사용자는 직접 입력으로 냉장고 재고를 등록할 수 있어야 합니다.
• 모델 변경은 정확도, 지연시간, 비용을 같은 평가 세트에서 비교한 뒤 승인합니다.
• ERD의 measure_type에 따라 개수와 중량·용량을 배타적으로 표현하며, 확인할 수 없는 측정값은 임의로 생성하지 않습니다.

기준 모델 구성

역할	1차 선정 모델·기술	서비스 적용 방식
이미지 입력 유형 분류	MobileNetV3-Small	영수증·실물·기타 분류. 신뢰도 0.8·1·2위 차이 0.2 미만이면 OCR 규칙으로 폴백
한국어 OCR	PP-OCRv5 (서버 검출 + 한국어 모바일 인식)	영수증 상품행, 포장 상품명, 소비기한, 용량 문자 인식
상품 판별 보조 자료	PostgreSQL 상품 카탈로그·별칭(정확 일치 → 유사도) + 키워드 규칙	확실한 상품은 모델 호출 없이 이름·카테고리 확정
모르는 영수증 상품 판별	Ollama gemma4:e2b (5.1B, Q4_K_M)	규칙·카탈로그로 확정하지 못한 OCR 상품행만 GPU Worker에서 보완
실물 이미지 해석	YOLO-World yolov8s-worldv2 + Gemma 비전	YOLO로 포장 영역을 나누고 영역별 OCR 힌트와 함께 Gemma가 상품명·카테고리 판별. 바코드는 보류
레시피·보관 지식 검색	PostgreSQL 보관 자료·AI PostgreSQL 레시피 검색	보관 자료는 receipt_ai.shelf_life_rules에서 조회하고 레시피 원본은 백엔드 MySQL과 동기화
레시피 순위	규칙 기반 랭커 → LightGBM LambdaMART	초기에는 임박도·재료 활용률로 계산하고 사용자 행동이 쌓이면 학습 랭커로 발전
추천 설명	초기 출시에서는 템플릿	추천 근거를 짧게 설명하며 레시피 원문을 새로 생성하지 않음. 소형 언어 모델은 이후 버전의 검증 후보

선정 근거와 튜닝·최적화·교체 기준은 단계 2: 모델 추론 성능 최적화에 정리합니다.

모든 단계별 문서는 현재 AI Wiki에 레벨 별로 관리합니다.

측정값 표준화 원칙

• measure_type=COUNT이면 quantity는 1~100의 정수이고 weight_value=null, weight_unit=NONE입니다.
• measure_type=WEIGHT이면 quantity=null, weight_value는 양수이고 weight_unit은 G 또는 ML입니다.
• 고체·분말·면·육류·채소 등 중량 기반 식품은 g로 저장합니다.
• 물·우유·음료·액상 양념 등 부피 기반 식품은 ml로 저장합니다.
• 이미지에서 kg를 읽으면 g, L를 읽으면 ml로 환산합니다.
• 1 kg = 1,000 g, 1 L = 1,000 ml의 단순 단위 환산만 자동 적용합니다.
• 고체의 부피를 중량으로 바꾸거나 액체의 중량을 부피로 바꾸는 밀도 환산은 자동 적용하지 않습니다.
• 현재 ERD는 개수와 중량을 한 재고 행에 동시에 저장하지 않습니다. 2개입 500g처럼 용량이 보이면 총중량 500g(WEIGHT) 후보로 반환하고, 사용자가 확인 화면에서 개수 관리로 바꿀 수 있습니다.
• 숫자나 단위가 불명확하면 확인 필요로 처리합니다.

전체 흐름도

flowchart TD
    I[입력 이미지 업로드] --> Q[EC2 FastAPI 인메모리 큐]
    Q --> C[소비자 코루틴 2개]
    C -->|서명 URL| W[원격 GPU Worker·MobileNetV3]
    W -- 영수증 --> R[PP-OCRv5 분석]
    W -- 실물 --> P[PP-OCRv5·YOLO-World·Gemma 비전]
    W -- 기타 --> N[빈 결과·재촬영·직접 입력]
    R --> G[미확정 행만 Gemma 보완]
    G --> D[EC2 규칙·PostgreSQL 카탈로그 확정]
    P --> D
    D --> V[결과 검증·상태 판정]
    V --> M[인메모리 상태·결과]
    M --> B[백엔드 완료 콜백]
    B --> U[사용자 확인·수정]
    U --> F[냉장고 재고 등록]

이 그림은 서비스의 이미지 분석 흐름을 요약합니다. 모델 추론은 원격 GPU Worker가, 큐·후처리·콜백은 EC2 FastAPI가 맡습니다. 큐와 진행 상태는 FastAPI 프로세스 메모리에만 있어 재시작 시 처리 중이던 작업은 복구되지 않습니다. 완료된 결과는 피드백 원본으로 쓰기 위해 AI PostgreSQL에도 저장합니다. 레시피는 검색 후 AI PostgreSQL에 저장하고 백엔드 MySQL로 단방향 동기화합니다.