AI_new_mask_test - 100-hours-a-week/16-Hot6-wiki GitHub Wiki

SAM2 (Object Masking)

• 장점

  1. 원하는 object의 경계를 제대로 인식함
  2. 사물이 겹쳐있더라도 해당 물체가 무엇인지 정확하게 prompting할 수 있음
  3. 해당 object를 제외한 나머지 부분에 대한 이미지를 고쳐줌

• 단점

  1. 경계선이 자글자글 거리는 이슈가 있음. 해당 부분은 blurr 처리 등 갖가지 방법을 사용해보았으나 해결하기 어려웠음

Grounding dino (Bound Box Masking)

• 장점

  1. Object Masking의 단점을 확실하게 해결해줌. 경계선에 대해 어색한 부분이 없어짐

• 단점

  1. 물체가 겹쳐있는 경우가 대다수이다. 겹쳐있는 부분은 굉장히 어색해짐.

  

Issue

• Object Masking의 단점은 자글자글한 끝부분 때문에 어색함을 유발

  • 위의 어색함은 사각형 masking을 통해 해결

• Bound Box Masking의 단점은 Box가 다른 object도 포함하기 때문에 어색함 유발

  • 위의 어색함은 object만 masking을 통해 해결

• 위 두가지 문제는 서로 상충하기 때문에 딱 중간이 필요함

• 위의 예시 이미지처럼 Object Masking을 직선처리만 한다면 해결가능

approxPolyDP() 함수 사용

• Object Masking을 바탕으로 approxPolyDP() 함수를 사용하여 object를 직선형태로 바꾸어 해결

Result

• prompt: "ott_style, Organized home office with wooden desk, monitor, keyboard, printer, two lamps, stacked books, potted plant, and notepad under soft window lighting."
• negative_prompt: "3d render, smooth, plastic, blurry, grainy, low-resolution, deep-fried, oversaturated"