Adversarial Attacks on Medical Images via Distortion of Feature Distribution - Songwooseok123/Study_Space GitHub Wiki

요약

• U-Net 기반의 CT segmentation 모델의 놀라운 성능
• 그러나 이 모델들은 적대적 공격에 취약하다는 문제
• 일반적인 적대적 공격: 이미지에 노이즈나 변형을 추가(이미지의 그래디언트를 조작하여 대상 모델의 손실을 증폭시키는 방법) → 공격의 성공률과 인지 가능성(perceptibility) 간의 Trade-off 발생 : 그림 1 - 의료 전문가를 못 속임
• 이 연구에서는 대상 모델과 의료 전문가를 모두 속이기 위한 새로운 유형의 적대적 공격을 소개
  • 대상 모델을 속이기 위해 노이즈를 더하는 것 대신 장기의 질감 분포를 변경하면서 모양은 유지
  • adaptive instance normalization (AdaIN)를 사용하는 texture reformer라고 알려진 real-time style transfer method 를 사용 → 왜곡을 유발하기 위해 일반적으로 원본과 대상 이미지 분포를 정렬하는 AdaIN을 수정

Contribution

• 이 방법론은 자동 CT 분할 시스템의 평가와 검증에 강력한 도구를 제공
• 데이터 증강을 위한 강력한 메커니즘으로 작용하여 모델의 일반화를 향상

Method

• 모델: input 이미지 x를 받고 세그맨테이션 y를 예측
• goal : 최대한 다른 세그맨테이션 adv y를 만드는 image adv x를 만드는 것 .
• feature distribution
  • AdaIN 식 2.2.1 은 x adv의 feature distribution과 x의 feature distribution의 평균과 표준 편차를 일치하도록 만드는 식
    • 즉 x adv의 feature distribution 을 x의 feature distribution의 스타일을 가지게 하는 식
  • dAdaIN : distorting factor 곱하네
    • figure 2 : 원본과 외곡 이미지 받고, 원본에 알파로 distorting 주고 , distorted 된 거랑 인풋으로 들어왔던 외곡 이미지로 다시 AdalN

소스타겟 :

텍스터 맆머: 텍스쳐는 바꾸고 shapeㅡㄴ바꾸는거 다른 이미지 두개에서 하나에선 텍스처 하나는 shape 뽑는거임. 하나는 소스 하나는 타겟임

Feedback

• trade-off between successful deception and perceptibility of alterations ->figure 1은 기존의 perturbation을 주는 방법은 의사를 속이지 못한다는 그림이 맞나 segmentation system과 interact를 못한다는건 왜그런거지
• abstract 8번쨰 줄에 texture distribution를 변경한다는거랑 introduction에 contribution(1)에 feature distribution이랑 같은 말이겠지.
• method 식 discrepancy가 maximized 된다고 해서 식으로 와봤는데 최대화 대상이 s.t. such that에 있따
• 식2 f에 대한 설명 - feature map 맞져?
• level 갯수 5번은 사용자가 정하는 건가