팀 NLP 11조 Week17 Day3

목차

• 피어세션
  • 리더보드 프로필
    • 최종 선택
  • 최적화
• 최종 프로젝트
  • 최종프로젝트 Wiki? 문서 관리
  • 모델
  • 전처리
  • 폴더구조
  • 데이터 형식

일자

• 2021.11.24 수

팀원

• 문석암_T2075
• 박마루찬_T2078
• 박아멘_T2090
• 우원진_T2137
• 윤영훈_T2142
• 장동건_T2185
• 홍현승_T2250

주간 일정

피어세션

리더보드 프로필

gif 사용하는 팀 많네요

1. 프로젝트 명
2. AI_ESG + 아이콘
   • 부스트코스 아이콘
3. 고군산도
   • 섬 하나씩
4. 떼쓰기 짤

최종 선택

떼쓰기

• 문석암 -
• 박마루찬 - 단비
• 박아멘 -
• 우원진 - 꼬부기
• 윤영훈 -
• 장동건 -
• 홍현승 - 짱구

최적화

• 각자 더 해보기

최종 프로젝트

최종프로젝트 Wiki? 문서 관리

• 우리 회의한 내용 이런걸 전달

  • 저희가 생각한 노력
  • 배운 기술
  • 알게된 것

• 재구현을 위한 문서

  • 저희가 나중에 잊어버린거 찾기가 수월

모델

• sparse Embedding (mrc repo)
  • 테스트 하는 사람이 질문을 몇가지 만들고,
  • contexts 들 중에서 비슷한거 뽑아보기

전처리

• 살리는 문자 들

().,?!

~:;''""

• ㅋㅋ,ㅜㅜ,ㅠㅠ,ㅎㅎ 처리 ㅋㅋ, ㅜㅜ, ㅠㅠ, ㅎㅎ -> 2개로 제한

• 광고성 문장들이나 광고

명소 간데메공원 총40 -> 20개 이상은 광고성 또는 부동산

상위 10 20 개 정도의 퀄이 너무 좋음

상위 20개 먼저

1만 20 20만 20,000만자

50개 미만의 결과는 제거?

• 제목에서 특정 키워드 제거

  • 빌라,아파트,부동산,정치

• 블로그 내용이 어려곳을 간 경우

  • 문단 단위로 분리 후 관련성 파악
    • 특정 단어

폴더구조

• install
  • install_requirements
• data #ignore 카톡 공유
  • FE
  • BE
  • MODEL
  • DATA_GEN
    • tour_spot_name.json
• code
  • FE
  • BE
  • MODEL
  • DATA_GEN

    • src

      • util
        • request.py
        • replace.py (기본적인 전처리) re.sub
      • blog.py
      • instagram.py
      • google.py
      • from_api.py

    • crawling.py

  • main.py
  • .env (환경 파일) #ignore 서비스 키
    • .env.template 어떤 항목이 있는지만 dict 나열
• .github

데이터 형식

{
    "서울":{
        "관광지":{
            "남산타워":[
                {
                    "context" : "title\n~~~",
                    "url" : "https://~",
                    "type" : "blog"
                },
                {
                    "context" : "title\n~~~",
                    "url" : "https://~",
                    "type" : "instagram"
                },
                {
                    "context" : "title\n~~~",
                    "url" : "https://~",
                    "type" : "google"
                },
                {
                    "context" : "~~~",
                    "url" : "https://~",
                    "type" : "guide"
                },

            ],
            "???":[
                
            ]
        },
        "문화시설":{
        },
        "행사/공연/축제":{
        },
        "레포츠":{
        }
    },
    "경기":{
        ...
    },
    ...
}