📄 Crawling Stock Report

Stock Report Crawling 네이버 리포트에서 제공하는 종목분석 리포트에 대한 내용을 크롤링 한 것으로, 종목분석 리포트의 화면 구성에 맞춰서 크롤링을 진행하기 위한 코드입니다. BeautifulSoup을 사용하여 크롤링하였으며, 크롤링된 데이터는 mongoDB에 저장됩니다.

---

✅ 주요 기능 요약

기능	설명
종목분석 리포트 크롤링	네이버 증권 종목분석 리포트의 리스트 페이지를 순회하며 보고서의 제목, 요약, 날짜 등을 수집
본문 내용 수집	각 리포트 상세 페이지로 이동하여 본문 내용을 파싱하여 수집
PDF 내용 병합	PDF 리포트가 존재하는 경우 해당 PDF를 다운로드하여 텍스트로 변환하고 본문 내용과 병합
MongoDB에 저장	크롤링된 모든 데이터를 MongoDB 컬렉션에 저장하여 분석 및 조회에 활용 가능
중복 제거	DB에 이미 존재하는 리포트는 제외하고 신규 데이터만 삽입

---

🔧 주요 로직 설명

전체 리포트 크롤링 및 저장 - fetch_stock_reports()

def fetch_stock_reports(category_name, category_url, pages, industry_data)

• 종목분석 리포트를 카테고리별로 수집하여 종목명, 증권사, 업종, 본문 내용 등을 포함한 결과를 리스트 형태로 반환

---

for page in range(1, pages + 1):
    url = f"{category_url}?&page={page}"
    ...

• 주어진 페이지 수만큼 반복하여, 각 리포트 리스트 페이지를 순차적으로 요청하고 파싱

---

table = soup.find("table", {"class": "type_1"})

• 네이버 리포트 페이지 내에서 실제 리포트가 나열된 table 태그를 탐색

---

for row in table.find_all("tr")[2:]:
    ...

• 헤더를 제외한 요소에서 리포트 정보를 추출

---

stock_link = cols[0].find("a", class_="stock_item")

• 종목명이 태그로 묶여 있을 경우 링크에서 종목 코드와 이름을 추출하고, 그렇지 않은 경우는 텍스트만 사용

---

pdf_content = "" if pdf_url == "PDF 없음" else pdf.download_and_process_pdf2(pdf_url, company)
report_content = fetch_report_details(detail_url)

• PDF URL이 존재할 경우 해당 PDF를 다운로드하여 download_and_process_pdf2함수를 사용하여 텍스트로 변환
• HTML 리포트 본문도 함께 수집

---

industry_list = [
    industry for industry, stock_list in industry_data.items() if item_name in stock_list
]
industry_value = industry_list[0] if industry_list else "Unknown"

• 종목명을 기반으로 업종 정보를 매칭 업종 데이터가 없을 경우 "Unknown"으로 분류

---

reports.append({
    'Category': category_name,
    '종목명': item_name,
    '코드': code,
    '업종': industry_value,
    'Title': title,
    '증권사': company,
    'PDF URL': pdf_url,
    '작성일': date,
    'Views': views,
    'Content': report_content,
    'PDF Content': pdf_content,
})

• 하나의 리포트를 딕셔너리 형태로 구성하고, 전체 리스트에 추가

🔗 관련 레파지토리

• TalkStock-BE 프로젝트 메인 레포지토리
• crawling.py: 종목분석 리포트 크롤링 코드