Web Crawling - kamchur/note GitHub Wiki

import pandas as pd
import requests

# 통합 검색 트렌드
url = "https://openapi.naver.com/v1/datalab/search"
params = {
    "startDate": "2018-01-01",
    "endDate": "2022-01-31",
    "timeUnit": "month",
    "keywordGroups": [
        {"groupName": "트위터", "keywords": ["트위터", "트윗"]},
        {"groupName": "페이스북", "keywords": ["페이스북", "페북"]},
        {"groupName": "인스타그램", "keywords": ["인스타그램", "인스타"]},
    ]
}
# application key value
headers = {
    'Content-Type':'application/json',
    'X-Naver-Client-id':CLIENT_ID,
    'X-Naver-Client-Secret':CLIENT_SECRET,
}

# 서버에 데이터 요청 : `json_dumps()` : 한글 인코딩 용도
response = requests.post(url, json.dumps(params), headers=headers)    # <Response [200]>

# 받은 데이터 파싱(데이터 형태 변경)
data = response.json()["results"]

# DataFrame 변환
dfs = []
for data in datas:
    df = pd.DataFrame(data["data"])
    df["title"] = data["title"] # 트위터, 페이스북, 인스타그램
    dfs.append(df)

# Processing
df = pd.DataFrame({
    'date': [period['period'] for period in data[0]['data']],
    'twitter': [ratio['ratio'] for ratio in data[0]['data']],
    'instagram': [ratio['ratio'] for ratio in data[1]['data']],
    'facebook': [ratio['ratio'] for ratio in data[2]['data']],
})

# show chart
df.plot(figsize=(20,5))

import pandas as pd
import requests

url = "https://finance.daum.net/api/exchanges/summaries"
headers = {
    "user-agent": "user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36",
    "referer": "https://finance.daum.net/exchanges",
}
response = requests.get(url, headers=headers)

datas = response.json()["data"]
df = pd.DataFrame(datas)
columns = ["date", "currencyCode", "currencyName", "country", "name", "basePrice"]
df[columns].head()

import requests
import pandas as pd
import geohash2

addr = "망원동"
url = f"https://apis.zigbang.com/v2/search?leaseYn=N&q={addr}&serviceType=원룸"
response = requests.get(url)
data = response.json()["items"][0]
lat, lng = data["lat"], data["lng"]

# geohash로 위도, 경도 알아내기, !pip install geohash2
geohash = geohash2.encode(lat, lng, precision=5)

# geohash로 매물 아이디 알아내기
url = f"https://apis.zigbang.com/v2/items?deposit_gteq=0&domain=zigbang\
&geohash={geohash}&needHasNoFiltered=true&rent_gteq=0&sales_type_in=전세|월세\
&service_type_eq=원룸"
response = requests.get(url)
datas = response.json()["items"]
# len(datas), datas[0]
ids = [data["item_id"] for data in datas]

# 매물아이디로 매물정보 가져오기
url = "https://apis.zigbang.com/v2/items/list"
params = {
    "domain": "zigbang",
    "withCoalition": "true",
    "item_ids": ids
}
response = requests.post(url, params)

# parsing
datas = response.json()["items"]
df = pd.DataFrame(datas)

columns = ["item_id", "sales_type", "deposit", "rent", "size_m2", "floor", "building_floor",
           "address1", "manage_cost"]
filtered_column_df = df[columns]

# 주소에 망원동이 있는 데이터만 필터링
result_df = filtered_column_df[filtered_column_df["address1"].str.contains("망원동")]
result_df = result_df.reset_index(drop=True)
result_df.tail(2)

def usa_data(pagesize, page, code):
    url = f'https://api.stock.naver.com/marketindex/exchange/{code}/prices?page={page}&pageSize={pagesize}'
    response = requests.get(url)
    data = response.json()
    return pd.DataFrame(data)

# 60페이지를 가져오기
usd = usa_data(60, 1, 'FX_EURKRW')

# 데이터 전처리
df = kospi.copy()   # 왜 카피를 썼는지는 마지막에 설명을 하도록 함
df['kosdaq'] = kosdaq['closePrice']
df['usd'] = usd['closePrice']
df = df.rename(columns={'closePrice':'kospi'})

# 컬럼의 데이터 타입 변경 : str > float
# df[column].apply() : 모든 데이터를 함수에 대입한 결과를 출력
df['kospi'] = df['kospi'].apply(lambda data:float(data.replace(',', '')))
df['kosdaq'] = df['kosdaq'].apply(lambda data:float(data.replace(',', '')))
df['usd'] = df['usd'].apply(lambda data:float(data.replace(',', '')))

df[['kospi', 'kosdaq', 'usd']].corr()
# kospi - kosdaq : 0.984 : 1과 가까우면 강한 양의 상관관계
# kospi - usd : -0.878 : -1과 가까우면 강한 음의 상관관계 

import pandas as pd
import requests
from bs4 import BeautifulSoup

# URL
keyword = 'kt'
url = f'https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query={keyword}'

# 정적페이지는 'JSON'이 아닌 'HTML'이 오기에 변환이 필요
response = requests.get(url)
dom = BeautifulSoup(response.text, 'html.parser')

# select() : 엘리먼트 여러개 선택
# select_one() : 엘리먼트 한개 선택
elements = dom.select('.lst_related_srch > .item')   # BeautifulSoap 객체를 만들어주는 이유 CSS_Selector를 만들어주기 위해

# 총 10개의 텍스트를 가져와보자
# keywords = [element.select_one('.tit').text for element in elements]
keywords = []
for element in elements:
    keyword = element.select_one('.tit').text
    keywords.append(keyword)

import pandas as pd
import requests
from bs4 import BeautifulSoup

# 개발자도구 > Network탭누르고 > 새로고침 > BestSellers클릭 > 
url = 'http://corners.gmarket.co.kr/Bestsellers'

response = requests.get(url)

# HTML(str) > BeautifulSoup Object
dom = BeautifulSoup(response.text, 'html.parser')
type(dom)     # bs4.BeautifulSoup

# 200개의 상품 엘리먼트 선택
# Elements > 클릭 > 
elements = dom.select('#gBestWrap > div > div:nth-child(5) > div > ul > li')    # 모든 li를 선택하려면 nth삭제
len(elements)    # 200

# element의 내용을 DataFrame으로 만듦
element = elements[0]

# dictionary format으로 만들어줌
# 이미지는 img 태그 아래의 data_origin
items = []
for element in elements:
    data = {
    'title':element.select_one('.itemname').text,
    'o_price':element.select_one('.o-price').text,
    's_price':element.select_one('.s-price > strong').text,
    'img':'http:' + element.select_one('img').get('data-original'),
    }
    items.append(data)

df = pd.DataFrame(items)
df.tail(2)

import pandas as pd
import requests, os
# os는 filesystem을 다루는 시스템, 파일 삭제, 복사, 이동하는 패키지 

# 디렉토리 생성
path = 'data'
if not os.path.exists(path):
    os.makedirs(path)    # data이름의 folder생성

# csv파일을 로드(csv파일 내에 URL경로가 있었음)
df = pd.read_csv('gmarket.csv')

# 가장 위에 있는 이미지URL 불러오기 http://gdimg.gmarket.co.kr/2266434001/still/30...
img_link = df.loc[0, 'img']     # loc[행조건, 열이름]

# image download : requests를 이용해서 이미지 다운로드를 받을 것
response = requests.get(img_link)

# 이미지 저장
with open(f'{path}/test.png', 'wb') as file:   # 저장시:wb(write binary), 읽을시:rb
    file.write(response.content)    # 텍스트 데이터가 아니기때문에 'content' 사용

# img 출력
from PIL import Image as pil
pil.open(f'{path}/test.png')

# 파일이름 지정 여러개
for idx, data in df[:3].iterrows():
    # filename = '0' * (3 - len(str(idx))) + str(idx) + '.png'
    filename = '%03d.png' % (idx)
    print(idx,filename, data['img'])
    response = requests.get(data['img'])
    with open(f'{path}/{filename}', 'wb') as file:
        file.write(response.content)

pil.open(f'{path}/001.png')

# pandas, numpy는 python만 지원하는데 selenium은 다양한 언어, 브라우저에 지원이 가능
# !pip install selenium
from selenium import webdriver
from selenium.webdriver.common.by import By

# 브라우저 띄우기
driver = webdriver.Chrome()

# 페이지이동
driver.get('url')

# 브라우저 사이즈 조절
driver.set_window_size(200, 600)

# 브라우저 스크롤 조절(html css javascript) > javascript code 실행
driver.execute_script('window.scrollTo(200, 300)') 

# 브라우저 스크롤 원상 복귀
driver.execute_script('window.scrollTo(0, 0)')

# alert 다루기, 웹피이지 쓸때 조그만 페이지가 뜨는데 해당 창이 안떠야 크롤링가능
#alert창 띄우기
driver.execute_script("alert('hello selenium!');")

# alert창 닫기
alert = driver.switch_to.alert
alert.accept()

# inpuut 창에 문자열 입력, 따로 해당 사이트를 열어놓고
# 개발자도구를 사용하여 selector를 사용해 html확인
driver.find_element(By.CSS_SELECTOR, '#q').send_keys('파이썬')    # q이유는 element로 css selector로 확인했을때 id='q'였다

# 검색 버튼 클릭,  `.`붙여주면 둘다선택
driver.find_element(By.CSS_SELECTOR, '.inner_search > .ico_pctop.btn_search').click()

# 브라우저 종료
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By

# 브라우저 열기
driver = webdriver.Chrome()

# 페이지 이동
driver.get('https://ted.com/talks')

# 제목 데이터 텍스트 수집
# css-selector : #bannersecondary
sub_title = driver.find_element(By.CSS_SELECTOR, '#banner-secondary').text   #.text를 해주어야 제목가져옴

# select box에서 한국어 클릭
# languages > optgroup > [lang='ko'] 또는 languages [lang='ko']   `한 칸 띄어줌으로써 모두 검색하는 방법
driver.find_element(By.CSS_SELECTOR, '#languages [lang-'ko']').click()

# 한국어 메뉴가 나오면, 전체 데이터의 제목과 링크 데이터를 수집
elements = driver.find_elements(By.CSS_SELECTOR, '#browse-results > .row > div')
len(elements)    # 36

# ga-link 첫번째 목록데이터
element = elements[0]

# ga-link가 너무 많기 때문에 정확한 값이 나오지 않음
# h4는 class 앞의 attr
title = element.find_element(By.CSS_SELECTOR, 'h4 > .ga-link').text     
link = element.find_element(By.CSS_SELECTOR, 'h4 > .ga-link').get_attribute('href')   # element의 속성값 가져오기

# 데이터 프레임으로 만들기
data = []
for element in elements:
    data.append({
        'title' : element.find_element(By.CSS_SELECTOR, 'h4 > .ga-link').text,
        'link' : element.find_element(By.CSS_SELECTOR, 'h4 > .ga-link').get_attribute('href'),
    })

df = pd.DataFrame(data)

# 크롬 버전 확인
driver = webdriver.Chrome()
version = driver.capabilities['browserVersion']
driver.quit()
version

# 브라우저를 띄우나 안띄우나 속도는 크게 차이 없음
options = webdriver.ChromeOptions()    # tag less?
options.add_argument('headless')    # argument는 윈도우의 사이즈를 조절?

# options를 설정해주면 browser 화면이 뜨지 않은채 데이터를 수집할 수 있음
driver = webdriver.Chrome(options=options)    
driver.get('https://ted.com/talks')
sub_title = driver.find_element(By.CSS_SELECTOR, '#banner-secondary').text
driver.quit()
sub_title

# iframe은 웹페이지를 새로운 페이지 얺는 방식
# 크롤링으로 유명한것이 뱅크샐러드 앱이 있다

from selenium import webdriver
from selenium.webdriver.common.by import By

# 웹브라우저 열기 및 페이지 이동
driver = webdriver.Chrome()
driver.get(url)

# rendering 되는 동안 못찾을수도 있다. 데이터를 불러오는 시간을 주면 좋다
import time
time.sleep(3)   # 3초

# 2. 검색창에 '맥북'입력하고 검색 버튼 클릭
# + selenium은 웹페이지를 테스트하기 위해 만들어진 것인데 웹페이지 내에 보이지 않는 영역을 클릭하게 되면
# 에러가 발생할 수 있다 그래서 스크롤을 하여 원하는 레이아웃이 보일 수 있도록 scroll해주어야함 
# send_keys로 검색어에 텍스트 입력하는 방법
# 검색창 ID : topLayerQueryInput
keyword = '맥북'
driver.find_element(By.CSS_SELECTOR, '#topLayerQueryInput').send_keys(keyword)

# 검색버튼 클릭하는 코드
# searchBoard();return false; javascript onClick 버튼 입력 : 속도도 훨씬 빠름
driver.execute_script('searchBoard();')

# 게시글 목록 데이터 수집 (매우중요한 부분★) : iframe
selector = '.article-board'    # table tbody tr
elements = driver.find_elements(By.CSS_SELECTOR, '.article-board > table > tbody > tr')
len(elements)    # 0 이 나왔다는것은 접근할 수 없다는것

# 왜 선택을 못하냐면 전체 게시글부분에서 쭉 올라가보면 iframe으로 됨, 페이지안에 페이지가 있는것
# iframe안에 있는 데이터에 접근할 수 없다.
# 안드로이드 Acitvity와 windowpopup의 포커싱 문제와 비슷한 문제로 보여짐

# iframe으로 driver 이동, id = 'cafe_main'
iframe = driver.find_element(By.CSS_SELECTOR, "#cafe_main")    # iframe 객체를 선택해줄것
iframe

# 안에 있는 frame 선택
driver.switch_to.frame(iframe)  

### 원래 default frame으로 이동
driver.switch_to.default_content()

# iframe으로 driver을 이동한 뒤에 데이터를 선택하니 데이터가 선택이 되었다
selector = '.article-board'
elements = driver.find_elements(By.CSS_SELECTOR, '.article-board > table > tbody > tr')
len(elements)   # 15

# 제목 데이터 가져오기 
data = []
for element in elements:
    data.append({
        'title':element.find_element(By.CSS_SELECTOR, ".article").text,
        'writer':element.find_element(By.CSS_SELECTOR, '.p-nick').text,
    })
    
df = pd.DataFrame(data)
df.tail(2)

# 브라우저 종료
driver.quit()    # 메모리가 반납되어 컴퓨터가 다른 일을 하는데 사용할 수 있도록...