DB : Insert & Update data - helloMinji/chatbot_spotify GitHub Wiki

1. Insert: 하나씩 직접 넣는다. (hard coding)

header 설정 후에 data insert 부분을 작성한다.

query = "INSERT INTO artist_genres (artist_id, genre, updated_at) VALUES ('{0}', '{1}', NOW())".format('1234', 'hip-hop')
    cursor.execute(query)
    conn.commit()

2. Insert & Update: Duplicate Record handling 포함

search API로 r 값을 가져온 후에 해당 부분을 작성한다.
중복된 값이 있다면 insert가 아닌 update를 진행해야 한다.

API 사용

    r = requests.get("https://api.spotify.com/v1/search", params=params, headers=headers)
    raw = json.loads(r.text)

데이터 확인

• 타입 확인 : print(type(raw))
• 어떤 정보가 있는지 확인 : print(raw['artists']['items'][0].keys())

API 결과를 insert할 수 있게 형태 변경

    artist = {}

    artist_raw = raw['artists']['items'][0]
    
    if artist_raw['name'] == params['q']:

        artist.update(
            {
                'id': artist_raw['id'],
                'name': artist_raw['name'],
                'followers': artist_raw['followers']['total'],
                'popularity': artist_raw['popularity'],
                'url': artist_raw['external_urls']['spotify'],
                'image_url': artist_raw['images'][0]['url']
            }
        )

• if문에서 우리가 검색하려고 한 string(q)과 동일한 데이터(name)가 있는지 확인
• update : artist dict의 value를 API로 가져온 데이터로 update

Insert DB

    query = """
        INSERT INTO artists (id, name, followers, popularity, url, image_url)
        VALUES ('{}', '{}', {}, {}, '{}', '{}')
        ON DUPLICATE KEY UPDATE id='{}', name='{}', followers={}, popularity={}, url='{}', image_url='{}'
    """.format(
            artist['id'],
            artist['name'],
            artist['followers'],
            artist['popularity'],
            artist['url'],
            artist['image_url'],
            artist['id'],
            artist['name'],
            artist['followers'],
            artist['popularity'],
            artist['url'],
            artist['image_url']
    )
    cursor.execute(query)
    conn.commit()

format 안에 12개의 값이 들어가는데 다음과 같다.

• 앞의 6개의 값: insert하고자 하는 값. 앞의 6개의 중괄호.
• 뒤의 6개의 값: 이미 db에 중복된 값이 있는지 확인하기 위한 값. 뒤의 6개의 중괄호.

2.1 단순화

Insert DB 부분을 단순화하자.

• 컬럼명을 모를 수 있다 (ex. id, name)
• 하나의 쿼리에 너무 많은 데이터를 작성해야 한다

해당 위치에 새로 들어갈 코드

insert_row(cursor, artist, 'artists')

함수 : cursor와 data를 가져와서 table을 업데이트

def insert_row(cursor, data, table):

• '%s'가 len(data)개 만큼 생긴다

    placeholders = ', '.join(['%s'] * len(data))

• table의 columns와 key값이 동일하므로 그대로 가져온다

    columns = ', '.join(data.keys())

• key와 placeholders를 하나의 string으로 합친다

    key_placeholders = ', '.join(['{0}=%s'.format(k) for k in data.keys()])

• Duplicate Record handling : 이미 있는 key라면 update, 아니면 insert

    sql = "INSERT INTO %s ( %s ) VALUES ( %s ) ON DUPLICATE KEY UPDATE %s" % (table, columns, placeholders, key_placeholders)

• VALUES와 UPDATE 뒤의 %s에 들어갈 실제 값. 같은 값 2개 필요하니 *2

    cursor.execute(sql, list(data.values())*2)