Week18 Day4 - ai-esg/our-history GitHub Wiki

ํŒ€ NLP 11์กฐ Week18 Day4

๋ชฉ์ฐจ

์ผ์ž

  • 2021.12.02 ๋ชฉ

ํŒ€์›

  • ๋ฌธ์„์•”_T2075
  • ๋ฐ•๋งˆ๋ฃจ์ฐฌ_T2078
  • ๋ฐ•์•„๋ฉ˜_T2090
  • ์šฐ์›์ง„_T2137
  • ์œค์˜ํ›ˆ_T2142
  • ์žฅ๋™๊ฑด_T2185
  • ํ™ํ˜„์Šน_T2250

์ฃผ๊ฐ„ ์ผ์ •

ํ”ผ์–ด์„ธ์…˜

  • ๋ชจ๋ธ ์ตœ์ ํ™”
    • ๊ฐ์ž๋„์ƒ
    • squeeze net ๋งŒ๋“ค๋ ค๊ณ  ํ–ˆ๋Š”๋ฐ, module ์ถ”๊ฐ€ ์ œ๋Œ€๋กœ ๋˜์ง€ ์•Š์Œ
    • ์žฅ๋™๊ฑด๋‹˜ ์„œ๋ฒ„์— ๊ธฐ๋กํ•˜๋ฉฐ AutoML ์‹œ๋„

์ตœ์ข… ํ”„๋กœ์ ํŠธ

์ตœ์ข… ํ”„๋กœ์ ํŠธ์—์„œ ์ž‘์„ฑ ๊ตฌ๊ธ€๋“œ๋ผ์ด๋ธŒ ๋งํฌ ํ”ผ๊ทธ๋งˆ ๋งํฌ

ToDo

์ „์ฒ˜๋ฆฌ

  • ๊ธฐ์ค€ ๊ตฌ๊ธ€ ๋ฆฌ๋ทฐ : query, ๋„ค์ด๋ฒ„ ๋ธ”๋กœ๊ทธ : context

์ง€์—ญ ํ•˜๋‚˜๋‹น query ๋ช‡ ๊ฐœ?

์ฝ”๋“œ๋ฅผ ์ˆ˜์ •๊ฐ€๋Šฅํ•˜๊ฒŒ ์ž‘์„ฑ

  • ์ตœ์†Œ query ๊ธฐ์ค€

  • ์ตœ์†Œ context ๊ธฐ์ค€

  • ์ตœ์†Œ query ๊ธ€์ž ๊ธฐ์ค€ (์ตœ์†Œ 7์ž?)

  • context ํ•ฉ์น˜๊ธฐ or ์›๋ณธ

blog google ์ด๋ž‘ ํ•ฉ์น˜๊ธฐ (๋‘˜๋‹ค ์‚ด์•„์žˆ๋Š” ๊ธฐ์ค€)

data_gen.py -> ์ด๊ฒƒ๋„ ์งœ์•ผํ•จ

๋ฐ์ดํ„ฐ 1,2



blog_cr.py
cafe_cr.py // blog ๋ฐ์ดํ„ฐ์— ๊ฐ™์ด ๋“ค์–ด๊ฐ€๋Š”???
google_cr.py


์ „์ฒ˜๋ฆฌ 1 -> google_pre.py                 // ? txt ์ฒ˜๋ฆฌ ์ œ๊ฑฐํ• ๊ฑฐ ๋ฐ”๊ฟ”์ค„ ๊ฒƒ
    ์ž…๋ ฅ : ์„œ์šธ/๊ด€๊ด‘์ง€/๊ฐ„๋ฐ๋ฉ”๊ณต์›.csv, ~~~
    -> google_review.json
    return    ->?
    
์ „์ฒ˜๋ฆฌ 2 -> blog_pre.py                  // ? txt ์ฒ˜๋ฆฌ
    ์ž…๋ ฅ : tour_spot.json
    return    ->?
    
์ตœ์ข… ๋ฐ์ดํ„ฐ (csv?) -> ??.py              // ? ๋ฐ์ดํ„ฐ 2๊ฐœ๋ฅผ ๋ณด๊ณ  ์ž‘์—…ํ•  ๋‚ด์šฉ์ด ์žˆ๋Š” ๊ฒƒ ex)pair
arg

// train.json
{
    '์„œ์šธ' : {
        '๊ด€๊ด‘์ง€' : {
            '๊ฐ„๋ฐ๋ฉ”๊ณต์›' :[
                {
                    'query': "", // ์„ ํƒ
                    'context':"", // ์ข…๋ฅ˜ ํ•ฉ์นœ๊ฑฐ // ๊ฐœ๋ณ„
                },
                {
                    'query': "", // X1
                    'context':"", // Y1
                },
                {
                    'query': "", // X2
                    'context':"", // Y2
                },
                {
                    'query': "", // X1
                    'context':"", // Y2
                },
                {
                    'query': "", // X2
                    'context':"", // Y1
                },
            ]
        },
        '๋ ˆํฌ์ธ ' : {
            ...
        },
        'ํ–‰์‚ฌ' : {
            ...
        }
    }
}
// blog.json
{
    "์ง€์—ญ":{
        "ํ…Œ๋งˆ":{
            "์žฅ์†Œ๋ช…":[
                {
                    "context": context,
                    "url": url,
                    "type": google / blog
                }
            ]
        }
    }
}
  • ๋ฌธ์„์•” - blog ๋ฆฌ๋ทฐ ์ „์ฒ˜๋ฆฌ
  • ๋ฐ•๋งˆ๋ฃจ์ฐฌ - dense, ์ œ์™ธ ํ•ด์•ผ ํ•˜๋Š” ์žฅ์†Œ ์ „์ฒ˜๋ฆฌ
  • ๋ฐ•์•„๋ฉ˜
  • ์šฐ์›์ง„ - ์ฝ”๋“œ ๋ชจ๋“ˆํ™” ํ•ด์„œ ์ •๋ฆฌ, ๊ตฌ๊ธ€๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ
  • ์œค์˜ํ›ˆ - dense
  • ์žฅ๋™๊ฑด - ๋””์ž์ธ ์กฐ์‚ฌ
  • ํ™ํ˜„์Šน - ๊ตฌ๊ธ€ ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ(์ผ๋‹จ), ๋””์ž์ธ ์กฐ์‚ฌ

ํ”„๋ก ํŠธ ๋””์ž์ธ