Week18 Day4 - ai-esg/our-history GitHub Wiki
ํ NLP 11์กฐ Week18 Day4
๋ชฉ์ฐจ
์ผ์
- 2021.12.02 ๋ชฉ
ํ์
- ๋ฌธ์์_T2075
- ๋ฐ๋ง๋ฃจ์ฐฌ_T2078
- ๋ฐ์๋ฉ_T2090
- ์ฐ์์ง_T2137
- ์ค์ํ_T2142
- ์ฅ๋๊ฑด_T2185
- ํํ์น_T2250
์ฃผ๊ฐ ์ผ์
ํผ์ด์ธ์
- ๋ชจ๋ธ ์ต์ ํ
- ๊ฐ์๋์
- squeeze net ๋ง๋ค๋ ค๊ณ ํ๋๋ฐ, module ์ถ๊ฐ ์ ๋๋ก ๋์ง ์์
- ์ฅ๋๊ฑด๋ ์๋ฒ์ ๊ธฐ๋กํ๋ฉฐ AutoML ์๋
์ต์ข ํ๋ก์ ํธ
์ต์ข ํ๋ก์ ํธ์์ ์์ฑ ๊ตฌ๊ธ๋๋ผ์ด๋ธ ๋งํฌ ํผ๊ทธ๋ง ๋งํฌ
ToDo
์ ์ฒ๋ฆฌ
- ๊ธฐ์ค ๊ตฌ๊ธ ๋ฆฌ๋ทฐ : query, ๋ค์ด๋ฒ ๋ธ๋ก๊ทธ : context
์ง์ญ ํ๋๋น query ๋ช ๊ฐ?
์ฝ๋๋ฅผ ์์ ๊ฐ๋ฅํ๊ฒ ์์ฑ
-
์ต์ query ๊ธฐ์ค
-
์ต์ context ๊ธฐ์ค
-
์ต์ query ๊ธ์ ๊ธฐ์ค (์ต์ 7์?)
-
context ํฉ์น๊ธฐ or ์๋ณธ
blog google ์ด๋ ํฉ์น๊ธฐ (๋๋ค ์ด์์๋ ๊ธฐ์ค)
data_gen.py -> ์ด๊ฒ๋ ์ง์ผํจ
๋ฐ์ดํฐ 1,2
blog_cr.py
cafe_cr.py // blog ๋ฐ์ดํฐ์ ๊ฐ์ด ๋ค์ด๊ฐ๋???
google_cr.py
์ ์ฒ๋ฆฌ 1 -> google_pre.py // ? txt ์ฒ๋ฆฌ ์ ๊ฑฐํ ๊ฑฐ ๋ฐ๊ฟ์ค ๊ฒ
์
๋ ฅ : ์์ธ/๊ด๊ด์ง/๊ฐ๋ฐ๋ฉ๊ณต์.csv, ~~~
-> google_review.json
return ->?
์ ์ฒ๋ฆฌ 2 -> blog_pre.py // ? txt ์ฒ๋ฆฌ
์
๋ ฅ : tour_spot.json
return ->?
์ต์ข
๋ฐ์ดํฐ (csv?) -> ??.py // ? ๋ฐ์ดํฐ 2๊ฐ๋ฅผ ๋ณด๊ณ ์์
ํ ๋ด์ฉ์ด ์๋ ๊ฒ ex)pair
arg
// train.json
{
'์์ธ' : {
'๊ด๊ด์ง' : {
'๊ฐ๋ฐ๋ฉ๊ณต์' :[
{
'query': "", // ์ ํ
'context':"", // ์ข
๋ฅ ํฉ์น๊ฑฐ // ๊ฐ๋ณ
},
{
'query': "", // X1
'context':"", // Y1
},
{
'query': "", // X2
'context':"", // Y2
},
{
'query': "", // X1
'context':"", // Y2
},
{
'query': "", // X2
'context':"", // Y1
},
]
},
'๋ ํฌ์ธ ' : {
...
},
'ํ์ฌ' : {
...
}
}
}
// blog.json
{
"์ง์ญ":{
"ํ
๋ง":{
"์ฅ์๋ช
":[
{
"context": context,
"url": url,
"type": google / blog
}
]
}
}
}
- ๋ฌธ์์ - blog ๋ฆฌ๋ทฐ ์ ์ฒ๋ฆฌ
- ๋ฐ๋ง๋ฃจ์ฐฌ - dense, ์ ์ธ ํด์ผ ํ๋ ์ฅ์ ์ ์ฒ๋ฆฌ
- ๋ฐ์๋ฉ
- ์ฐ์์ง - ์ฝ๋ ๋ชจ๋ํ ํด์ ์ ๋ฆฌ, ๊ตฌ๊ธ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ
- ์ค์ํ - dense
- ์ฅ๋๊ฑด - ๋์์ธ ์กฐ์ฌ
- ํํ์น - ๊ตฌ๊ธ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ(์ผ๋จ), ๋์์ธ ์กฐ์ฌ
ํ๋ก ํธ ๋์์ธ