Home - map-search/map-search-etl GitHub Wiki
Welcome to the map-search-etl wiki!
Kang-heesuk commented on Oct 5 โข
์ฃผ์ : ์ง๋ ๊ฒ์ ์ค์๊ฐ ํธ๋ ๋
!๋ณธ ์ฃผ์ ์ ์ฐ์์ฐธ๊ฐ์๋ก ์ ์ ์ 'NAVER'์์ '์ฑ์ฉ์ ํํ ์ธํด์ญ'์ ์ฐธ์ฌ๊ธฐํ๊ฐ ์ฃผ์ด์ง๋๋ค.
์ฃผ์ ์ ์ ๋ฐฐ๊ฒฝ
ํธ๋ ๋ํ, ์ด์ํ๋, ์ค์๊ฐ ๋ฑ์ ๊ฒ์์ ํ๊ธฐ ์ํด์ score์ ๊ธฐ๋ฐํ rank ๋ก์ง์ด runtime์๋ ํ์ํจ.
(์, Learning to Rank) prototype ์ ๋ง๋ค์ด ๊ฐ๋ฅ์ฑ์ ๊ฒ์ฆํ๋ค.
๊ฐ๋ฐ ์๊ตฌ์ฌํญ (ํ์)
spark๋ฅผ ์ฌ์ฉํด์ ์ง๋ ๋ฐ์ดํฐ๋ฅผ ์ ํํ๋ ํฌ๋ฉง์ผ๋ก ๋ณํ ๋ฐ ์ ์ฅ
์ง๋ ๊ฒ์ ๋ญํน ๋ชจ๋ธ๋ง
์ง๋ ๊ฒ์ ์๋น์ค ๊ฐ๋ฐ
๋ก๊ทธ ๊ธฐ๋ฐ, ๊ธ์์น ์ธ๊ธฐ ๊ฒ์์ด ๋ฐ ๊ธ์์น ์ธ๊ธฐ ์ฅ์ ์ถ์ถ ๋ฐ display(kibana ์ด์ฉ)
๊ฐ๋ฐ ์๊ตฌ์ฌํญ (์ ํ)
์ค์๊ฐ ๋ฐ์ดํฐ์ ์ง๋ ๊ฒ์ ๋ชจ๋ธ ๋ญํน ์ ์ฉ์ ์ํด ES Learning to Rank ํ๋ฌ๊ทธ์ธ ๊ฐ๋ฐ
์ค์๊ฐ ๋ฐ์ดํฐ๊ฐ ๋ญํน ๋ชจ๋ธ์ด ๋ฐ์๋ ์ง๋ ๊ฒ์ ์๋น์ค ๊ฐ๋ฐ
๊ฐ๋ฐ์ธ์ด
kotlin(or java8), scala(or python)
ํ๋ซํผ
(serving) spring boot 2, (engine) elastic search 6.x, (etl) spark 2
๊ธฐํ์ฌํญ
๊ฐ๋ฐ ํ๊ฒฝ : Macbook pro, intellij
raw data๊ฐ ๋๋ ์ง๋ ๋ฐ์ดํฐ๋ ๋ฏธ๋ฆฌ text ํ์ผ๋ก ์ ๊ณตํจ
@Kang-heesuk Kang-heesuk added .NAVER .์ฑ์ฉํ์ธํด์ญ JAVA kotlin scala labels on Oct 5
@Kang-heesuk Kang-heesuk closed this 16 days ago