Logstash

csv

---

CSV 파일을 인덱싱하려고 LS에서 읽는 경우, UTF-8 인코딩이 아니면 실패메시지를 볼 수 있다.

[2019-12-18T10:26:59,792][WARN ][logstash.filters.csv     ][main] Error parsing csv {:field=>"message", :source=>"\\\"MISC1543319_0000000176441\\\",\\\"\\xB3\\xF3\\xC7\\xF9\\xB1\\xB8\\xBA\\xD0\\xC4ڵ\\xE5\\\"", :exception=>#<CSV::MalformedCSVError: Illegal quoting in line 1.>}

따라서, 해당 csv파일의 인코딩을 바꿔줘야 하는데, 단순 notepad로 인코딩을 UTF-8로 바꾸면 개행이나, 칼럼이 분절이 안되는 경우가 발생한다. excel로 인코딩을 변경해도 처리가 안되는 경우가 많아, 추천하는 방법은 notepad++로 진행하기를 추천하는데, notepad++로 파일을 열고 인코딩 > UTF-8로 변환 > 저장 하여 변경하기를 추천한다.