Start time is too long - cloud-barista/cb-spider GitHub Wiki

• 지원 버전: Since v0.5.9

[증상]

• cb-store nutsdb 기반으로 장시간 운영 또는 빈번한 Read/Write 운영 후
• Spider 재시작 시 가동 시간이 매우 길어지는 현상
• 참고: #664

[원인]

• nutsdb Merge 기능 특성 참고: https://github.com/nutsdb/nutsdb#merge-operation

[방안]

• nutsdb-merge utility 실행
  • spider server 종료 (Recommand)
  • merge util 실행
    • cd cb-spider/utils/nutsdb-mgmt
    • go run nutsdb-merge.go
  • spider server 가동
• 추후, 자동 관리로 개선

[효과]

• db 파일 축소 및 원래 시작 속도

• before

  total 72M
  drwxrwxr-x 2 ubuntu ubuntu  16K Jun  2 22:58 .
  drwxrwxr-x 4 ubuntu ubuntu 4.0K Apr  1 08:42 ..
  -rw-r--r-- 1 ubuntu ubuntu 8.0M Jun  2 15:30 0.dat
  -rw-r--r-- 1 ubuntu ubuntu 8.0M Jun  2 16:15 1.dat
  -rw-r--r-- 1 ubuntu ubuntu 8.0M Jun  2 17:09 2.dat
  -rw-r--r-- 1 ubuntu ubuntu 8.0M Jun  2 18:06 3.dat
  -rw-r--r-- 1 ubuntu ubuntu 8.0M Jun  2 19:10 4.dat
  -rw-r--r-- 1 ubuntu ubuntu 8.0M Jun  2 20:24 5.dat
  -rw-r--r-- 1 ubuntu ubuntu 8.0M Jun  2 21:41 6.dat
  -rw-r--r-- 1 ubuntu ubuntu 8.0M Jun  2 22:58 7.dat
  -rw-r--r-- 1 ubuntu ubuntu 8.0M Jun  3 00:08 8.dat
  

• after

  total 24K
  drwxrwxr-x 2 ubuntu ubuntu  16K Jun  3 00:31 .
  drwxrwxr-x 4 ubuntu ubuntu 4.0K Apr  1 08:42 ..
  -rw-r--r-- 1 ubuntu ubuntu 8.0M Jun  3 00:31 9.dat