How to use etcd as Spider meta info - cloud-barista/cb-spider GitHub Wiki

  • CB-Spider 서버는 nutsdb(LFS) 또는 etcd를 메타 정보로 선택 운영할 수 있으며,
  • etcd를 메타 정보로 활용하는 방법은 다음과 같다.

  • 운영 환경

    • Ubuntu 18.04
    • CB-Spider Server 동일 노드에 etcd 서버 운영

  • 동일 노드에 ETCD 서버 가동 방법

    • (1) 설치/실행 방법

      sudo apt install etcd-server

    • (2) 컨테이너 실행 방법

      export ETCD_SERVER=localhost;
sudo docker run --rm -d --name etcd \
--publish 2379:2379 \
  --publish 2380:2380 \
  --env ALLOW_NONE_AUTHENTICATION=yes \
  --env ETCD_ADVERTISE_CLIENT_URLS=http://${ETCD_SERVER}:2379 \
  bitnami/etcd:3.3.27

  • CB-Spider 서버 설정 방법

    • Spider meta 정보 운영 저장소를 etcd로 설정
    vi $CBSPIDER_ROOT/conf/store_conf.yaml

      ...
storetype: ETCD                    <=========
  ...
etcdserverport: "localhost:2379"   <=========