cbridge - bridge tool according to ConvBridge interface

https://github.com/aragorn/home/blob/master/bin/cbridge

cbridge seed seed_url destination_pattern ...

cbridge session source_url file

cbridge pull source_url file [count]

cbridge pull source_url destination_url [count]

cbridge pull source_url [count]

cbridge list [pattern ...]

cbridge resume session [count]

cbridge resume pattern ... [count]

cbridge status session

cbridge stop pattern ...

cbridge remove pattern ...

cbridge는 ConvBridge 인터페이스에 따른 bridge를 구현한 프로그램이다. cbridge는 source 의 데이터를 destination 으로 보내는 전송 기능을 수행한다. ConvBridge 인터페이스에서 데이터의 변환, 병합 등 가공 기능은 converter가 담당하고, bridge는 converter로 변환된 데이터를 destination으로 전송하는 기능을 담당한다. ConvBridge는 대용량 데이터 전송을 위한 인터페이스로 ConvBridge에서 상세한 명세와 문서, 예시를 찾을 수 있다.

bridge는 세션 기반으로 작동한다. 세션은 source에서 destination으로 데이터를 전송하는 일련의 흐름에서의 상태를 가리킨다. bridge는 세션 정보를 저장할 수 있으며, 저장된 세션 정보를 이용해 중단된 전송을 재개할 수 있다. 세션을 구성하는 항목 중, source, destination, next_urls 이 필수 항목이다.

cbridge seed는 seed_url에서 converter_url 을 가져와 세션을 생성한다. seed_url은 converter_url을 하나 이상 나열하는 결과를 내보내는 API이다.

destination_pattern은 "sprintf" in perlfunc에서 사용하는 포맷으로, 정수형 conversion specification 을 하나 포함할 수 있다. 정수형 conversion specification에는 seed_url이 내보내는 converter_url의 순서에 따른 번호가 주어진다. 예를 들어, converter_url이 10개이고, destination_pattern이 path/file-%02d.txt로 주어진 경우, 포맷의 conversion specification에는 0..9 의 값이 주어져, path/file-00.txt, path/file-01.txt, path/file-02.txt, ... , path/file-09.txt 등 10개의 destination 이 결정된다.

여러 converter_url은 하나 이상 주어진 destination_pattern에 순차적으로 대응되어 각 세션을 구성한다. converter_url의 수만큼 session이 생성되며, session의 source는 converter_url, destination은 지정된 destination_pattern이 된다. destination_pattern이 여러 개인 경우, session의 destination은 여러 pattern에 순차적으로 대응되어 생성된다. 예를 들어, converter_url이 url1, url2, url3, ... url10 등 10개이고, destination_pattern이 path1/file-%02d.txt, path2/file-%02d.txt, path3/file-%02d.txt 으로 3개인 경우, 10개의 세션이 생성되며, 각 session의 source - destination 구성은 url1 - path1/file-00.txt, url2 - path2/file-01.txt, url3 - path3/file-02.txt, url4 - path1/file-03.txt, ... , url10 - path1/file-09.txt 가 된다.

bash를 사용하는 경우, destination_pattern은 shell의 brace expansion, tilde expansion 등을 활용하여, 위의 예에서 destination_pattern을 {path1,path2,path3}/file-%02d.txt 로 입력할 수 있다.

cbridge pull 또는 cbridge session 명령은 새로운 세션을 생성하게 된다. cbridge session 명령은 세션을 생성한 후, 데이터를 전송하지 않고 종료한다. cbridge pull 은 세션을 생성한 후, 데이터 전송을 실행한다.

데이터 전송은 데이터의 마지막까지 전송이 완료되거나, 선택적으로 주어진 실행 파라미터인 count만큼 converter에 변환요청을 하고, 그 결과를 전송한 후 실행을 정지한다. count가 0 인 경우, 데이터의 마지막까지 데이터를 전송한다는 의미이다. 지정된 count 만큼 변환 요청을 하기 전에 데이터 전송이 완료되어도, cbridge는 실행을 정지한다.

count 파라미터는 converter의 url 쿼리에도 정의되어 있지만, cbridge pull 의 count 파라미터는 이 converter url의 쿼리 파라미터와 관련이 없다. converter의 url 쿼리에 정의된 count 파라미터는 1회 변환 요청에서 내보내는 문서의 최대수 또는 변경목록의 이벤트 수를 의미한다. bridge의 실행 파라미터인 count는 bridge가 converter에 http 요청을 보내는 최대 횟수를 의미한다.

cbridge list는 생성된 세션을 목록으로 나열한다. pattern을 지정하는 경우, shell 의 파일 매칭과 동일한 세션이름 패턴 매칭이 가능하다. pattern 매칭은 perl의 "glob" in perlfunc 내장함수를 적용하였다.

cbridge status는 지정한 세션의 상세 정보를 출력한다.

cbridge resume는 지정한 세션의 데이터 전송을 재개한다. cbridge pull 명령은 cbridge session 실행 후 cbridge resume 명령을 실행한 것과 동등하다.

cbridge stop는 pattern에 일치하는 이름의 세션을 중지한다. 이때 세션은 다른 cbridge 프로세스에 의해 데이터 전송이 진행 중인 세션을 가리키며, 데이터 전송을 중지하기 위해 SIGINT 시그널을 보낸다.

cbridge remove는 지정한 세션을 삭제한다. 해당 세션에서 전송한 데이터는 삭제하지 않는다. 로컬 파일로 데이터를 저장하는 경우, 로컬 데이터 파일은 건드리지 않고 그대로 둔다.

• cbridge pull 에서 progress 보여주기

• cbridge pull 에서 from, to 파라미터의 값을 이용해 종료 시각 예측하기

• support for search engines - elastic search

• support for search engines - breeze

• support for mysql destination

• cbridge seed

• dump file 을 스크립트 파일로 간주하여 실행하는 기능 : 논리적이지 않음

새로운 프로세스에서 저장된 session을 resume 하는 경우, session 개체를 생성 후 곧바로 파일에 저장한다. 순간적인 race condition 은 가능하나, PID 값 갱신에 수초가 소요되지 않는다. race condition에서는 또다른 프로세스에서 stop session 할 때 실패할 수 있다.

이미 존재하는 로컬파일에 데이터를 덧붙이는 세션을 생성하는 것이 불가능하다.

현재 구현은 세션 생성 시, 로컬파일이 이미 존재하면 실행을 중단하고 세션 생성을 취소한다. destination 에서 append 를 기본적으로 허용하는 url schema 또는 옵션을 구현하면 될까...??? 아니면 append mode 옵션을 추가할까....?

session

session object 는 session file을 open(2)한 후, shared lock 을 얻는다. session 이 active 인지 여부를 확인하려면, exclusive lock 을 얻으려 시도해 보고, 실패한 경우, 이 session 이 active 라 판단한다. 즉, 현재의 session object 이외에 동일한 session object 가 존재하는 경우, active 라 판단하는 것이다.

session 이 active 하지 않는 경우, next_urls 가 존재하면 stopped 상태이고, next_urls 가 존재하지 않으면, completed 상태이다.

• perl의 TAP 인터페이스로 테스트를 수행

  prove t/cbridge-basic.t
  prove t/cbridge-unit.t

• Using TAP with Java - http://blogs.perl.org/users/confuseacat/2011/09/perl-testing-with-jenkinshudson-avoiding-some-pitfalls.html