RegLexer - wkpark/reglexer GitHub Wiki

RegLexer

SimpleTest에 포함되어 있는 lexer.php를 기반으로 개선된 도쿠위키의 lexer.php를 바탕으로 하였다.

도쿠위키에서는 lexer.php를 다음과 같이 개선되었다.

• support for lookback and lookahead patterns
• support for changing the pattern modifiers from within the pattern.
• notifying the Handler of the starting byte index in the raw text, where a token was matched.

여기에 다음과 같은 점을 수정 개선하여 regex의 효용성을 높였다.

• capture 지원.
• token을 받아서 전달하는 것이 아닌, match된 배열 전체를 전달하여 regex 사용 극대화.
• match offset 인수를 사용하며, ^ anchor를 사용 가능.
• PREG_OFFSET_CAPTURE를 사용하여, 패턴이 비어있는 경우(예를 들어 "(?=\n)"같은 패턴)도 사용 가능.
• 이벤트를 변경 가능하며 유연성을 높였다. 즉, LEXER_EXIT 이벤트를 전달받아서 이것이 LEXER_EXIT이 아니라고 판별되면 LEXER_UNMATCHED 등의 다른 이벤트로 변경 가능.
• 소모된 토큰 길이 재지정 가능. 즉, ''''' 토큰을 전달받아서 ''' 문자 3개만 소모하는 경우에 3을 리턴하는 방식으로 소모된 토큰의 길이 재지정하여 유연성을 높였다.