NiFi - tobyseo/open GitHub Wiki

NiFi

μ •μ˜

  • 데이터 λΆ„μ‚°, 처리 μ‹œμŠ€ν…œ
  • 이쒅 μ‹œμŠ€ν…œ (μ„œλ‘œ λ‹€λ₯Έ 포멧, ν”„λ‘œν† μ½œ, ...) κ°„μ˜ 데이터 흐름 μžλ™ν™” ν”Œλž«νΌ

νŠΉμ§•

  • 데이터 λΌμš°νŒ…, λ³€ν˜•μ„ μœ„ν•œ λ°©ν–₯μ„± κ·Έλž˜ν”„ 지원

  • 데이터 νλ¦„μ˜ 생성, λͺ¨λ‹ˆν„°λ§, μ œμ–΄λ₯Ό μœ„ν•œ μ›Ή 기반 UI 제곡

  • λŸ°νƒ€μž„μ— 데이터 흐름을 λ³€κ²½ν•˜κ³  λ™μ μœΌλ‘œ 데이터 μš°μ„ μˆœμœ„λ₯Ό μ‘°μ •ν•  수 있음, Highly configurable

  • 전체 μ‹œμŠ€ν…œμ˜ 데이터λ₯Ό μ‹€μ‹œκ°„μœΌλ‘œ μΆ”μ ν•˜λŠ” Data Provenance

  • μ»€μŠ€ν…€ κ΅¬μ„±μš”μ†Œ(components) κ°œλ°œμ„ ν†΅ν•œ μ‰¬μš΄ ν™•μž₯

--

μš©μ–΄

  • FlowFile

    • μ‹œμŠ€ν…œμ„ 톡해 μ΄λ™ν•˜λŠ” λ°μ΄ν„°μ˜ λ‹¨μœ„
    • 두 λΆ€λΆ„μœΌλ‘œ 이루어짐, λ‚΄μš©κ³Ό 속성(key/value쌍)λ“€
    • Expression Language 둜 속성 κ°’ μ œμ–΄ κ°€λŠ₯

  • Processor

    • μž‘μ—…μ„ μˆ˜ν–‰, FlowFile에 μ ‘κ·Ό κ°€λŠ₯(μˆ˜μ§‘, λ³€ν˜•, μ €μž₯)

  • Connection

    • Processors κ°„μ˜ μ—°κ²°(FlowFile 전달)
    • λ™μ μœΌλ‘œ μš°μ„ μˆœμœ„ 변경이 κ°€λŠ₯ν•œ 큐듀

  • Process Group

    • processor λ“€κ³Ό κ·Έ connection λ“€μ˜ 집합
    • input ports λ₯Ό 톡해 데이터λ₯Ό λ°›κ³ , output ports λ₯Ό 톡해 데이터λ₯Ό 전솑

--

NiFi - UI

μ‹€μ œ UI의 λ™μž‘μ„ 보며 μ„€λͺ… (mac mini 의 kma Template 처음 λΆ€ν„° λ§Œλ“€κΈ°)

  • processor 듀을 λ“œλž˜κ·Έμ—” λ“œλ‘­ν•˜μ—¬ 흐름을 생성
  • μ‹€μ‹œκ°„μœΌλ‘œ κ΅¬μ„±μš”μ†Œ 듀을 μ‹œμž‘,쀑단, μ„€μ • κ°€λŠ₯
  • μ—λŸ¬, μ—λŸ¬ λ©”μ‹œμ§€λ₯Ό λ³Ό 수 있음
  • 데이터 νλ¦„μ˜ 톡계와 μƒνƒœλ₯Ό λ³Ό 수 있음
  • κ³΅ν†΅λ˜λŠ” processor 와 connection 의 ν…œν”Œλ¦Ώ 생성 κ°€λŠ₯

--

NiFi - Provenance (기원,좜처,유래)

  • 데이터가 μ‹œμŠ€ν…œμ„ 톡해 흐λ₯Ό λ•Œ λ°μ΄ν„°μ˜ 각 지점을 좔적
  • 보여주기 μœ„ν•˜μ—¬ 기둝, 색인, 이벀트 생성
  • ν•΄λ‹Ή μ‹œμ μ˜ 속성듀과 λ‚΄μš©μ„ λ³΄μ—¬μ€Œ
    • View Details
    • Show Lineage

--

NiFi - Queue μš°μ„  μˆœμœ„ μ„€μ •

  • connection λ³„λ‘œ μš°μ„  μˆœμœ„ μ„€μ •
  • λ°μ΄ν„°μ—μ„œ 무엇이 μ€‘μš”ν•œμ§€ 지정 - μ‹œκ°„, 도착 μˆœμ„œ, 데이터 μ€‘μš”λ„
  • λ§Žμ€ connection 을 ν•˜λ‚˜μ˜ μ—°κ²°λ‘œ 내렀보내(Funnel 이용), 데이터셋 λ“€μ˜ μš°μ„  μˆœμœ„λ₯Ό μ‘°μ •
  • ν•„μš”ν•˜λ‹€λ©΄ prioritizerλ₯Ό 직접 개발 κ°€λŠ₯

--

NiFi - Architecture

--

NiFi - Clustering

--

NiFi - Site To Site

--

NiFi - Python μ‹€ν–‰

--

참고 자료