NiFi Clustering - tobyseo/open GitHub Wiki

NiFi - Clustering

  • ํด๋Ÿฌ์Šคํ„ฐ๋ง์„ ํ†ตํ•ด ํ•˜๋‚˜์˜ ์ธํ„ฐํŽ˜์ด์Šค๋กœ ๋ชจ๋“  ๋…ธ๋“œ์˜ ๋ฐ์ดํ„ฐ ํ๋ฆ„ ๋ณ€๊ฒฝ ๋ฐ ๋ชจ๋‹ˆํ„ฐ๋ง ๊ฐ€๋Šฅ
  • Zero-Master ํด๋Ÿฌ์Šคํ„ฐ๋ง ํŒจ๋Ÿฌ๋‹ค์ž„
  • ํด๋Ÿฌ์Šคํ„ฐ์˜ ๊ฐ ๋…ธ๋“œ๋Š” ๊ฐ™์€ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•˜์ง€๋งŒ, ์„œ๋กœ ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ ์ง‘ํ•ฉ์„ ์ฒ˜๋ฆฌ

--

Cluster Coordinator

  • ZooKeeper๊ฐ€ ์—ฌ๋Ÿฌ ๋…ธ๋“œ ์ค‘ ํ•˜๋‚˜๋ฅผ Cluster Coordinator๋กœ ์„ ํƒ
  • ๋ชจ๋“  ๋…ธ๋“œ๋กœ๋ถ€ํ„ฐ ์ƒํƒœ ์ •๋ณด๋ฅผ ๋ฐ›์•„ ์—ฐ๊ฒฐ์„ ๊ด€๋ฆฌํ•จ

Primary ๋…ธ๋“œ

  • ํด๋Ÿฌ์Šคํ„ฐ๋‹น ๋‹จ ํ•˜๋‚˜์˜ Primary ๋…ธ๋“œ๊ฐ€ ์กด์žฌ
  • ZooKeeper์— ์˜ํ•ด ์ž๋™์œผ๋กœ ์„ ํƒ๋˜๊ณ  ์ด ๋…ธ๋“œ๋ฅผ ํ†ตํ•ด Isolated Processors๋ฅผ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Œ

Isolated Processors

  • ๋ชจ๋“  ๋…ธ๋“œ์—์„œ ์‹คํ–‰๋˜์ง€ ์•Š๊ณ  ๋‹จ ํ•˜๋‚˜์˜ ๋…ธ๋“œ(Primary)์—์„œ๋งŒ ์‹คํ–‰ํ•จ

--

UI

--

  • ์›น ํฌ๋กค๋Ÿฌ(Isolated Processor)๋กœ๋ถ€ํ„ฐ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ›์•„ ์—ฌ๋Ÿฌ ๋…ธ๋“œ์—์„œ ์ฒ˜๋ฆฌ ์‹œ์—ฐ

--

์ฐธ๊ณ  ์ž๋ฃŒ