Visualization KO - k-p2p-lab/kpl-v3 GitHub Wiki
Wiki home โบ ํ๊ตญ์ด ๋ฌธ์ ยท ์์ด ์๋ฌธ
๋ฌธ์ ์๋ด ยท ์์ค ์ ์ฅ์
Saved results โ Images์์ ๋ฐฑ๊ทธ๋ผ์ด๋ ๋ถ์์ ์์ํฉ๋๋ค. ์๋ฒ๊ฐ ๋ก๊ทธ ์ฝ๊ธฐยท๊ทธ๋ํ ์งํยท์ ํ ๊ฒฝ๋กยท๋ถํฌ ์ ํฉยท์ ์ฅ ๋จ๊ณ๋ฅผ ์ฒ๋ฆฌํ๊ณ , ์๋ฃ ๋ฐ์ดํฐ๋ฅผ ๋ธ๋ผ์ฐ์ ๊ฐ ํฐ ๋ฐฐ๊ฒฝ์ ๊ฐ๋ก 1,600px PNG๋ก ๋ง๋ญ๋๋ค. Graph images๋ ๊ธฐ๋ณธ์ผ๋ก ์ ํ ์ฐจํธ ์ ๋ชฉ ๋ชฉ๋ก์ด๋ฉฐ, ์ ๋ชฉ์ ํผ์น๋ฉด ์ด๋ฏธ์ง์ PNG โ / CSV โ ๋งํฌ๋ฅผ ํ์ํฉ๋๋ค. Analysis tools โ Download analysis JSON์ผ๋ก ์๋ฒ์ ์ ์ฅ๋ ์ ์ฒด ๋ถ์์ ๋ฐ์ผ๋ฉฐ ๊ฐ์ ๋ฉ๋ด์์ Reanalyze๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
PNG๋ฅผ ์์ฑํ์ง ์๊ณ ์ฌ๋ฌ ์ ์ฅ Run์ CSV๋ฅผ ๋ด๋ ค๋ฐ์ผ๋ ค๋ฉด Saved results โ Select โ Download CSV ZIP์ ์ฌ์ฉํฉ๋๋ค. ๋ด๋ถ ZIP ๊ตฌ์ฑ, ์๋ฃ ๋ถ์ ์ฌ์ฌ์ฉ, ์งํยท์ทจ์ ๊ณ์ฝ์ ์ ํ ๋ด๋ณด๋ด๊ธฐ๋ฅผ ์ฐธ๊ณ ํ์ญ์์ค.
Metrics์์ Common(๊ธฐ๋ณธ๊ฐ), GossipSub, Kademlia, Transport๋ฅผ ๊ตฌ๋ถํด์ ํ์ํฉ๋๋ค. Common์๋ Node Count, ๋ณด๊ณ ์ค์ธ ํผ์ด ์, ํผ์ด ์ํ์ ์ ์ฒดยท์คํธ๋ฆผ๋ณ ํธ๋ํฝ์ ๋ก๋๋ค. Node Count๋ ๊ฐ ํ๋กํ ์ฝ์์ ์ต์ ๊ด์ธก ์กฐ๊ฑด์ ๋ง์กฑํ๋ ์ฐธ์ฌ ๋ ธ๋ ์๋ฅผ ํ ์ฐจํธ์์ ๋น๊ตํฉ๋๋ค. ํ๋กํ ์ฝ ํ์ฑํ ์ฌ๋ถ์ overlay ๋ณด๊ณ ์กฐ๊ฑด์ ๋ฐ๋ผ ๊ฐ์ด ๋ค๋ฅผ ์ ์์ผ๋ฏ๋ก ํ๋์ ํฉ๊ณ๋ก ๋ํ์ง ์์ต๋๋ค. GossipSub์๋ ์ ๋ฌยท์ ํยท์ ์ยท์ ์ดยทmesh ์งํ๋ฅผ, Kademlia์ Transport์๋ ๊ฐ๊ฐ์ ๊ทธ๋ํ ์งํ๋ฅผ ํ์ํฉ๋๋ค.
์ ํํ ๋ถ๋ฅ ์์์ Search Metrics๋ก ์ด๋ฆยทํค์๋ยท์งํ ID๋ฅผ ๋์๋ฌธ์ ๊ตฌ๋ถ ์์ด ๊ฒ์ํฉ๋๋ค. Metric Type์ Nodes & Peers, Topology, Delivery & Propagation, Control Traffic, Peer Scores, Bandwidth ๋ฑ์ ์ข ๋ฅ๋ณ ๊ทธ๋ฃน์ ํํฐ๋งํฉ๋๋ค. Sort Within Groups๋ ๊ธฐ๋ณธ ์์, AโZ, ZโA๋ฅผ ์ง์ํ๋ฉฐ ํ์ฌ ์กฐ๊ฑด์ ๋ง๋ ์งํ ์๋ฅผ ํ์ํฉ๋๋ค. Clear Filters๋ ๊ฒ์๊ณผ ์ข ๋ฅ ์กฐ๊ฑด์ ์ด๊ธฐํํฉ๋๋ค. ๊ฒ์ยท์ ๋ ฌยท๋ถ๋ฅ๋ฅผ ๋ฐ๊ฟจ๋ค๊ฐ ๋์์๋ ํผ์น ์ฐจํธ๋ฅผ ์ ์งํ๋ฉฐ ์ค๋น๋ ์ด๋ฏธ์ง๋ฅผ ์ฌ์ฌ์ฉํฉ๋๋ค. ์งํ ์ ๋ชฉ์ ๋จ์ด ์ฒซ ๊ธ์์ ๋๋ฌธ์ ํ๊ธฐ๋ฅผ ํต์ผํ๊ณ GossipSubยทPageRankยทFRTยทms ๋ฑ ๊ณ ์ ํ๊ธฐ์ ๋จ์๋ฅผ ์ ์งํฉ๋๋ค.
Delivery & Propagation์์๋ ์ง์ฐยท์ ํยท์ค๋ณตยทํยท๋ฉ์์ง๋ณ FRT/๋๋ฌ๋ฅ /DRCยทeager/lazy ์ถ์ ์ All Peers์ ์์ ํผ์ด ๊ทธ๋ฃน๋ณ๋ก ํจ๊ป ๋ด ๋๋ค. ๋ฐฐ์น ํ๊ท ๊ณผ PNGยทCSV์๋ ๊ฐ์ ๊ทธ๋ฃน ๊ตฌ๋ถ์ ์ ์งํ๋ฉฐ ๊ณผ๊ฑฐ ๊ทธ๋ฃน ์ ๋ณด๊ฐ ์์ผ๋ฉด Unknown Group์ผ๋ก ํ์ํฉ๋๋ค. ์์ ๊ทธ๋ฃน๋ณ ์ง๊ณ ๊ธฐ์ค์ ์ฐธ๊ณ ํ์ญ์์ค.
Download ZIP์ ๊ฒ์ยท์ข
๋ฅ ํํฐยทํผ์นจ ์ํ์ ๊ด๊ณ์์ด ๋ชจ๋ ๋ถ๋ฅ์ PNG์ CSV๋ฅผ ZIP์ผ๋ก ์ ์ฅํฉ๋๋ค. ๊ฐ๋ณ ๊ฒฐ๊ณผ์ ๋ฐฐ์น ๊ฒฐ๊ณผ์ ๊ฐ์ ๊ตฌ์ฑ์ ์ ์ฉํฉ๋๋ค. ๋ฐฐ์น ์์ฝ ํ๋ Common๊ณผ GossipSub๋ฅผ ๊ตฌ๋ถํ๋ฉฐ, ์ ์ฅ๋ research.node_count ํต๊ณ๋ ๊ธฐ์กด GossipSub ๋ชจ์ง๋จ์ ์ ์งํ๋ฏ๋ก GossipSub Node Count๋ก ๋ช
์ํฉ๋๋ค.
์ฐฝ์ด๋ ๋ธ๋ผ์ฐ์ ๋ฅผ ๋ซ์๋ ์ ์ํ ์๋ฒ ๋ถ์์ ๊ณ์๋ฉ๋๋ค. ๊ฐ์ ์คํ์ ์ค๋ณต ์์ฒญ์ ๊ธฐ์กด ์์
์ ์ฌ์ฌ์ฉํ๋ฉฐ, ์ต๋ 32๊ฐ์ ๋๊ธฐยท์คํ ์์
์ ์ ์ํ๋ฉฐ ํ ๋ฒ์ ํ๋์ฉ ๊ณ์ฐํฉ๋๋ค. ์ฝ๊ธฐ 100% ์ดํ์๋ ๊ทธ๋ํ ๊ณ์ฐ๊ณผ ์ ์ฅ์ด ๋จ์ ์ ์์ต๋๋ค. ์๋ฃ ๋ฐ์ดํฐ๋ Controller ์ฌ์์ ํ์๋ ๋ณด์กด๋ฉ๋๋ค. ์งํ ์ค ์ฌ์์ํ ์์
์ interrupted๊ฐ ๋๋ฉฐ Retry๋ก ๋ค์ ์์ํฉ๋๋ค. ๋คํธ์ํฌ ์์ฒญ๋ง ์คํจํ ๊ฒฝ์ฐ Retry๋ ๊ธฐ์กด ์์
์ ์ฐ๊ฒฐํฉ๋๋ค. PNG ๋ณํ๊ณผ ๋น๊ต ์์ ๊ณ์ฐ์ ์ฐฝ์ ์ด์์ ๋ ๋ธ๋ผ์ฐ์ ์์ ์ํํฉ๋๋ค.
Reanalyze๋ ์๋ณธ ํด์๊ฐ ๊ฐ์๋ ์๋ก ๊ณ์ฐํฉ๋๋ค. ์๋ณธ revision์ด ๊ฐ์ผ๋ฉด ์บ์๋ฅผ ์ฆ์ ์ฌ์ฌ์ฉํ๋ฉฐ Controller์ ์์นด์ด๋ธ ์ด๋์ด๋ ๋์ผํ ์คํ ๋ฉํ๋ฐ์ดํฐ ์ ์ฅ๋ ์ด๋ฅผ ๋ณด์กดํฉ๋๋ค. ์์ธํ ๊ณ์ฝ์ ์๋ณธ ๋ณ๊ฒฝ์ ์ฐธ๊ณ ํ์ญ์์ค. ๋ณ๊ฒฝ ๊ฐ๋ฅ์ฑ์ด ์์ผ๋ฉด ๋จผ์ ๋ฐฑ๊ทธ๋ผ์ด๋์์ ์ฝํ ์ธ ํด์๋ฅผ ํ์ธํ๊ณ , ๊ฐ์ผ๋ฉด Source unchanged; saved analysis reused์ ํจ๊ป ๊ธฐ์กด ๊ฒฐ๊ณผ๋ฅผ ์ฌ์ฌ์ฉํฉ๋๋ค. ์๋ณธ์ด ๋ฐ๋์๊ฑฐ๋ ๋ถ์๊ธฐ ๋ฒ์ ์ด ์ค๋๋์๊ฑฐ๋ ํด์๊ฐ ์๋ ์ด์ ๋ถ์์ด๋ฉด ๋ค์ ๊ณ์ฐํฉ๋๋ค. ์๋ณธ ๋ก๊ทธ๊ฐ ์๋ ์ ๋ณด๋ ์บ์ ๊ฐฑ์ ์ผ๋ก ๋ณต์๋์ง ์์ต๋๋ค. ์ ๋ถ์ยท์ฌ์๋ยท์ฌ๋ถ์์ ๋์๋ณด๋ ๋ก๊ทธ์ธ ์ธ์ ์ ์ฌ์ฉํ๋ฉฐ ์ถ๊ฐ ์ธ์ฆ ์ ๋ ฅ์ ์์ต๋๋ค. ์ฐฝ์ ๋ซ์ผ๋ฉด ์ ์ฒด ๋ถ์ ๋ฐ์ดํฐยท์ค๋น๋ ์ด๋ฏธ์งยท๋ฉ์์ง ์ ํ ๋ชฉ๋ก์ ํด์ ํฉ๋๋ค. ์๋ฃ๋ ๊ฐ์ ธ์ค๊ธฐ ๋ฐ์ดํฐ๋ Clear imports ์ ๊น์ง ์ ์งํฉ๋๋ค. ์คํ ์ญ์ ์ ๋ถ์ ์์ ๊ณผ ์ํฐํฉํธ๋ ์ญ์ ๋ฉ๋๋ค.
๋ณ๋ ๋ฒ์๋ ํด๋น ์๋ฆฌ์ฆ ์์์ ๋ฐํฌ๋ช ์์์ผ๋ก ํ์ํ๋ฉฐ ๋ชจ๋ ํ๊ท ์ ยท๋ฐ์ดํฐ ์ ๋ณด๋ค ๋ค์ ๊ทธ๋ฆฝ๋๋ค. ์ ํยท๊ณ๋จํ ์ฐจํธ๋ ์ฐ์ ์์, ๋จ๋ ์ ยท๋ง๋ยท์ฐ์ ๋๋ ํด๋น ์์น์ ์์ ๋ฒ์๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์ค์ฐจ ๊ฐ์ด ์์ผ๋ฉด ์์์ ๋๊ณ ๊ทธ๋ํ ์์ญ ๋ฐ์ผ๋ก ๋๊ฐ์ง ์๋๋ก ์ ํํฉ๋๋ค. ํต๊ณ ์ ์(์: ๋ฐฐ์น ํ๊ท ์ ยฑ1 ํ๋ณธ SD)์ CSV์ ์๋ ์ค์ฐจ ๊ฐ์ ์ ์งํ๋ฉฐ ๋ฏธ๋ฆฌ๋ณด๊ธฐ์ PNG์ ๋์ผํ๊ฒ ์ ์ฉํฉ๋๋ค.
์ ํ์๋ฅผ ์ต์ํํ์ฌ ์ฐ๊ฒฐ๋ ์๋ฆฌ์ฆ๋ ์ ์ผ๋ก ๋ณด์ด๊ฒ ํ๊ณ , ๋จ๋ ๊ด์ธก๊ฐ๊ณผ ๋ ๋ฆฝ ์ฐ์ ๋๋ ์์ ์ ์ผ๋ก ์ ์งํฉ๋๋ค. ์๋ฆฌ์ฆ๋ 20์ ํ๋ ํธ๋ฅผ ์ฌ์ฉํ๊ณ ์ถ๊ฐ ๊ทธ๋ฃน์๋ ์์์ ์์ฑํฉ๋๋ค. ์ ยท๋ณ๋ ์์ยท๋ฒ๋ก๋ ์๋ฆฌ์ฆ๋ง๋ค ๊ฐ์ ์์์ ์ฌ์ฉํ๋ฉฐ ์ฐ์ ๋์ ์์ ๊ทธ๋ผ๋ฐ์ด์ ์ ์ ํํ ์งํ์ ์๋ฏธ๋ฅผ ์ ์งํฉ๋๋ค.
์์ธ ์ ์๋ GossipSub โ Peer Scores์ P1~P7, P3b, ํ ํฝ cap ์กฐ์ ๊ฐ, ๋์ํ๋ ์ด์ ์ผ๋ก ํ์ํฉ๋๋ค. ๊ตฌ์ฑ์์ ๊ด์ธก๊ฐ์ด ์์ด๋ ๊ฐ๋ณ ๊ฒฐ๊ณผ์ ๋ฐฐ์น ํ๊ท ์ ํญ๋ชฉ์ ์ ์งํ๊ณ , ์ด๋ฏธ์ง์ N/A ยท No recorded score component samples๋ฅผ ํ์ํฉ๋๋ค. ์ค์ ๋ก ์ธก์ ํ 0์ 0์ผ๋ก ๊ทธ๋ฆฝ๋๋ค. ๋ฐฐ์น ํ๊ท ์ ๊ตฌ์ฑ์์ ํ๋ณธ์ด ์๋ Run์ ์ ์ธํ๊ณ ๊ธฐ์ฌ Run ์๋ฅผ ์ ์งํฉ๋๋ค. ์ฌ๋ถ์์ ๋ ๋ฆฝ๋ ์ ์ ๊ตฌ์ฑ์์ ์๊ณ์ด์ ์ฌ์ฉํด ์ด์ ์ผ๋ฐ ๊ด์ธก ์ถ์ฝ์์ ์ ์ธ๋ ์๋ณธ ์ธก์ ๊ฐ์ ๋ณต์ํฉ๋๋ค. ์๋ณธ ๊ด์ธก์ ์๋ ์ธก์ ๊ฐ์ ๋ง๋ค์ง๋ ์์ต๋๋ค. ์์ง ํ๊ณ๋ฅผ ์ฐธ๊ณ ํ์ญ์์ค.
์ด๋ฏธ์ง ZIP ํ์ผ๋ช
์ ๊ธฐ์กด ์ด๋ฆ ์์ ๋๊ดํธ๋ก ๊ฐ์ผ ์คํ ์ด๋ฆ์ ๋ถ์
๋๋ค. ๊ฐ๋ณ ๊ฒฐ๊ณผ๋ [ER ์คํ]-<run-id>-images.zip, ๋ฐฐ์น ํ๊ท ์ [ER ์คํ]-<batch-id>-batch-mean-images.zip ํ์์
๋๋ค. Unicode ์ด๋ฆ์ ์ ์งํ๊ณ ํ์ผ๋ช
์ ์ฌ์ฉํ ์ ์๋ ๋ฌธ์๋ ์นํํ๋ฉฐ ๊ธด ์ ๋์ฌ๋ ์ค์
๋๋ค. ์ด๋ฆ์ด ์์ผ๋ฉด ๊ฒฐ๊ณผ ID๋ฅผ ์ฌ์ฉํฉ๋๋ค. ZIP ์์ ํ์ผ๋ช
์ ๊ธฐ์กด Runยท๋ฐฐ์น ์๋ณ์๋ฅผ ์ ์งํฉ๋๋ค.
- ๊ธฐ์กด v3 ์ง์ฐ CDFยทํ์คํ ๊ทธ๋จ, ๋ฉ์์ง ํ๋, Peer ์ ์, lifecycle.
- GossipSubยทKademliaยทTransport๋ณ ํ๊ท ์ฐจ์, v2์ ๋น์ ๋ถ๋ชจ ์ฐจ์, ์ง๊ฒฝยทํ๊ท ์ต๋จ ๊ฒฝ๋ก, clustering, betweennessยทPageRankยทdegreeยทclosenessยทeigenvector ์ค์ฌ์ฑ, assortativity, modularity, ์ฐ๊ฒฐ๋ ๋ ธ๋ ์์ ๋น์จ์ ๋ณ๋ ์ด๋ฏธ์ง๋ก ํ์.
- ์ ์ฒด ๊ทธ๋ฃน GossipSub ์ฐจ์ ํ๋ฅ ยท๋์ ๋ถํฌ์ ๊ฐ์ค Student-t ์ ํฉ. ์ด ์ฐจํธ๋ GossipSub ๋ถ๋ฅ์ ํ์.
- ์ ํยท์ค๋ณต ๋์ ๊ณก์ , ์ ํยท๋ก๊ทธ ์๊ฐ ์ถ๊ณผ ๋ณตํฉ ํจ๋, hop ํ๋ฅ ยท๋์ ๋ถํฌ, ๋ฉ์์ง๋ณ FRTยทreachabilityยทDRC, eager/lazy ์ถ์ ๊ณผ ๋ฏธํ์ธ ๊ฒฝ๋ก.
- IHAVE/IWANT ๋ฑ์ RPC ์, control entry ์, message-ID ์ฐธ์กฐ ์, GRAFT/PRUNE ์ ์ด์ reciprocal ๋ ผ๋ฆฌ ๊ฐ์ ์.
- ์ ์ฒดยทํ๋กํ ์ฝ๋ณ ์ก์์ kbit/s์ ๋์ KiB. ๋์ญํญ์ libp2p ์คํธ๋ฆผ ์ฌ์ฉ๋์ด๋ฉฐ ํ์ ์ฉ๋, IP/TCP ํค๋ยท์ฌ์ ์กยท๊ด๋ฆฌ API ํธ๋ํฝ์ ํฌํจํ์ง ์์ต๋๋ค.
Advanced analysis๋ฅผ ํผ์ณ ๋ฉ์์ง๋ฅผ ์ ํํ๊ณ Message images๋ฅผ ๋๋ฅด๋ฉด ํด๋น ๋ฉ์์ง์ ์ง์ฐ CDF, hop ๋ถํฌ, ์ค๋ณต ๋์ ๊ณก์ , ์ต์ด ์์ ๊ฒฝ๋ก๋ฅผ ๋ง๋ญ๋๋ค. ๊ฐ์ ์์ญ์ ๋ฐ๋ณต Run๊ณผ v2 ๋น๊ต ๊ธฐ๋ฅ๋ ์์ต๋๋ค. ์ ์ฒด ๋ ธ๋ IDยท๋ถ๋ชจยท์๊ฐยท๋ชจ์ง๋จ์ ๋ถ์ JSON์ ์์ผ๋ฉฐ ๊ทผ๊ฑฐ ๋ถ์กฑ๊ณผ ์ ์๋์ง ์๋ ํต๊ณ๋ N/A ์ด๋ฏธ์ง๋ก ํ์ํฉ๋๋ค.
Run experiment โ Runs๋ฅผ 2 ์ด์์ผ๋ก ์คํํ๋ฉด Saved results์์ ๋์ผ batchId๋ฅผ ๊ธฐ๋ณธ์ผ๋ก ์ ํ ์๋ฆฌ์ฆ ํ๋๋ก ๋ฌถ์ต๋๋ค. ํค๋๋ฅผ ํผ์น๋ฉด ๊ฐ๋ณ Run m of n ํ์ Imagesยท๋ค์ด๋ก๋ยท์ญ์ ๋ฅผ ๊ฐ๊ฐ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ชฉ๋ก ๊ฐฑ์ ์ ํผ์นจ ์ํ๋ฅผ ์ ์งํ๋ฉฐ ํ์ด์ง๋ฅผ ์๋ก ๋ก๋ํ๋ฉด ๋ค์ ์ ํ ์ํ๋ก ์์ํฉ๋๋ค.
์๋ฆฌ์ฆ ํค๋์ More โ Delete batch์ ๋๋ฅด๋ฉด ์ ์ฅ๋ run ์๋ฅผ ๋ณด์ฌ์ฃผ๋ ํ์ธ์ฐฝ์ด ์ด๋ฆฝ๋๋ค. ํ์ธํ๋ฉด ์คํจยท์ทจ์ run๊ณผ ๊ฐ๋ณ ๋ถ์์ ํฌํจํ ํด๋น ๋ฐฐ์น์ ๋ชจ๋ ์ ์ฅ run ๋ฐ ํตํฉ ํ๊ท ๋ถ์์ ์๊ตฌ ์ญ์ ํฉ๋๋ค. ๊ทธ๋ฃน์ ์ ์ ์ํ์์๋ ์ฌ์ฉํ ์ ์์ต๋๋ค. ํ์ฑ ๋ฐฐ์น์ ๋ค์ด๋ก๋ ์ค์ธ ๊ตฌ์ฑ์์ ๋ณดํธํ๋ฉฐ, ์๋๋ฆฌ์ค ์ด๋ฆ์ด ๊ฐ์ ๋ค๋ฅธ ๊ทธ๋ฃน์๋ ์ํฅ์ ์ฃผ์ง ์์ต๋๋ค.
๋ฐฐ์น์ ๋ชจ๋ run์ด ์ ์งํ ๋ค ์๋ฆฌ์ฆ ํค๋์ Analyze batch mean์ ๋๋ฅด๋ฉด ๋์ผ batchId์ ์๋ฃ run์ ํตํฉํฉ๋๋ค. ์ด ๋ถ์ ๋ฒํผ์ ๊ทธ๋ฃน์ ์ ์ด๋ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์๋๋ฆฌ์ค ์ด๋ฆ์ด ๊ฐ์๋ ๋ค๋ฅธ ์คํ ์ ์ถ์ด๋ฉด ํฉ์น์ง ์์ต๋๋ค. ์๋ฃ run์ด ์ต์ 2๊ฐ ํ์ํ๋ฉฐ ์คํจยท์ทจ์ยท์ค๋จ run์ ์ ์ธํ๊ณ , ๋๋ฝ๋๊ฑฐ๋ ์ฝ์ ์ ์๋ run์ ์์ฒญํ ๋ฐ๋ณต ์์์ ์ฐจ์ด๋ก ํ์ํฉ๋๋ค. ์๋ฆฌ์ฆ ํค๋์ ์๋ฃ ํ๋ฉด์์ ํฌํจ ์๋ฅผ ํ์ธํ ์ ์์ต๋๋ค. ์๋ฃ๋์ง๋ง ๊ด์ธก ์์ ์ด 0๊ฑด์ธ run๋ ๋์์ ๋จ์ต๋๋ค.
์๋ฒ๋ ์๋ฃ run์ ์ ์ฅ ์๋ณธ์ ๊ฐ๊ฐ ํด์๋ก ํ์ธํ๊ณ ๊ฐ๋ณ ๋ถ์๊ณผ ์ ํ๋ ์์ ํ๋ฅผ ๊ณต์ ํฉ๋๋ค. ๋ฐฐ์น ํด์๊ฐ ๊ฐ์ผ๋ฉด ํต๊ณ๋ฅผ ์ฌ์ฌ์ฉํ๋ฉฐ ์๋ณธ ๋ด์ฉยท๊ตฌ์ฑ์ยท์๋ ๊ฒฐ๊ณผ๊ฐ ๋ฌ๋ผ์ง๋ฉด ๊ณ์ฐํฉ๋๋ค. ์๋ก ๋ค๋ฅธ run์ ๋ฉ์์งยท๋ ธ๋ ID๋ฅผ ํฉ์น๊ฑฐ๋ ๊ฐ๋ณ ๋ถ์ ํ์ผ์ ๋ฎ์ด์ฐ์ง ์์ต๋๋ค. ์ฐฝ์ด๋ ๋ธ๋ผ์ฐ์ ๋ฅผ ๋ซ์๋ ์์ ์ ๊ณ์๋๋ฉฐ ์๋ฆฌ์ฆ ํค๋์ ๋ถ์ ๋ฒํผ์ผ๋ก ๋ค์ ์ด์ด ์งํ ์ํฉ๊ณผ ๊ฒฐ๊ณผ๋ฅผ ํ์ธํฉ๋๋ค. Reanalyze๋ ๋ฐฐ์น๋ฅผ ๊ฐ์ ๋ก ๋ค์ ๊ณ์ฐํฉ๋๋ค. ์ ํ๋ run์ ๋ก๊ทธ๊ฐ ์๋ชป๋๋ฉด ํด๋น run์ ์กฐ์ฉํ ๋นผ์ง ์๊ณ ๊ณ์ฐ ์คํจ๋ก ํ์ํฉ๋๋ค. ์ ํจํ ๋ฉ์ธ ์งํ์ ์ธก์ ์ ์๊ฐ ์๋ก ๋ค๋ฅธ ๊ฒฝ์ฐ์๋ ๋ค๋ฅธ ๋ชจ์ง๋จ์ ์์ด ํ๊ท ํ์ง ์๊ณ ์คํจ๋ก ์๋ฆฝ๋๋ค.
Mean metrics and contributing run counts์์ ์งํ๋ณ ์ฐ์ ํ๊ท , run ๊ฐ ํ๋ณธ ํ์คํธ์ฐจ์ ์ ํจ run ์๋ฅผ ํ์ธํฉ๋๋ค. ๊ฐ ์ ํจ run์ ๋ฉ์์งยทํ๋ณธ ์์ ๋ฌด๊ดํ๊ฒ ๊ฐ์ ๊ฐ์ค์น๋ฅผ ๊ฐ์ต๋๋ค. ์ ์๋์ง ์๋ ๊ฐ์ 0์ผ๋ก ๋ฐ๊พธ์ง ์๊ณ ์ ์ธํฉ๋๋ค. P95๋ ๊ฐ run์ P95๋ฅผ ํ๊ท ํ ๊ฐ์ด๋ฉฐ ์ ์ฒด ์์ ํ๋ณธ์ ํฉ์ณ ๊ณ์ฐํ ๋ฐฑ๋ถ์๊ฐ ์๋๋๋ค. ์ก์์ ๋ฐ์ดํธ์ ์ฒ๋ฆฌ์จ์ ์ค์ ์์ง๋ libp2p ๋์ญํญ ๊ทผ๊ฑฐ๋ฅผ ์ฌ์ฉํฉ๋๋ค.
๊ทธ๋ํยท์ ์ยท๋ฉ์์ง ํ๋ยท์ ํยทcontrolยท๋์ญํญ ๊ฐ์ ์ด๋ฏธ์ง๋ฅผ ํ๊ท ์ฐจํธ๋ก ์ ๊ณตํฉ๋๋ค. ์๊ณ์ด์ run ์์ ์์ ์ ๊ธฐ์ค์ผ๋ก ์ ๋ ฌํ๊ณ ์ ํ ์ฐจํธ๋ ๊ด์ธก ๊ตฌ๊ฐ ์์์ ๋ณด๊ฐํ๋ฉฐ ๊ณ๋จํ ์ฐจํธ๋ ๊ธฐ๋ก ๊ตฌ๊ฐ ์์์ ๊ฐ์ ์ ์งํฉ๋๋ค. ๊ด์ธก ๊ณต๋ฐฑ์ด๋ ๋ง์ง๋ง ๊ด์ธก ์ดํ ๊ตฌ๊ฐ์ ์ ์ธํ๋ฏ๋ก ์ ๋ณ n์ ๋ฌ๋ผ์ง ์ ์์ต๋๋ค. ์ ํยท๊ณ๋จํ ํ์ ๊ฒฉ์๋ ์ต๋ 720์ ์
๋๋ค. CDF๋ ๊ณตํต ์ถ์์ run๋ณ ๋ถํฌ๋ฅผ ํ๊ท ํ๊ณ ์ด์ฐ๋ถํฌ๋ ์ ์ฒด ์ง์ง์งํฉ์ ์ ์งํฉ๋๋ค. ์ง์ฐ ํ์คํ ๊ทธ๋จ์ ๊ณตํต 30๊ฐ bin์ ์ฌ์ฉํ๋ฉฐ ์๋ bin ๋ด๋ถ๋ฅผ ๊ท ๋ฑ ๋ฐฐ๋ถํ๋ฏ๋ก ๊ฑด์๋ ๋ณด์กดํ์ง๋ง bin ๋ด๋ถ ์์น๋ ๊ทผ์ฌ์
๋๋ค. ์ ํฉ ๋ฐ๋๋ run๋ณ ๊ณก์ ์ ํ๊ท ํ๋ฉฐ ํฉ์น ํ๋ณธ์ผ๋ก ์ฌ์ ํฉํ์ง ์์ต๋๋ค. ๊ฐ๋ณ ๋ฉ์์ง ํธ๋ฆฌ๋ ๊ฐ run์ Images์์ ํ์ธํฉ๋๋ค.
PNG/CSV ZIP์๋ ํ๊ท ์ฐจํธ ์ ์, ํฌํจยท์ ์ธ run ์ ๋ณด์ ์ ์ฒด ์์ฝ ํ๊ท ยทํ๋ณธ SDยท์ ํจ ์๋ฅผ ๋ด์ *-summary.csv๊ฐ ๋ค์ด๊ฐ๋๋ค. ์ฐจํธ CSV์ n์ ๊ฐ ์ ์ ๊ธฐ์ฌํ run ์์
๋๋ค. Download analysis JSON์๋ ์๋ฒ์ ๋ณด์กดํ ํ๊ท ๊ณผ ๊ฐ์ ์ฌํ์ฉ run๋ณ ๊ฒฝ๋ ์
๋ ฅ์ด ํฌํจ๋๋ฉฐ ์ ์ฒด ๋ฉ์์งยท๋
ธ๋ ๊ฒฝ๋ก๋ ๊ฐ๋ณ ๋ถ์ JSON์ ๋จ์ต๋๋ค. PNG ๋ณํ๊ณผ ๊ณก์ ํ๊ท ํ๋ ์๋ฒ ๊ณ์ฐ ์๋ฃ ํ ๋ธ๋ผ์ฐ์ ์์ ์ํํฉ๋๋ค.
- Load saved results๋ฅผ ๋๋ฅด๊ณ ๊ฒฐ๊ณผ๋ฅผ ์ ํํฉ๋๋ค. Series๋ ๋น๊ต ์ง๋จ, Case๋ ๋์ผ ์กฐ๊ฑด์ ๋๋ค. ๋์ผ Series/Case๋ง ๋ฐ๋ณต ์คํ์ผ๋ก ๋ฌถ์ต๋๋ค. ์คํจํ ์ ๋ฌ์ด๋ ๋ฎ์ ๋๋ฌ๋ฅ ํ๋ณธ์ ์๋ ์ ์ธํ์ง ์์ต๋๋ค.
- MetricยทX axisยทScatter color๋ฅผ ๊ณ ๋ฆ ๋๋ค. Baseline series๋ ๊ฐ์ Case๋ผ๋ฆฌ์ ๊ธฐ์ค ์ง๋จ, Reference case๋ ํ์ดํ์ D ํ๋ผ๋ฏธํฐ ๋ณํ์ ๊ธฐ์ค ์กฐ๊ฑด์ ๋๋ค. ์๋ตํ๋ฉด ์ฒซ ์ง๋จ/์กฐ๊ฑด์ ์ฌ์ฉํฉ๋๋ค.
- ๋ชจ๋ธ์ด ํ์ํ๋ฉด Parameters์
i=1,f=0.5,p=90๋๋dLow=4,d=8,dHigh=12๋ฅผ ์ ๋ ฅํฉ๋๋ค.i1-f0.5-p90,4-8-12ํํ์ Case์์๋ ์๋์ผ๋ก ์ฝ์ต๋๋ค. ์ผ๋ฐ ์คํ ์ด๋ฆ์์ ๊ฐ์ ์ถ์ธกํ์ง ์์ต๋๋ค. p๋ ๋ฐฑ๋ถ์จ์ ๋๋ค. - Compare selected runs๋ฅผ ๋๋ฆ ๋๋ค. ์ ํ๋ ์๋ฒ ๋ถ์์ ์ฐฝ์ ๋ซ์๋ ๊ณ์๋ฉ๋๋ค. ๋ค์ ๋น๊ตํ ๋ ์๋ฃ ์บ์๋ฅผ ์ฌ์ฉํฉ๋๋ค.
์ ์ฅ ๋ชฉ๋ก์ ๋ค์ ๋ถ๋ฌ์ค๊ฑฐ๋ ์ฐฝ์ ๋ซ์ผ๋ฉด ์ด์ ๋ธ๋ผ์ฐ์ ์์ ์ ์ทจ์ํฉ๋๋ค. ์ทจ์ํ ์์ ์ ๋ฆ์ ์๋ต์ ํ์ฌ ์ ํ์ด๋ ์ด๋ฏธ์ง๋ฅผ ๋ฎ์ด์ฐ๊ฑฐ๋ ์ถ๊ฐ ๋ถ์ ์์ฒญ์ ๋ณด๋ด์ง ์์ต๋๋ค. ์ด๋ฏธ ์ ์๋ ์๋ฒ ์์ ์ ๊ณ์ ์คํ๋ฉ๋๋ค.
์์ฑ ํญ๋ชฉ์ ๋ฐ๋ณต ํ๊ท ยทํ๋ณธ SD ์์, ์ฐจ์ด/target/(target+baseline)/๋น์จ, ๋ฒ์ฉ ์ฐ์ ๋, FRTโDRC์ ๋๋ฌ๋ฅ ์์, ๊ธฐ์ค์ ํ์ดํ, 2๋ชฉ์ /3๋ชฉ์ Pareto, ๊ฐ์ค ์ ์, i/f ๊ทธ๋ฃน ๊ทธ๋ฆผ, lazy ๊ธฐ์ฌ ์ถ์ , v2์ ์ค๋ณต ํ๊ท์ 4๊ฐ, Student-t ํ๋ผ๋ฏธํฐ์ ๋จ๋ณ๋ยท๋ค๋ณ๋ ์ด์ฐจ ํ๊ท, ๊ด์ธกยท์ ํฉยท์์ธก ๋น๊ต ๋ฐ ๊ณก์ overlay์
๋๋ค. Degree predictions์๋ Dlow,D,Dhigh๋ฅผ ํ ์ค์ฉ ์
๋ ฅํ์ฌ ๋ชจ๋ธ ๋ถํฌ๋ฅผ ๋ง๋ญ๋๋ค.
๋ฐ๋ณต 1ํ์๋ ํ๋ณธ SD๊ฐ ์์ต๋๋ค. ๋น๊ต ์ค์ฐจ๋ ๋ ๋ฆฝ ํ๋ณธ์ 1์ฐจ ์ค์ฐจ ์ ํ์ด๊ณ , ๊ฐ์ ์ ๋ ฅ ์์ฒด๋ฅผ ๋น๊ตํ๋ฉด ์ค์ฐจ๊ฐ 0์ ๋๋ค. ํ๊ท๋ case ํ๊ท ์ ์ ํฉํ๋ฉฐ ๋ ๋ฆฝ ํ๋ผ๋ฏธํฐ๊ฐ ๋ถ์กฑํ๋ฉด ๊ณ์๋ฅผ ๋ง๋ค์ง ์์ต๋๋ค. Rยฒ๋ ํ์ต ์๋ฃ ๋ด ์ ํฉ๋์ ๋๋ค. ๊ฐ์ค ์ ์๋ ์ ํ ์งํฉ์ minโmax ๊ฐ์ ์์กดํ๊ณ , ๋ณํ ์๋ ์ฐจ์์ 0.5๋ก ๋ก๋๋ค. Lazy ๊ธฐ์ฌ ์ถ์ ์๋ ๋์ผ ์กฐ๊ฑด์ lazy-off ๊ธฐ์ค ์ง๋จ์ ์ฌ์ฉํด์ผ ํฉ๋๋ค. ๋๋ฌ๋ฅ ์ฐจ์ด๋ฅผ ์ด์ฉํ ๊ด์ธก์ ์ถ์ ์ด๋ฉฐ ์ธ๊ณผ ํจ๊ณผ๋ก ๋จ์ ํ์ง ์์ต๋๋ค.
์ ์ ๊ฐ์ค์น๋ ์ ํํ ์์ด ์๋ ๊ฐ์ด์ด์ผ ํ๋ฉฐ ๋ชจ๋ 0์ผ ์ ์์ต๋๋ค. ์ ๋๊ฐ์ด ๋งค์ฐ ํฌ๊ฑฐ๋ ์์๋ ์ ์์๋ ๊ฐ์ค์น์ ๋น์จ๋ง ์ํฅ์ ์ค๋๋ค.
Import์์ v2 metrics.jsonl, ์ ํ tree JSON/JSONL, ์ค๋ณต ์๊ฐ map, x_case/y/yerrยทx/y JSON, ์ซ์ CSV, v3 ๋ถ์ JSON์ ์ฝ์ต๋๋ค. ํ์ผ๋น ์ต๋ 32MiB์ด๋ฉฐ ๋ธ๋ผ์ฐ์ ์์์ ์ฒ๋ฆฌํฉ๋๋ค. x_case/y/yerr๋ฅผ ์ฝ๊ธฐ ์ ์ ํด๋น Metric์ ์ ํํ์ญ์์ค. CSV overlay๋ ๋จ์๊ฐ ๊ฐ์ ํ์ผ๋ผ๋ฆฌ ์ฌ์ฉํฉ๋๋ค. ๋ช
์์ ์ธ ๋จ์ ์ด ์๋ ๊ณก์ ์ ์ฐจํธ CSV์๋ true/false ๊ฐ์ break_before ์ด์ ํฌํจํฉ๋๋ค. Import๋ ์ด ๋จ์ ์ ์ ์งํ๊ณ ๋น y ๊ฐ์ ์๋ณธยทpeak ์ ๊ทํ overlay ๋ชจ๋์์ ๊ฒฐ์ธก ํ๋ณธ์ผ๋ก ์ฒ๋ฆฌํฉ๋๋ค. Peak-normalized overlay๋ ๊ฐ ๊ณก์ ๊ณผ ์ ๊ณต๋ ์ค์ฐจ ๋ฒ์๋ฅผ ๊ทธ ๊ณก์ ์ ์์ ์ต๋๊ฐ์ผ๋ก ํจ๊ป ๋๋๋๋ค. ์์ ์ต๋๊ฐ์ด ์๋ ๊ณก์ ์ ์ ๊ทํ ๊ฐ์ ํ์ํ์ง ์์ต๋๋ค. ์ด ๊ฐ์ ์๋ ํ๋ฅ /ํ์๊ฐ ์๋๋๋ค. v2 historical / ER references๋ v2 ์ฝ๋์ ๋ค์ด ์๋ ๊ณ ์ ์ฐธ๊ณ ์๋ฃ์ด๋ฉฐ ์ ํํ ์คํ์ ๊ด์ธก๊ฐ์ด ์๋๋๋ค.
v2 ์ซ์ ์๋ฃ๋ ์ ํํ ์ซ์์ ์ซ์ ๋ฌธ์์ด์ ํ์ฉํ๋ฉฐ boolean๊ณผ ๋ฐฐ์ด์ ์ธก์ ๊ฐ์ผ๋ก ๋ฐ๊พธ์ง ์์ต๋๋ค. x/y ๊ธฐ๋ก์ ๋ด์ JSONL ํ์ผ์ ๋ชจ๋ ๊ธฐ๋ก์ ์๋ก ๋ค๋ฅธ ์๋ณธ ์๋ณ์์ ๊ณก์ ์ด๋ฆ์ผ๋ก ๊ฐ์ ธ์ต๋๋ค. ๋์ผํ Series/Case๋ ๊ณ์ ๋ฐ๋ณต ์คํ์ผ๋ก ๋ฌถ์ต๋๋ค. ํ ํ์ผ ์์ x/y ๊ธฐ๋ก๊ณผ ๋ค๋ฅธ JSON ๊ตฌ์กฐ๋ฅผ ์์ผ๋ฉด ์ผ๋ถ ๊ธฐ๋ก์ด ์กฐ์ฉํ ๋๋ฝ๋์ง ์๋๋ก ๊ฐ์ ธ์ค๊ธฐ๋ฅผ ๊ฑฐ๋ถํฉ๋๋ค.
๊ฐ์ ์ด๋ฆ์ ๋ฉ์ธ Metrics์ ์ถ๊ฐ research ๊ฐ์ ๋ชจ์ง๋จยท๊ธฐ๊ฐยท์ง๊ณ๊ฐ ๋ค๋ฆ
๋๋ค. ํนํ ์ฐ๊ตฌ reachability๋ ์์ ๊ด์ธก ์๊ฐ์ ์กฐ๊ฑด๋ถ์ด๊ณ , raw ๋ฉ์์ง๋ ์๊ฐ ๊ทผ๊ฑฐ๊ฐ ์์ผ๋ฉด ์ฐ๊ตฌ์ฉ ๋ก๊ทธ ์ง์ฐ ์ถ์ ์ด ๋์ฌ ์ ์์ต๋๋ค. ์ ์ฅ ๊ฒฐ๊ณผ ์ฐ๊ตฌ ์งํ์์ ์ ์ยท๋จ์ยทํ๋ณธยท๊ทธ๋ํ ์ ๊ทํ๋ฅผ ํ์ธํ์ญ์์ค. ์๋ก ๋ค๋ฅธ ์ ์์ ๊ฒฐ๊ณผ๋ฅผ ๋์ผ Series/Case ๋ฐ๋ณต์ผ๋ก ๋ฌถ์ง ๋ง์ญ์์ค. ๊ฐ์ ธ์จ v2 ๊ฐ์ ์๋ ์ ์๋ฅผ ์ ์งํ๋ฉฐ ์๋ ๋ณํ๋์ง ์์ต๋๋ค.
Eager Push/Lazy Pull ์์๊ณผ ๊ธฐ์ฌ ๊ฐ์ ๋ฉํ์ ๋ณด ์ถ์ ์ ๋๋ค. ๋ถ๋ฅ๋ eager/lazy๊ฐ 0์ด์ด๋ unknown ์์ ์ด ๋จ์ ์ ์์ผ๋ฏ๋ก ๋ฏธ๋ถ๋ฅ ์๋ฅผ ํจ๊ป ํ์ธํ์ญ์์ค. ์ถ์ ๊ท์น์ ๋ฉ์์ง IDยทGRAFTยทIHAVEยทIWANT์ ์ฌ์ฉ๊ณผ ๊ทผ๊ฑฐ ์ถฉ๋์ ์ค๋ช ํฉ๋๋ค. ์์ธ Peer ๋ก๊ทธ๋ ์ค์ ์์ง ํ๋์ ์๋ต ํ๋๋ฅผ ์ ์ํฉ๋๋ค.
๊ณผ๊ฑฐ ๊ธฐ๋ก์ ์๋ ๋ฉ์์ง IDยท๊ทธ๋ํ ๊ฐ์ ยท์ธ์ ์ฆ๊ฑฐ๋ ์ฌ๋ถ์์ผ๋ก ๋ณต์๋์ง ์์ต๋๋ค. ํ์ฌ ์ด๋ฏธ์ง๋ฅผ ControllerยทAgent์ ๋ฐฐํฌํ๊ณ ์ Peer๋ก ์คํํ๋ฉด ํด๋น ๋ฒ์ ์ ๋ก๊ทธ๋ฅผ ์์งํฉ๋๋ค. Swarm ์ ๋ฐ์ดํธ๋ฅผ ๋ฐ๋ฅด์ญ์์ค. ํ์ฌ ๊ตฌํ์ upstream libp2p์ ๊ด์ธก๊ฐ์ ์ฌ์ฉํ๋ฉฐ ๋ณ๋ Python ์คํ ํ๊ฒฝ์ด๋ ์ด๋ฏธ์ง ์์ฑ ์๋น์ค๋ ํ์ํ์ง ์์ต๋๋ค.
๋ฐฑ๊ทธ๋ผ์ด๋ ๋ถ์ API๋ ์์ ์ํยท๋ฒ์ ยท์๋ณธ snapshot ์์ ๊ณผ ์ ์ฒด/๊ฒฝ๋ ์๋ต์ ์ ์ํฉ๋๋ค. ์๋ณธ ๊ฒฝ๊ณ๋ ๋๊ธฐ์ด ์ ์ ์์ ์ด ์๋๋ผ ํด๋น ์์ ์ด ๊ณ์ฐ ์ฌ๋กฏ์ ์ป์ ๋ค ์กํ๋๋ค. ์๋ฃ ์์ ์ ์ด ๊ฒฝ๊ณ๋ฅผ ์ ์งํ๋ฏ๋ก ๋์ค์ ๋์ฐฉํ ๋ก๊ทธ๋ฅผ ํฌํจํ๋ ค๋ฉด Reanalyze์ ์ฌ์ฉํ์ญ์์ค.
์๋ฒ๋ ์๋ฃ ๋ถ์ JSON์ ๋ณด์กดํ๊ณ , PNGยทCSVยท๋น๊ต ZIP์ ์ฐฝ์ ์ด์์ ๋ ๋ธ๋ผ์ฐ์ ์์ ์์ฑํฉ๋๋ค. Download results์ ์๋ณธ ZIP๊ณผ ์ด ํ๋ฉด์ Download analysis JSON, ์ฐจํธ์ Download ZIP์ ์๋ก ๋ค๋ฅธ ํ์ผ์ ๋๋ค. ํ์ผ๋ณ ๊ตฌ์ฑยท๋ณด์กด ๋ฒ์๋ ๋ถ์ ํ์ผ๊ณผ ์ด๋ฏธ์ง ๋ณด์กด์ ์ฐธ๊ณ ํ์ญ์์ค.