フィルタプログラムは粒子生成の並列処理を目的としてストレージ上のボリュームデータを領域分割するプログラムであり、PBVRとは独立な前処理プログラムである。 領域分割モデルには8分木を採用し、フィルタ処理後に分割されたサブボリュームデータをファイルとして出力する。

実行コマンド(filter)直後にパラメータを記述したパラメータファイル名(任意)を指定することによりパラメータが読みとられ実行される。 パラメータファイル名が指定されない場合や、存在しないファイル名を指定した場合はエラーとなり正しく起動されない。

(MPI + OpenMPでの起動方法、Nにプロセス並列数を入力する)
$ mpiexec -n N filter param.txt

(OpenMPのみでの起動方法)
$ filter param.txt

上記のどちらの場合もOpenMPスレッド数は環境変数OMP_NUM_THREADSで指定する。

VTK用フィルタを起動するには、環境に合わせた環境変数の設定が必要になる。

• Linux
  以下のように環境変数を設定する。

export LD_LIBRARY_PATH=${VTK_LIB_PATH}:$LD_LIBRARY_PATH

• Mac
  以下のように環境変数を設定する。

export DYLD_LIBRARY_PATH=${VTK_LIB_PATH}:$DYLD_LIBRARY_PATH

• Windows
  [コントロールパネル]->[システム]->[詳細設定]->[環境変数]に移動し、以下の環境変数を設定する。

値はVTKのインストールディレクトリ配下のbinディレクトリを指定する。

フィルタの入出力ファイル形式に関して以降に示す。 なお、出力されるファイルの中でバイナリ形式のファイルは全てヘッダ、フッタなしの単精度であり、リトルエンディアンに統一されている。 ファイル形式としては下図に示すSPLIT形式(別名KVSML形式)、サブボリューム集約形式、ステップ集約形式の3種類が利用可能である。 SPLIT形式では全てのステップ・サブボリューム毎に独立なファイルを生成する。 しかしながら、この方式では8分木の階層が増大するとファイル数が爆発的に増大するためサブボリューム毎に時間方向にファイルを集約するサブボリューム集約形式、および、ステップ毎に空間方向にファイルを集約するステップ集約形式を利用可能とした。 ファイル形式の詳細を以下で説明する。

フィルタプログラムで処理できる入力データは以下の通り。

1. AVSFLDバイナリデータ※1
2. AVSUCDアスキー・バイナリデータ※1
3. STLバイナリデータ※2
4. PLOT3Dバイナリデータ※3
5. VTK Legacyバイナリデータ※4

※1. AVSのデータフォーマットの詳細についてはWebサイトを参照。 AVSUCDデータはdata形式のみで、geom形式、data_geom形式は未対応。 要素タイプは2次元要素、3次元要素に対応しており、混合要素も利用可能。
※2. STLデータフォーマットの詳細についてはWebサイト等を参照。
※3. PLOT3Dデータフォーマットの詳細についてはWebサイト等を参照。
※4. VTKデータフォーマットの詳細についてはWebサイト等を参照。VTK Structured Points、VTK Structured Grid、VTK Rectilinear Grid、VTK Unstructured Grid、およびVTK Polygon Dataを利用可能。

フィルタプログラムで扱うバイナリファイルは、リトルエンディアンに統一されている。 リトルエンディアンのマシン上ではエンディアンに関して特別な処理は必要ないが、ビックエンディアンのマシンだは可視化データをリトルエンディアンで出力する、あるいはリトルエンディアンに変換した上でフィルタプログラムを実行する必要がある。

フィルタプログラムは、サブボリュームファイルとそれらのメタデータを記載するpfiファイルを出力する。pfiファイルはバイナリ形式であり、下記の情報から構成されている。

• 全ノード数 (int)
• 全要素数 (int)
• 要素タイプ (int)※1
• ファイルタイプ (int)※2
• ファイル数 (int)※3
• 成分数 (int)
• 開始ステップ (int)
• 最終ステップ (int)
• サブボリューム数 (int)※4
• 全体 3次元空間 X 軸最小値 (float)
• 全体 3次元空間 Y 軸最小値 (float)
• 全体 3次元空間 Z 軸最小値 (float)
• 全体 3次元空間 X 軸最大値 (float)
• 全体 3次元空間 Y 軸最大値 (float)
• 全体 3次元空間 Z 軸最大値 (float)
• サブボリューム 1 ノード数 (int)
• サブボリューム 2 ノード数 (int)
• サブボリューム 3 ノード数 (int)
• サブボリューム n ノード数 (int)
• サブボリューム 1 要素数 (int)
• サブボリューム 2 要素数 (int)
• サブボリューム 3 要素数 (int)
• サブボリューム n 要素数 (int)
• サブボリューム 1 X 軸最小値 (float)
• サブボリューム 1 Y 軸最小値 (float)
• サブボリューム 1 Z 軸最小値 (float)
• サブボリューム 1 X 軸最大値 (float)
• サブボリューム 1 Y 軸最大値 (float)
• サブボリューム 1 Z 軸最大値 (float)
• サブボリューム 2 X 軸最小値 (float)
• サブボリューム 2 Y 軸最小値 (float)
• サブボリューム 2 Z 軸最小値 (float)
• サブボリューム 2 X 軸最大値 (float)
• サブボリューム 2 Y 軸最大値 (float)
• サブボリューム 2 Z 軸最大値 (float)
• サブボリューム n X 軸最小値 (float)
• サブボリューム n Y 軸最小値 (float)
• サブボリューム n Z 軸最小値 (float)
• サブボリューム n X 軸最大値 (float)
• サブボリューム n Y 軸最大値 (float)
• サブボリューム n Z 軸最大値 (float)
• ステップ 1 成分 1 最小値
• ステップ 1 成分 1 最大値
• ステップ 1 成分 2 最小値
• ステップ 1 成分 2 最大値
• ステップ 1 成分 N 最小値
• ステップ 1 成分 N 最大値
• ステップ m 成分 1 最小値
• ステップ m 成分 1 最大値
• ステップ m 成分 2 最小値
• ステップ m 成分 2 最大値
• ステップ m 成分 N 最小値
• ステップ m 成分 N 最大値

※1. 要素タイプの定義はこちらを参照。
※2. ファイルタイプは以下の3つの形式。

• 0 : SPLIT形式
• 1 : サブボリューム集約形式
• 2 : ステップ集約形式

※3. ファイルタイプが「サブボリューム集約形式」の場合のファイル総数を示す。
※4. サブボリューム数は$8^\texttt{n\_layer}$となる。

• n_layer=0 : 1個
• n_layer=1 : 8個
• n_layer=2 : 64個
• n_layer=3 : 512個
• n_layer=4 : 4,096個
• n_layer=5 : 32,768個
• n_layer=6 : 262,144個
• n_layer=7 : 2,097,152個

本フィルタプログラムにおいて、時系列ボリュームデータのメッシュは時間変化せず、物理値だけが時間変化することを前提としている。 そのため、メッシュに関する情報を格納する接続情報（四面体や六面体等のセルを構成する頂点インデックスの接続情報）ファイルおよび頂点座標ファイルはサブボリューム単位に分割される。 一方、時間変化する物理値に関するkvsmlファイルおよび成分ファイルは、サブボリューム単位、ステップ単位に分割される。 全ファイル数は、

サブボリューム数 * 2 + サブボリューム数 * ステップ数 * 2

となる。(例:n_layer=7&step=100: 423,624,704個)

• XXXXX : ステップ数(5桁数値)
• YYYYYYY : サブボリューム数(7桁数値)
• ZZZZZZZ : 全ボリューム数(5桁数値)

要素構成、ノード座標および全ステップの成分が、サブボリューム単位に分割される。 指定により複数サブボリューム情報を1ファイルに集約することも可能である。 全ファイル数は、最大でサブボリューム数となる。(n_layer=7 : 2,097,152個)

prefix_YYYYYYY_ZZZZZZZ.dat …… (バイナリ形式)

• prefix : 接頭辞
• ファイル番号(7桁数値)
• 全ファイル総数(7桁数値)

要素構成ファイルおよびノード座標ファイルは、それぞれ1つのファイルとなり(全サブボリュームの錠法を1つのファイルに集約)、成分ファイルはステップ単位に分割される。 全ファイル数はステップ数 + 2となる。

• prefix : 接頭辞
• XXXXX : ステップ数(5桁数値)

パラメータファイルは(AVSFLD/UCD、PLOT3D、STL用)フィルタ、および、VTK用フィルタで共通に使用されるアスキー形式のファイルである。 フィルタ実行時の引数としてファイル名を指定することにより、そのファイルが入力パラメータとして解釈され、パラメータがセットされる。

※1. ディレクトリ指定は、絶対・相対パスで指定が可能であるが、~(チルダ)での指定は不可。
※2. field_file、stl_binary、vtk_file、vtk_in_prefix(suffix)、ucd_inp、in_prefix(suffix)のどれ一つを指定すること。
※3.入力データが構造格子の場合は、3次元では6面体一次元要素(非構造格子)、2次元では4角形一次元要素(非構造格子)として出力される。
※4. nstep、ndim、dim1、dim2、dim3、veclen、coord[123]、variableに関するパラメータのみ参照。
※5. VTK Legacy形式については、5つのデータ形式(VTK Unstructured Grid、および、VTK Polygonal Data)をプログラムが自動判別する。
※6. 時系列データのみで指定すること。
※7. mpi_volume_divとmpi_step_divが指定された場合、その積とプロセス数が一致しない場合はエラーとなる。

PLOT3D設定ファイルによってPLOT3Dデータのファイル形式を記述する。 ここでusebytecountはFortranバイナリで1、Cバイナリで0を設定する。

MPI並列処理における分割数の決定方法を説明する。 以下では50ステップ * 8サブボリュームのデータ処理を考える。

1. ステップ分割軸優先

   • プロセス数がステップ数以下の時は、全ステップをプロセス数で分割する。例)8プロセスで起動する場合の各プロセスの担当領域は6ステップ * 8サブボリューム、もしくは7ステップ * 8サブボリュームとなる。
   • プロセス数がステップ数より大きい時は、フィルタ処理を行うプロセス数は、ステップ数の整数倍のプロセス数として、サブボリューム数側の分割も行う。例)128プロセスで起動する場合、50 * 2 = 100プロセス(余り28プロセス)の処理となり、各プロセスの担当領域は1ステップ * 4サブボリュームとなる。

2. サブボリューム分割軸優先

   • プロセス数がサブボリューム数以下の時は、全サブボリュームをプロセス数で分割する。例)8プロセスで起動する場合の各プロセスの担当領域は50ステップ * 1サブボリュームとなる。
   • プロセス数がサブボリュームより大きい時は、フィルタ処理を行うプロセス数は、サブボリューム数の整数倍のプロセス数とし、ステップ数側の分割も行う。 例) 128プロセスで起動する場合、8 * 16 = 128プロセス(余り0プロセス)の処理となり、各プロセスの担当領域は6ステップ*1サブボリューム、もしくし、7ステップ * 1サブボリュームとなる。

3. ユーザ指定分割

   • パラメータファイルによる指定では、分割数の積とプロセス数が一致しない場合はエラーとする。

スーパーコンピュータにおけるステージング環境での実行方法に関して記述する。 パラメータファイルの指定とファイル転送の指定に関しては整合性を図り、フィルタプログラムを起動する必要がある。 また、フィルタプログラムの出力形式によっては、複数プロセスから1つのファイルに出力を行う場合がある。 そのような場合には出力先を複数プロセスからアクセス可能な共有ディレクトリを指定する必要がある。

```
#!/bin/bash -x
#
#PJM --rsc-list "elapse=01:00:00"
#PJM --rsc-list "node=64"
#PJM --rsc-list "rscgrp=small"
#PJM --stg-transfiles all
#PJM --mpi "proc=64"
#PJM --mpi "use-rankdir"
#PJM --stgin  "rank=* ./filter             %r:./"		…………①
#PJM --stgin  "rank=* ./param.txt          %r:./" 		…………②
#PJM --stgin  "rank=0 /data/ucd/ucd*.dat    0:../"		…………③
#PJM --stgout "rank=* %r:../output*.dat        ./" 		…………④
#PJM --stgout "rank=* %r:./pbvr_filter.*      ./LOG/"	…………⑤
#PJM -S

. /work/system/Env_base

export PARALLEL=8
export OMP_NUM_THREADS=8

mpiexec -n 64 lpgparm -p 4MB -s 4MB -d 4MB -h 4MB -t 4MB filter param.txt　　………⑥
```

1. 実行モジュールを各プロセスのランクディレクトリに転送

2. パラメータファイルを各プロセスのランクディレクトリに転送

3. 入力データを共有ディレクトリに転送(パラメータファイル内で指定するファイル)

4. 出力データを共有ディレクトリからローカルディレクトリに転送

5. ログおよびエラーファイルをランクディレクトリからローカルディレクトリに転送

6. 各プロセスのランクディレクトリ内のパラメータファイルを引数として各プロセスのランクディレクトリ内の実行モジュールを起動。

   #
   in_dir=../			…………⑦
   field_file=pd3d.fld		
   out_prefix=case0			
   out_dir=./			…………⑧
   file_type=0			…………⑨
   n_layer=3
   start_step=0
   end_step=511
   

7. 入力データのパスを指定(ステーシング環境では相対パスによる指定、上記例では、共有ディレクトリから入力データを読み込む)

8. 出力データのパスを指定(ステージング環境では相対パスによる指定、上記例では、各プロセス内のランクディレクトリへ出力

9. ファイル出力形式の指定(上記例では、SPLIT形式)

ステージング環境におけるフィルタプログラムの入出力ファイルとディレクトリの関係を以下に示す。 入出力先を共有ディレクトリに指定した場合は問題ない(ログ&エラーファイルを除く)。 出力データに関しては、SPLIT形式のみランクディレクトリに出力可能である。 他のファイル形式ではデータ集約処理のため共有ディレクトリの使用が必要となる。

※1. パラメータファイルはランク0のみが入力
※2. 全プロセスのランクディレクトリに全入力ファイルの転送が可能な場合。
※3. 出力先はランクディレクトリに固定

複数要素タイプを含んだ非構造格子のボリュームデータの場合、フィルタプログラムでは、まず単一要素タイプ毎に分割したUCDバイナリデータを生成し、その後、その単一要素タイプのUCDバイナリデータをフィルタプログラムでサブボリューム分割をし、PBVRサーバの入力となるファイル出力を行う。
次に示すようにパラメータファイル内のパラメータ名「multi_element_type」に1を設定することにより、フィルタプログラムは要素タイプ毎に分割したサブボリューム分割ファイルの出力を行う。

#
in_dir=.
in_prefix=MULTI
in_suffix=.dat
out_dir=.
out_prefix=div
out_prefix=.dat
format=%03
start_step=1
end_step=20
multi_element_type=1

要素タイプ毎に出力されるファイルは、ファイル名の先頭に要素タイプの2桁のコードが付加されたファイル名となる。 以下に要素名と要素タイプコードの一覧を示す。

上記パラメータファイルで4面体一次元要素と4面体二次元要素から構成されるボリュームデータの場合には以下のような出力ファイル名となる。

↓分割