@techreport{oai:nuis.repo.nii.ac.jp:00003540,
 author = {板垣, 正敏 and ITAGAKI, Masatoshi},
 note = {当研究グループでは、須恵器および縄文土器の３次元スキャンデータを元にVoxel化を行ったデータを使用したマルチインプット・マルチタスク深層学習モデルや、クラスタリングを予定している。スキャンデータの解像度は0.5mm程度だが、須恵器及び縄文土器の細かな特徴を抽出するためには最低でも1.0mm程度の解像度が必要と思われ、入力データは1件あたり512MB、学習時の浮動小数点数では単精度で２GB、半精度でも1GB必要になる。こうした巨大なデータを用いた深層学習は通常使用される単一のGPUでは処理が不可能であるため、複数のGPUを用いた環境でのモデルの実装方法を検討するため、深層学習に必要なメモリの使用量の検討を行うとともに、クラウド環境（仮想CPU16個、主記憶60GB、16GBGPU×4基）と分散学習用ライブラリ（PyTorch, Accelerate, PyTorch Lightning）及びメモリ使用量削減のためのライブラリ（DeepSpeed, FairScale）を用いて実装方法の検討と実装可能な最大解像度の検証を行った。
その結果、既存のメモリ使用量削減ライブラリは、自然言語処理などモデルのパラメータ数が巨大になるモデルを対象にしたものであるのに対し、今回我々が扱うモデルはパラメータ数は小さいがデータ自体が巨大なものであるため、オプティマイザの状態やモデルパラメータ、勾配などのデータを分割するメモリ削減手法の効果は少なく、活性化関数の出力を保持せず必要の都度再計算を行う、アクティベーション・チェックポインティングの効果が大きいことが確認された。},
 title = {高解像度3D-CNNの実装検討},
 yomi = {イタガキ, マサトシ}
}