WEKO3
アイテム
{"_buckets": {"deposit": "2b4326d8-9b09-412d-95ef-7cc62c2e5dea"}, "_deposit": {"created_by": 10, "id": "3540", "owners": [10], "pid": {"revision_id": 0, "type": "depid", "value": "3540"}, "status": "published"}, "_oai": {"id": "oai:nuis.repo.nii.ac.jp:00003540", "sets": ["113"]}, "author_link": ["4008", "4010"], "item_9_description_7": {"attribute_name": "抄録", "attribute_value_mlt": [{"subitem_description": "当研究グループでは、須恵器および縄文土器の3次元スキャンデータを元にVoxel化を行ったデータを使用したマルチインプット・マルチタスク深層学習モデルや、クラスタリングを予定している。スキャンデータの解像度は0.5mm程度だが、須恵器及び縄文土器の細かな特徴を抽出するためには最低でも1.0mm程度の解像度が必要と思われ、入力データは1件あたり512MB、学習時の浮動小数点数では単精度で2GB、半精度でも1GB必要になる。こうした巨大なデータを用いた深層学習は通常使用される単一のGPUでは処理が不可能であるため、複数のGPUを用いた環境でのモデルの実装方法を検討するため、深層学習に必要なメモリの使用量の検討を行うとともに、クラウド環境(仮想CPU16個、主記憶60GB、16GBGPU×4基)と分散学習用ライブラリ(PyTorch, Accelerate, PyTorch Lightning)及びメモリ使用量削減のためのライブラリ(DeepSpeed, FairScale)を用いて実装方法の検討と実装可能な最大解像度の検証を行った。\nその結果、既存のメモリ使用量削減ライブラリは、自然言語処理などモデルのパラメータ数が巨大になるモデルを対象にしたものであるのに対し、今回我々が扱うモデルはパラメータ数は小さいがデータ自体が巨大なものであるため、オプティマイザの状態やモデルパラメータ、勾配などのデータを分割するメモリ削減手法の効果は少なく、活性化関数の出力を保持せず必要の都度再計算を行う、アクティベーション・チェックポインティングの効果が大きいことが確認された。", "subitem_description_type": "Abstract"}]}, "item_9_heading_25": {"attribute_name": "見出し", "attribute_value_mlt": [{"subitem_heading_banner_headline": "発表要旨・論文", "subitem_heading_language": "ja"}, {"subitem_heading_banner_headline": "Summaries / Papers", "subitem_heading_language": "en"}]}, "item_9_publisher_10": {"attribute_name": "出版者", "attribute_value_mlt": [{"subitem_publisher": "考古文化財ディープラーニング研究会"}]}, "item_9_text_5": {"attribute_name": "著者所属(日)", "attribute_value_mlt": [{"subitem_text_value": "板垣正敏中小企業診断士事務所"}]}, "item_access_right": {"attribute_name": "アクセス権", "attribute_value_mlt": [{"subitem_access_right": "metadata only access", "subitem_access_right_uri": "http://purl.org/coar/access_right/c_14cb"}]}, "item_creator": {"attribute_name": "著者", "attribute_type": "creator", "attribute_value_mlt": [{"creatorNames": [{"creatorName": "板垣, 正敏"}, {"creatorName": "イタガキ, マサトシ", "creatorNameLang": "ja-Kana"}], "nameIdentifiers": [{"nameIdentifier": "4008", "nameIdentifierScheme": "WEKO"}]}, {"creatorNames": [{"creatorName": "ITAGAKI, Masatoshi", "creatorNameLang": "en"}], "nameIdentifiers": [{"nameIdentifier": "4010", "nameIdentifierScheme": "WEKO"}]}]}, "item_language": {"attribute_name": "言語", "attribute_value_mlt": [{"subitem_language": "jpn"}]}, "item_resource_type": {"attribute_name": "資源タイプ", "attribute_value_mlt": [{"resourcetype": "research report", "resourceuri": "http://purl.org/coar/resource_type/c_18ws"}]}, "item_title": "高解像度3D-CNNの実装検討", "item_titles": {"attribute_name": "タイトル", "attribute_value_mlt": [{"subitem_title": "高解像度3D-CNNの実装検討"}]}, "item_type_id": "9", "owner": "10", "path": ["113"], "permalink_uri": "https://nuis.repo.nii.ac.jp/records/3540", "pubdate": {"attribute_name": "公開日", "attribute_value": "2022-09-13"}, "publish_date": "2022-09-13", "publish_status": "0", "recid": "3540", "relation": {}, "relation_version_is_last": true, "title": ["高解像度3D-CNNの実装検討"], "weko_shared_id": -1}
高解像度3D-CNNの実装検討
https://nuis.repo.nii.ac.jp/records/3540
https://nuis.repo.nii.ac.jp/records/35404bbfbdf6-7654-4a44-8738-cd2f1b58464f
Item type | 研究報告論文 / Research Paper(1) | |||||
---|---|---|---|---|---|---|
公開日 | 2022-09-13 | |||||
タイトル | ||||||
タイトル | 高解像度3D-CNNの実装検討 | |||||
言語 | ||||||
言語 | jpn | |||||
資源タイプ | ||||||
資源タイプ識別子 | http://purl.org/coar/resource_type/c_18ws | |||||
資源タイプ | research report | |||||
アクセス権 | ||||||
アクセス権 | metadata only access | |||||
アクセス権URI | http://purl.org/coar/access_right/c_14cb | |||||
著者 |
板垣, 正敏
× 板垣, 正敏× ITAGAKI, Masatoshi |
|||||
著者所属(日) | ||||||
板垣正敏中小企業診断士事務所 | ||||||
抄録 | ||||||
内容記述タイプ | Abstract | |||||
内容記述 | 当研究グループでは、須恵器および縄文土器の3次元スキャンデータを元にVoxel化を行ったデータを使用したマルチインプット・マルチタスク深層学習モデルや、クラスタリングを予定している。スキャンデータの解像度は0.5mm程度だが、須恵器及び縄文土器の細かな特徴を抽出するためには最低でも1.0mm程度の解像度が必要と思われ、入力データは1件あたり512MB、学習時の浮動小数点数では単精度で2GB、半精度でも1GB必要になる。こうした巨大なデータを用いた深層学習は通常使用される単一のGPUでは処理が不可能であるため、複数のGPUを用いた環境でのモデルの実装方法を検討するため、深層学習に必要なメモリの使用量の検討を行うとともに、クラウド環境(仮想CPU16個、主記憶60GB、16GBGPU×4基)と分散学習用ライブラリ(PyTorch, Accelerate, PyTorch Lightning)及びメモリ使用量削減のためのライブラリ(DeepSpeed, FairScale)を用いて実装方法の検討と実装可能な最大解像度の検証を行った。 その結果、既存のメモリ使用量削減ライブラリは、自然言語処理などモデルのパラメータ数が巨大になるモデルを対象にしたものであるのに対し、今回我々が扱うモデルはパラメータ数は小さいがデータ自体が巨大なものであるため、オプティマイザの状態やモデルパラメータ、勾配などのデータを分割するメモリ削減手法の効果は少なく、活性化関数の出力を保持せず必要の都度再計算を行う、アクティベーション・チェックポインティングの効果が大きいことが確認された。 |
|||||
出版者 | ||||||
出版者 | 考古文化財ディープラーニング研究会 | |||||
見出し | ||||||
大見出し | 発表要旨・論文 | |||||
言語 | ja | |||||
見出し | ||||||
大見出し | Summaries / Papers | |||||
言語 | en |