@techreport{oai:nuis.repo.nii.ac.jp:02000211, author = {近山, 英輔 and 中田 豊久 and Miyao, Toru and 宮尾, 亨 and 藤田, 晴啓}, month = {2024-05-17}, note = {近年の光3Dスキャニング技術の発展により、遺物や文化財への3D計測の導入が進んでいる。3D計測データ形式の1つとして3D空間内の点の集合である点群がある。例えば縄文土器などの遺物を点群で表示すれば、目視で形状や模様などの幾何学的情報を保持していることは容易に認識できる。また点群は単純なデータ形式であるため、計算機で効率的に処理できる利点がある。ディープラーニング手法の進展により、自然言語処理を始めとする様々なAIタスクが高性能化しており、さらに画像と言語など、別領域のデータを同時にAIとして扱うマルチモーダル化も進んでいる。画像キャプション生成タスクは入力画像に対する自然言語による説明文(キャプション)を出力するマルチモーダルなタスクであり、その性能も向上しつつある。キャプション生成タスクは3Dデータに対しても研究されており、例えばChenらによるVote2Cap-DETRモデルでは英文による室内3D物体認識のためのNr3Dデータセットに対して性能評価を行っている。  今回我々は縄文土器点群データを入力するとその日本語説明文を出力するマルチモーダルAIモデルを試作した。学習用データとして、光3Dスキャニングした新潟県糸魚川市六反田南遺跡出土の41種の縄文土器の点群データ(例、図 1)とその日本語説明文(例、表1)を作成した。アーキテクチャとして Vote2Cap-DETRモデルを参考にそれを大きく単純化したものを採用し、PythonとPyTorchで実装した試作モデルを開発した(図 2)。}, title = {縄文土器点群-キャプション生成モデルの試作}, year = {}, yomi = {チカヤマ, エイスケ and ミヤオ, トオル and フジタ, ハルヒロ} }