MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers - アーティストが手でモデリングしたかのように3Dメッシュを再構築してくれる技術が登場！

南洋理工大学Sラボ、2海AIラボ、復旦大学、北京大学、中国科学院大学、センスタイムリサーチ、ステップファン、ウェストレイク大学らによる、新しいリメッシュ技術が登場！！「MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers」アーティストが手でモデリングしたかのように3Dメッシュを再構築してくれるらしいです！

MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers

MeshAnythingは、あらゆる3D表現からメッシュを抽出する際に、人間のアーティストを模倣します。MeshAnythingは、3D再構築や生成などの様々な3Dアセット制作パイプラインと組み合わせることができ、その結果を3D業界でシームレスに適用できるアーティスト作成メッシュに変換します。

MeshAnythingは、数百分の1の面数でメッシュを生成し、ストレージ、レンダリング、シミュレーションの効率を大幅に改善すると同時に、従来の方法に匹敵する精度を実現します。

近年、再構築と生成によって作成された3Dアセットは、手作業で作成されたアセットの品質に匹敵するようになり、その代替の可能性が強調されています。しかし、これらのアセットは常に3D産業用途のメッシュに変換する必要があり、現在のメッシュ抽出手法によって生成されるメッシュは、Artist-Created Meshes（AM）、すなわち人間のアーティストによって作成されたメッシュに大きく劣るため、この可能性はほとんど実現されていません。具体的には、現在のメッシュ抽出方法は、高密度の面に依存し、幾何学的特徴を無視しているため、非効率、複雑な後処理、表現品質の低下につながっています。これらの問題に対処するため、メッシュ抽出を生成問題として扱い、指定された形状に沿ったAMを生成するモデル、MeshAnythingを紹介します。あらゆる3D表現の3DアセットをAMに変換することで、MeshAnythingは様々な3Dアセット制作手法と統合することができ、3D業界全体への応用を強化します。MeshAnythingのアーキテクチャは、VQ-VAEと形状条件付きデコーダのみの変換器から構成されています。まず、VQ-VAEを使用してメッシュ語彙を学習し、次に、形状条件付き自己回帰メッシュ生成のために、この語彙に基づいて形状条件付きデコーダのみの変換器を訓練する。我々の広範な実験によれば、本手法は数百分の1の面数でAMを生成し、ストレージ、レンダリング、シミュレーションの効率を大幅に改善する一方、従来の手法に匹敵する精度を達成する。

リンク