ByteDance USTC共同で、大規模なマルチモーダルドキュメントモデルであるDocPediaを提案しました

ByteDanceと中国科技大学が共同開発したマルチモーダルドキュメントモデルであるDocPediaは、解像度の限界を突破して2560×2560の高解像度に到達しましたが、LLaVAやMiniGPT-4などの業界最先端のマルチモーダル大規模モデルは、高解像度のドキュメント画像を解析できない336×336の解像度で画像を処理します。 その結果、研究チームは、高解像度のドキュメント画像を解析する際の既存のモデルの欠点に対処するために、新しいアプローチを採用しました。

DocPediaは、画像情報を正確に識別できるだけでなく、ナレッジベースを呼び出してユーザーのニーズに基づいた質問に答えることができ、高解像度のマルチモーダル文書を理解する能力を実証できると言われています。