成果分享 | “读懂地图”的多模态大模型MapReader

 成果负责人

 系统演示链接

成果介绍

比较自然图片，地图在符号、文字注释、幅面等方面均有其特殊性，一般大模型难以理解其高度抽象的表达形式和内容，亟需建立专业的地图分析大模型与软件系统。MapReader是一个用于地图分析的大型视觉语言模型，在识别地理对象及其空间关系等方面取得了显著改进，其可提供比一般视觉语言模型更详细的地图内容描述。该模型的参数规模为17B（170亿），主要由两个核心组件构成：Vision Transformer (ViT) 编码器和预训练的大型语言模型（LLM）。ViT负责接收图像数据并将其处理为视觉特征，而LLM则利用这些视觉特征和文本嵌入生成符合要求的文本。在此过程中，我们使用EVA2-CLIP-E作为ViT编码器，Vicuna1.5-7B作为LLM。为了使模型适应地图领域，我们收集了2000对高质量的地图文本对数据进行微调。训练策略采用了LoRA微调，将LoRA应用于ViT和LLM。ViT中的附加分支通道旨在增强大模型对地图样式的理解，而LLM中的附加分支通道则专注于学习专业地图描述的风格。具体而言，LoRA被应用于ViT编码器的每个Transformer层，以及LLM中的Q、K和V矩阵和多头自注意力层。这一策略有效减少了训练所需的参数数量，从而降低了计算成本。MapReader处理的最大目标长度为2048个tokens。预训练过程在4个A100 GPU上进行。