不靠拉数据，从预训练模型里“问”出地理空间表示

做城市计算、位置智能这块的朋友多半都经历过同样的折磨想拿到一个能代表某个街区或地点的向量表示第一反应就是去“攒数据”。路网要清洗轨迹要脱敏POI要人工打标等你把数据备齐项目周期已经过去一大半。更难受的是这套流程换个城市基本要推倒重来。GeoSANE 这个项目当时就是冲着这个痛点去的——它尝试换一条路从模型而非数据中学习地理空间表示。也就是说不再把希望全押在大规模真实地理数据上而是直接从已经预训练好的大模型里把空间知识“问”出来形成区域或地点的向量表达。这个做法一开始我也半信半疑直到把第一版表示向量拉到下游任务上跑完才确定这条路值得认真聊一聊。这篇文章我会从项目思路、核心原理、实操复现、踩坑记录到应用场景拆个底朝天适合正在做城市计算、电商选址、位置推荐或者想给GIS系统加一层“语义理解”能力的开发者和研究者参考。里面大部分内容来自我实际跑实验的经验能直接抄作业的部分我会尽量写清楚。1. 项目概述与核心需求解析1.1 传统地理空间表示学习的经典路线好使但真的贵所谓“地理空间表示”就是把一个地点、一块区域或者一个网格映射成一个固定维度的向量让语义相似的区域在向量空间里距离更近。以前的主流做法大致能归成三类。第一类是路网图嵌入。把城市路网看成一张图路口是节点、道路是边然后用图神经网络或者随机游走让每个路口学到结构上下文向量。这类方法对路网拓扑完整性要求极高。我实际处理过某地的路网数据断头路、缺失边、跨桥分层这些问题稍微处理不好嵌入出来的邻近节点语义就跑偏。第二类是轨迹嵌入。把用户移动轨迹切成网格序列再用类似训练词向量的方式训练让网格向量带上前后的转移语感。这类方法的隐形成本非常大轨迹数据要脱敏、要清洗停留点、要处理漂移而且用户覆盖稀疏的区域学出来的向量基本不可用。第三类是POI语义嵌入。把地图上的兴趣点名称、类别、评论文本当作语料训练一个文本编码器来表征区域。这条路的短板也很明显一个城市里可能有大量区域根本没有POI覆盖或者POI名称稀疏到撑不起任何语义。这三条路有一个共同点表示质量依赖数据质量。数据贵、数据脏、数据覆盖不均表示就跟着贵和脏。我当时查了下手上可用的数据资产每个渠道都有自己的问题于是开始认真考虑一个反直觉的方向——如果模型本身已经“见多识广”能不能直接找模型要空间表示1.2 换个方向提问预训练模型肚子里可能真有张地图这个假设并不是凭空来的。大规模预训练模型在读书和看图的时候天然吸收了大量带空间语义的内容。举个例子语料里反复出现“埃菲尔铁塔在巴黎”“外滩在上海”联合图文模型见过无数城市地标照片和对应描述这些空间常识会以参数形式沉淀在模型里。换句话说模型虽然没直接背下一张城市地图但它的参数已经形成了一种“语义地图”。我们平时只拿这些模型做分类、做问答、做图像检索很少专门去提取它们内部沉淀的空间知识。GeoSANE 的核心出发点就是把这部分知识显式抽取出来作为地点的初始向量。这个思路的关键优势在于数据成本被替换成了推理成本。你不再需要为每个新城市重新拉路网、清洗轨迹、标注POI只需要把目标区域的多模态描述比如几张街景图、一份POI名单喂给预训练模型就能得到一份相对可用的表示。尤其是跨城市迁移的时候这种“从模型侧获取知识”的方案省掉的时间和人力非常可观。1.3 GeoSANE 想解决的核心问题与交付形态把需求拆细一点GeoSANE 当时给自己定了几个硬指标支持零样本输出表示没有任何本地标注也能给一个区域产出基础向量跨城市泛化能力在A市有效果挪到B市不至于崩掉多模态融合同一份空间表示要能同时融合图像语义和文本语义可微调下游任务有少量标注时能用对比学习快速校准。最终的交付物是一套“区域编码器”。输入一个区域的多模态观测输出一个固定维度向量。这套东西往下游一接既能做区域分类也能做相似区域检索还能当成特征喂给预测模型。这个形态和传统的“一城一模型”完全不同更像一个通用的空间语义接口。2. 核心思路拆解从模型里“问”出空间表示的完整推演2.1 注意力机制里藏着的空间结构是怎么被利用的如果你拆开一个训练好的视觉或语言模型会发现在处理特定类型输入时某些注意力头会形成非常稳定的响应模式。比如模型看到街景图时某些头会专注于“道路指向性”某些头会关注“建筑物轮廓”还有一些头会对“是否包含植被/水体”这类环境特征很敏感。这些模式不是谁标注出来的而是模型自己从海量图文对里学出来的。地理空间任务的特殊性在于区域语义往往不来自单个物体而来自物体组合产生的“场所感”。比如一片区域同时出现“学校、住宅、便利店、斑马线”模型会把它往居民区方向推。这种组合语义通过传统特征工程很难完整刻画但预训练模型的深层特征天然具备这种组合表达能力。所以 GeoSANE 在抽取表示时不是只拿模型最后一层输出而是做了多层特征的选择与融合。浅层特征偏纹理结构适合描述路网形态深层特征偏语义概念适合判断区域功能。两者拼接在一起才是一个相对完整的空间指纹。2.2 三种表示提取姿势免训练、对比微调、蒸馏压缩实际操作中从模型里取地理空间表示有三种做法复杂度从低到高按需选择。第一种是免训练特征池化。把区域内的街景图逐张过视觉编码器把区域相关的文本描述逐条过文本编码器然后做平均池化或注意力池化得到图像和文本两个特征向量最后拼接或线性投影成区域表示。这个方案的优势是几乎不训练模型只要有预训练权重跑一遍推理就行非常适合快速验证。第二种是对比学习对齐。把同一个区域的图像特征和文本特征作为正样本对把不同区域的样本作为负样本用对比损失把两个模态的空间拉到同一语义空间。经过几百到几千步微调后跨模态一致性和区域区分度都会有明显提升。我们跑下来一个消费级显卡上几小时就能完成一个中等规模城市区域的校准。第三种是蒸馏压缩。如果你想部署到移动端或者低算力边缘设备上可以用一个大模型的输出作为教师信号训练一个小型编码器去逼近。这样可以把“问大模型”的推理成本一次性转化为小模型的部署成本后续推理速度能有几十倍的提升。三种方案不是互斥的。我自己通常先跑第一种确认方向再用第二种把质量拉到可用线最后根据部署要求决定要不要走第三条。2.3 坐标信息到底怎么用弱先验不是唯一答案做地理空间表示绕不开“坐标”这个变量。但坐标向量化是一个容易翻车的点。你直接拿经纬度数值喂模型模型大概率学到的是“数字大小”而不是“空间邻近”。比较稳妥的做法是用组合式坐标编码将经纬度映射到多尺度网格用正弦位置编码或者学习式网格嵌入把它作为弱先验和视觉、文本特征拼在一起。这样做的意图很明确——坐标只负责告诉模型“这块区域大致在哪”真正决定语义的还是图像和文本带来的场所特征。我把坐标当“打底信息”权重给得很低。因为如果某个区域在地理上相邻但功能完全不同坐标先验过强就会让两块区域的表示被拉近这恰恰是地理空间表示最不想看到的情况。弱先验的好处是模型保留从多模态内容修正坐标暗示的能力。3. 实操过程从零复现 GeoSANE 的关键环节3.1 前期准备先把“你要什么表示”想清楚动手之前先确认三个问题否则后期大概率反复返工。第一是表示粒度。一个城市可以切成500米×500米网格也可以按街区边界、按行政社区划分甚至按圆形缓冲区扫点。粒度决定后续所有数据处理方式。网格最简单但网格边界可能切碎真实语义区域街区边界更符合认知但需要先行区划数据而且不同城市的区划口径不一样。第二是模态来源。我当时的选择是街景图像加POI文本因为这两个渠道最易获取而且语义互补性强。你也可以用卫星影像加规划文本或者用地块交易数据加市政描述关键是要保证所有区域有相对一致的观测机会。第三是应用任务。如果下游是区域分类表示里需要强调功能语义如果下游是区域检索那你得想好“相似”的定义是什么。我建议先做一个小规模的检索演示把“相似区域”的预期输出可视化出来再去调表示。3.2 数据准备与预处理管道虽然 GeoSANE 主打“不依赖大规模数据”但你还是需要每个区域有几张能代表它的图像和几句能描述它的文本。这是模型的“提词器”不是训练集。图像部分我建议每个区域采集6~10张覆盖主要视角的街景图注意采样点尽量均匀分布避免所有图都集中在一条主干道上。图像要做去模糊和亮度标准化否则特征提取结果会有莫名其妙的抖动。这里有一个细节不同时期的街景图光线差异很大如果条件允许尽量选用同一季节、相近时间段的图像。文本部分把区域内POI名称、类别、地图标签抓下来商用接口注意频率限制和合规要求。拿到原始文本后第一步清洗乱码和重复项第二步把无信息量的通用词比如“停车场入口”“24小时自助”过滤掉第三步按出现频次做聚合文本。我试过把一条区域的POI名称拼成一段话喂给模型效果比逐条过再平均更好因为模型能捕捉词与词之间的组合关系。3.3 模型选型与一套能跑通的参数配置视觉编码器建议直接用开源对比式图文模型的视觉侧它对场景语义的组织能力明显强于纯分类模型如果没有条件加载大尺寸版本用小尺寸版本做特征提取也能跑。文本编码器选择轻量预训练模型即可关键是把文本截断策略定好中文场景按字级切分的兼容性一般强于按词切分。下面是我实际跑通过的一组配置可以直接作为起点配置项推荐值说明区域粒度500m×500m网格平衡语义完整性与计算量每区域图像数8张少于4张表示不稳多于12张边际收益递减图像尺寸224×224与预训练模型输入对齐文本最长长度128 token超出部分截断优先保POI名称和类别表示向量维度512适中方便下游分类和检索对比学习温度系数0.07温度太低容易把负样本推过头优化器AdamW学习率5e-5weight decay 0.01训练步数500~2000步数不要贪多过长会过拟合到区域样本上批大小64批大小影响负样本丰富度尽量别小于32这套参数在单张消费级显卡上跑一个中等城市体量的区域对齐耗时在几小时左右。预算有限时可以把图像数降到4张、向量维度降到256效果虽有下降但链路能完整跑通。3.4 训练与推理实现核心伪代码对比学习对齐阶段的核心逻辑说白了就是让同一区域的图像特征和文本特征互相“认出对方”同时让不同区域的特征互相远离。我贴一段简化版的伪代码把骨架逻辑讲清楚。# 输入: batch_regions 是当前批的区域列表 # 每个区域包含 图像特征 img_feats(8x512) 和 文本特征 txt_feats(512) def geosane_train_step(batch_regions): region_imgs [] region_txts [] for region in batch_regions: # 图像侧: 8张图像分别过视觉编码器, 平均池化成区域图像向量 img_vec avg_pool(visual_encoder(region.images)) # 512维 # 文本侧: 区域POI文本过文本编码器, 取CLS向量或平均向量 txt_vec text_encoder(region.text)[0] # 512维 region_imgs.append(img_vec) region_txts.append(txt_vec) # 两批特征都做L2归一化, 保证点积在可控范围 region_imgs l2_normalize(stack(region_imgs)) region_txts l2_normalize(stack(region_txts)) # 相似度矩阵: 对角是正样本(同一区域的图文对) logits region_imgs region_txts.T / temperature # temperature0.07 # 对称对比损失: 图像要能找回文本, 文本也要能找回图像 labels arange(len(batch_regions)) loss_img cross_entropy(logits, labels) loss_txt cross_entropy(logits.T, labels) loss (loss_img loss_txt) / 2 loss.backward() optimizer.step()推理阶段更简单。新来一个区域把它的图像和文本分别过编码器融合成区域向量然后直接往向量索引库里面扔后续相似区域检索就是标准的最近邻查询。有一点要注意不管训练还是推理图像侧的池化策略要一致。我在实验里发现如果训练时用平均池化推理时改成最大池化检索效果会明显变差。这类不一致问题是最隐蔽的坑之一。3.5 评估方案与结果解读我给 GeoSANE 设计了三个评测口径分别考验表示的不同侧面。第一个是区域功能分类。准备一份有区域标签的数据例如商业区、居住区、产业区、公共服务区四类用表示向量训练一个线性分类器看准确率。这个任务主要考验表示的线性可分性也就是特征到底有没有把功能语义组织好。第二个是跨区域检索。给定一个目标区域从整个向量库里找出最相似的K个区域人工检查返回结果是否合理。这个任务直接考验“相似”的语义是否符合直觉。我当时拿某城市一个典型商业街区作为查询返回结果里除了它自己前几名的区域确实都是高密度商业集聚区这就说明表示学到了有用信号。第三个是聚类内聚度。对全城所有区域向量做无监督聚类看簇内区域在地理空间上是否呈现一定聚集性、在功能语义上是否一致。这一步是为找数据问题服务的比如某个簇内部语义混杂通常意味着某些区域的图像或文本特征质量有问题。从我跑下来的观察看纯免训练模式的zero-shot表示已经能把明显的功能区区分开但在细分类目上容易混淆比如文化设施和公共服务的边界经常拉不开。经过几百步对比微调后细分类目的一致性明显变好。这块具体数字跟数据质量和区域粒度强相关建议按自己的场景实测不要直接照搬论文里的数字。4. 应用场景分析哪些领域能直接吃到红利4.1 城市规划与区域功能画像规划侧最耗人力的事是给一张城市地图“上色”——哪块是居住主导、哪块是商业主导、哪块是公共服务主导。传统做法靠人工调研加统计年鉴周期以月计。用 GeoSANE 的方式全城的区域表示向量可以直接做无监督聚类用聚类结果生成一张初版功能分区图规划师再在这基础上做人工修正效率完全不一样。而且这种画像可以做到“动态更新”。城市每天都有新POI出现、新建设落地传统调研可能一年才更新一次但基于模型侧知识抽取的方案随时可以给新增区域补算表示旧区域也能在几分钟内重新批量跑一遍。城市规划项目做沙盘推演时这种快速迭代能力非常有用。4.2 商业选址与区域竞品分析商业选址的核心是回答“这个位置像不像那些被验证过的成功位置”。传统选址大多依赖经营数据新品牌没数据可参考时往往只能靠人拍脑袋。用区域表示做相似度匹配时你能把目标点位映射到向量空间返回历史上经营表现好的相似区域集基于相似集的表现做预估。我见过一个实际例子某零售团队想在另一个城市选新店址拿 GeoSANE 的区域表示把候选点位跟老城标杆商圈做相似度排序结果前几名都落在高流量高消费密集区和线下实地调研结论高度一致。这类应用对表层数据依赖不强对底层语义对齐的要求却很高正好是模型侧知识能发力的地方。4.3 跨城市迁移与泛化场景传统数据驱动表示最怕换城市因为路网结构、POI命名习惯、车牌轨迹分布都不一样换一个城市基本等于重新做模型。GeoSANE 的思路天然适合跨城市全国各地的区域在语义空间里是可比的只是模型在读取时加了一层“这个城市自身的上下文”。我实测过用A市数据微调的对齐模型直接去跑B市区域表示功能分类精度确实比A市本地低一截但低得有限而且远高于从零训练的传统方法。如果你做的是多城市连锁管理、全国商圈对比这类业务这种“大体可用少量本地校准”的模式项目预算和周期都能压下来不少。4.4 遥感解译与生态监测的辅助特征遥感影像解译通常只输出地物类别但地物组合能表达更高层的语义。比如一块区域里同时有厂房、货车停车场和堆料场遥感分类只告诉你这里有工业地物而 GeoSANE 的表示可以进一步把这块区域理解成物流仓储主导区。这种高层语义特征拿来跟遥感模型的输出做特征融合能够提升对复杂场景的识别能力。当然遥感影像质量受云雨和分辨率影响大单独用影像做表示会出现不稳定。我建议在这种场景里把遥感影像特征、地理文本特征和业务标签统一放进同一个向量空间让模型在融合过程中自动找到最可靠的信息源。5. 常见问题与排查技巧实录5.1 模型侧知识有偏差区域表示会“偏科”预训练模型的知识来自训练语料语料本身有偏差。比如模型对一线城市地标性区域的语义把握明显好于三四线城市普通乡镇。我在某次实验中对比过两类区域的表示质量头部城市区域检索结果的可解释性明显更好欠发达区域的特征则趋于模糊。应对思路是给弱覆盖区域增加本地文本信号。把当地志、园区招商公告、政府网站描述等低频文本纳入区域文本侧让模型有更多本地语料可依赖。这些数据量不需要大关键是真实有效。5.2 街景图像的质量与数量波动问题实际项目里不可能每块区域都拍到同样数量、同样质量的街景图。有的区域可能只有两张图而且还有遮挡有的区域能拍到十几张非常干净的角度。如果直接把这种不均衡的特征拿来做平均池化表示会偏向拍摄覆盖好的区域导致检索结果失真。我后来改用加权池化权重基于图像清晰度评分和图内信息熵。信息熵低的纯马路、纯墙面图会被自动降权效果好于简单平均。另外图像数量不足4张的区域宁可只用文本特征也不要强行补图。5.3 表示空间不稳定多次推理结果抖动有段时间我发现同一个区域隔几天重新跑一遍表示向量跟之前的余弦相似度只有0.9左右。排查后发现元凶是文本侧微调时随机种子没固定以及预训练模型的动态输入长度被截断到了不同位置。解决办法有两个。第一推理阶段固定随机种子并开启确定性模式。第二把文本侧的拼接函数做成分段确定性填充长文本截断时固定保留头部和尾部而不是从头截到尾。这样能保证区域文本在两次推理中进入模型的顺序和长度完全一致。5.4 资源受限时的极简复现路径如果你手上只有一块普通显卡甚至CPU不要放弃这条技术路线。第一步先上免训练模式用开源小尺寸图文模型提取区域特征拼接后直接做检索演示。这一步不需要任何训练一台普通机器就能跑。第二步只对最后的融合投影层做微调冻结视觉和文本编码器。这样梯度和显存开销都大幅降低训练步数也能压到几百步以内。虽然效果略逊于全量微调但对预算有限的团队来说是性价比最高的切入点。5.5 常见问题速查表问题现象可能原因处理办法同城邻近区域表示过于相似坐标先验权重过高降低坐标编码维度或加权系数跨城市迁移后效果明显下降本地文本信号不足补充城市级背景语料融合进文本侧图像通道正常但文本通道无效POI文本清洗不彻底增强去噪和过滤保留语义明确的实体词检索结果总返回同一类图像图像池化方式与训练不一致统一推理和训练阶段的池化策略多次推理表示漂移随机种子或截断逻辑不一致固定随机种子使用确定性截断最后分享一点个人体会。GeoSANE 这个项目做完之后我对“模型是不是一张隐形的空间知识地图”这个问题有了更具体的答案它是但需要你给它一个合适的提词器。预训练模型构不构成地理空间表示的直接答案核心不在于模型本身而在于你能不能把区域信息组织成模型擅长处理的多模态形态。踩过几次坑以后我现在拿到一个空间表示任务会先问一句“这块区域的语义到底藏在哪里”而不是急着拉数据。有时候打开已有的模型参数比打开数据库更快。另外补一个小技巧如果团队里暂时没有做多模态的人可以先拿现成图文模型的接口把特征提出来用最简单的拼接方案跑通一个检索Demo。只要可视化样例能让业务方看懂“相似区域”是什么意思后面再上深度对齐方案时说服成本会低很多。技术方案的推进第一步是让结果看得见第二步才是让结果更准。