Introducing OlmoEarth embeddings: Custom embedding exports from OlmoEarth Studio for downstream analysis

2026-08-20 · Hugging Face

OlmoEarth 嵌入向量介绍:OlmoEarth Studio 自定义嵌入导出用于下游分析

OlmoEarth Studio 是 AllenAI 构建地球观测模型的平台,现已支持计算和导出嵌入向量。这些嵌入向量是由其开源 OlmoEarth 基础模型生成的地球观测数据的紧凑数值表示。与研究论文一同发布的还有源代码和模型权重,社区可完全检查嵌入的生成过程。

嵌入向量为利用 OlmoEarth 提供了快速且成本效益高的切入点,支持相似性搜索、分割、无监督探索等多种下游任务。具有相似地表特征的位置会得到相似向量,不同的位置则向量相距较远。OlmoEarth 嵌入向量在内部基准测试和独立评估中均展现出强大性能。

导出的 Cloud-Optimized GeoTIFFs(COGs)文件轻量且易于分享。用户可通过 Studio 用户界面或 API 选择感兴趣区域、时间范围、编码器变体、分辨率和影像来源,获得可自由使用的 COG 文件。若应用需要更高性能,Studio 还支持监督微调(SFT)。

OlmoEarth Studio 用户现可使用自定义计算的嵌入向量。如需获取访问权限请联系相关方。使用公开 OlmoEarth 模型自行计算嵌入的指南也已提供。

在 Studio 中计算嵌入

计算嵌入的工作流与其他预测相同:配置模型、运行预测、下载结果。可通过以下参数定制输出:

  • 感兴趣区域:绘制或上传任意多边形,Studio 自动完成影像获取和切片。
  • 时间跨度:1-12 个月度周期。
  • 编码器变体:Nano(128 维,140 万参数)、Tiny(192 维,620 万参数)、Base(768 维,8900 万参数)。
  • 空间分辨率:10 米、20 米、40 米或 80 米每像素。
  • 影像来源:Sentinel-2 L2A、Sentinel-1 RTC 或两者结合。

Studio 输出的是单波段对应一个嵌入维度的 COG 文件,向量以有符号 8 位整数(int8)存储,数值范围 -127 到 +127,-128 保留为 nodata。需恢复浮点向量时可使用 `olmoearth_pretrain` 中的 `dequantize_embeddings` 函数。

由于全部按需计算而非调用预计算全球存档,嵌入能精确反映用户指定的条件,支持生成月度嵌入以捕捉季节动态,而非仅年度快照。

OlmoEarth 嵌入向量的应用

以下示例均采用 OlmoEarth-v1-Tiny(192 维)在 40 米分辨率下,使用 Sentinel-2 L2A 合成影像(多数为年度合成,变化检测使用月度)。Tiny 虽为轻量级编码器,但性能依然出色,用户可根据需求更换为更大变体(需增加计算与存储成本)。

相似性搜索:寻找“更多类似”

选取查询像素提取其嵌入向量,与其他所有像素计算余弦相似度,即可得到显示景观最相似和最不相似的热力图。

以加州 Merced 市中心附近的 urban 查询为例,城市织体和道路走廊区域明显高亮,农业地块则保持暗色。该模型无需任何标签即可区分建成表面与农田。

若将查询切换为小块农业区域,取该窗口内嵌入向量的平均值作为查询向量,随后在最高和最低相似度位置提取 Sentinel-2 影像。结果显示:相似度 0.89 以上的斑块均为有灌溉的农业地块;相似度接近零的则包括机场及其周边裸地、水库与干旱地表、干旱牧场。整个过程仅通过嵌入空间中的点积完成,无需训练数据或标签。

少样本分割:标注景观

相似性搜索可回答“哪里与这个类似”,但有时需要对整个区域生成离散标签。由于嵌入表示已足够丰富,仅用少量标注像素即可通过简单线性分类器生成全覆盖土地覆盖地图。

在越南 Ca Mau 沿海红树林区域,仅标注 60 个像素(每个类别 20 个),以 ESA WorldCover 2021 为 mangrove、水体、other 三类的标签来源,随机抽样后训练带特征标准化的逻辑回归分类器,并预测区域内全部像素。

仅使用 60 个标注像素即获得连贯的分类地图,加权 F1 分数达 0.84。红树林群落、潮汐通道和开阔水域在全区域均被清晰勾勒。分类器性能很快饱和:将标注量从 30 增加到 300 对准确率提升极小,因为嵌入已完成大部分特征提取工作。

核心分析代码仅需几行 Python:


import rasterio
import numpy as np
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# Load the 192-band embedding COG exported from Studio
with rasterio.open("embeddings.tif") as ds:
    emb = ds.read().astype(np.float32)  # (192, H, W)
C, H, W = emb.shape
X = emb.reshape(C, -1).T  # (H*W, 192)

# Train on labeled pixels, predict everywhere
clf = make_pipeline(StandardScaler()

原文链接