Introducing OlmoEarth embeddings: Custom embedding exports from OlmoEarth Studio for downstream analysis
2026-08-20 · Hugging Face
OlmoEarth 嵌入向量介紹:OlmoEarth Studio 自定義嵌入匯出用於下游分析
OlmoEarth Studio 是 AllenAI 構建地球觀測模型的平臺,現已支援計算和匯出嵌入向量。這些嵌入向量是由其開源 OlmoEarth 基礎模型生成的地球觀測資料的緊湊數值表示。與研究論文一同釋出的還有原始碼和模型權重,社群可完全檢查嵌入的生成過程。
嵌入向量為利用 OlmoEarth 提供了快速且成本效益高的切入點,支援相似性搜尋、分割、無監督探索等多種下游任務。具有相似地表特徵的位置會得到相似向量,不同的位置則向量相距較遠。OlmoEarth 嵌入向量在內部基準測試和獨立評估中均展現出強大效能。
匯出的 Cloud-Optimized GeoTIFFs(COGs)檔案輕量且易於分享。使用者可透過 Studio 使用者介面或 API 選擇感興趣區域、時間範圍、編碼器變體、解析度和影像來源,獲得可自由使用的 COG 檔案。若應用需要更高效能,Studio 還支援監督微調(SFT)。
OlmoEarth Studio 使用者現可使用自定義計算的嵌入向量。如需獲取訪問許可權請聯絡相關方。使用公開 OlmoEarth 模型自行計算嵌入的指南也已提供。
在 Studio 中計算嵌入
計算嵌入的工作流與其他預測相同:配置模型、執行預測、下載結果。可透過以下引數定製輸出:
- 感興趣區域:繪製或上傳任意多邊形,Studio 自動完成影像獲取和切片。
- 時間跨度:1-12 個月度週期。
- 編碼器變體:Nano(128 維,140 萬引數)、Tiny(192 維,620 萬引數)、Base(768 維,8900 萬引數)。
- 空間解析度:10 米、20 米、40 米或 80 米每畫素。
- 影像來源:Sentinel-2 L2A、Sentinel-1 RTC 或兩者結合。
Studio 輸出的是單波段對應一個嵌入維度的 COG 檔案,向量以有符號 8 位整數(int8)儲存,數值範圍 -127 到 +127,-128 保留為 nodata。需恢復浮點向量時可使用 `olmoearth_pretrain` 中的 `dequantize_embeddings` 函式。
由於全部按需計算而非呼叫預計算全球存檔,嵌入能精確反映使用者指定的條件,支援生成月度嵌入以捕捉季節動態,而非僅年度快照。
OlmoEarth 嵌入向量的應用
以下示例均採用 OlmoEarth-v1-Tiny(192 維)在 40 米解析度下,使用 Sentinel-2 L2A 合成影像(多數為年度合成,變化檢測使用月度)。Tiny 雖為輕量級編碼器,但效能依然出色,使用者可根據需求更換為更大變體(需增加計算與儲存成本)。
相似性搜尋:尋找“更多類似”
選取查詢畫素提取其嵌入向量,與其他所有畫素計算餘弦相似度,即可得到顯示景觀最相似和最不相似的熱力圖。
以加州 Merced 市中心附近的 urban 查詢為例,城市織體和道路走廊區域明顯高亮,農業地塊則保持暗色。該模型無需任何標籤即可區分建成表面與農田。
若將查詢切換為小塊農業區域,取該視窗內嵌入向量的平均值作為查詢向量,隨後在最高和最低相似度位置提取 Sentinel-2 影像。結果顯示:相似度 0.89 以上的斑塊均為有灌溉的農業地塊;相似度接近零的則包括機場及其周邊裸地、水庫與乾旱地表、乾旱牧場。整個過程僅透過嵌入空間中的點積完成,無需訓練資料或標籤。
少樣本分割:標註景觀
相似性搜尋可回答“哪裡與這個類似”,但有時需要對整個區域生成離散標籤。由於嵌入表示已足夠豐富,僅用少量標註畫素即可透過簡單線性分類器生成全覆蓋土地覆蓋地圖。
在越南 Ca Mau 沿海紅樹林區域,僅標註 60 個畫素(每個類別 20 個),以 ESA WorldCover 2021 為 mangrove、水體、other 三類的標籤來源,隨機抽樣後訓練帶特徵標準化的邏輯迴歸分類器,並預測區域內全部畫素。
僅使用 60 個標註畫素即獲得連貫的分類地圖,加權 F1 分數達 0.84。紅樹林群落、潮汐通道和開闊水域在全區域均被清晰勾勒。分類器效能很快飽和:將標註量從 30 增加到 300 對準確率提升極小,因為嵌入已完成大部分特徵提取工作。
核心分析程式碼僅需幾行 Python:
import rasterio
import numpy as np
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
# Load the 192-band embedding COG exported from Studio
with rasterio.open("embeddings.tif") as ds:
emb = ds.read().astype(np.float32) # (192, H, W)
C, H, W = emb.shape
X = emb.reshape(C, -1).T # (H*W, 192)
# Train on labeled pixels, predict everywhere
clf = make_pipeline(StandardScaler()