Baseten on Hugging Face Inference Providers 🔥
2026-08-20 · Hugging Face
Baseten 正式加入 Hugging Face Inference Providers 🔥
Hugging Face 宣佈,Baseten 已成為其 Hub 官方支援的 Inference Provider 之一。這一整合進一步豐富了 Hugging Face 模型頁面上的無伺服器推理生態,使用者可以更加便捷地呼叫各類開源模型。
Baseten 是一家專注於 serverless AI、模型訓練以及相關基礎設施的 AI 平臺,旗下擁有大量前沿模型目錄,能夠幫助開發者以極低的接入成本將各類 AI 能力整合到應用中。
支援的模型與任務
作為初始整合的一部分,Baseten 率先在 Hugging Face 上支援 對話(conversational) 和 文字生成(text-generation) 任務。使用者現可透過 Baseten 訪問以下熱門開源權重大語言模型:
- Kimi K3
- 最新版 DeepSeek V4 Flash
- GLM-5.2
- 以及更多同類模型
Baseten 本身支援從大語言模型到文生語音(text-to-speech)在內的多種模型型別,未來將逐步開放更多工支援。
使用者可在此檢視 Baseten 支援的完整模型列表,並關注其官方 Hugging Face 組織頁面:https://huggingface.co/baseten。
使用方式
在 Hugging Face 網站介面
使用者可在賬號設定中進行以下操作:
- 為已註冊的 Inference Provider 設定自己的 API Key。若未設定自定義 Key,請求將透過 Hugging Face 路由。
- 按個人偏好為提供商排序,該順序將應用於模型頁面的 Widget 和程式碼示例。
模型頁面會根據當前模型相容情況及使用者偏好,展示可用的第三方 Inference Provider。
Hugging Face 支援兩種呼叫模式:
1. Custom Key 模式:請求直接傳送至推理提供商,使用使用者自己的 API Key,由對應提供商進行計費。
2. HF Routed 模式:透過 Hugging Face 賬號認證,無需提供商 Token,費用直接計入 HF 賬戶。
透過官方 Client SDK 呼叫
Baseten 已整合至以下 SDK:
- Python:`huggingface_hub`(版本 ≥ 1.26.1)
- JavaScript:`@huggingface/inference`
以下是使用 OpenAI 相容客戶端呼叫最新 DeepSeek V4 Flash 的示例(透過 Baseten 路由):
Python 示例
import os
from openai import OpenAI
client = OpenAI(
base_url="https://router.huggingface.co/v1",
api_key=os.environ["HF_TOKEN"],
)
completion = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
messages=[{
"role": "user",
"content": "Write a Python function that returns the nth Fibonacci number using memoization."
}]
)
print(completion.choices[0].message)
JavaScript 示例
import { OpenAI } from "openai";
const client = new OpenAI({
baseURL: "https://router.huggingface.co/v1",
apiKey: process.env.HF_TOKEN,
});
const chatCompletion = await client.chat.completions.create({
model: "deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
messages: [{
role: "user",
content: "Write a Python function that returns the nth Fibonacci number using memoization.",
}],
});
console.log(chatCompletion.choices[0].message);
在 Agent Harness 中使用
Hugging Face Inference Providers 已整合至多數主流 Agent 框架,包括 Pi、OpenCode、Hermes Agents、OpenClaw 等。開發者可直接將 Baseten 託管的模型接入這些工具,無需額外適配程式碼。
計費規則
- 使用個人 Inference Provider API Key 時,由對應提供商直接計費(例如使用 Baseten API Key 則在 Baseten 賬戶扣費)。
- 透過 Hugging Face 路由呼叫時,僅收取標準提供商 API 費用,Hugging Face 不收取額外加價。
Hugging Face 表示,未來可能與提供商夥伴建立收入分成協議。
重要提醒:Hugging Face PRO 使用者每月可獲得價值 2 美元 的 Inference 積分,可用於包括 Baseten 在內的所有 Inference Providers。平臺同時為登入的免費使用者提供少量免費推理額度,但鼓勵使用者升級至 PRO 計劃以獲得 ZeroGPU、Spaces Dev Mode、更高限額等權益。
反饋與後續
Hugging Face 歡迎社群提供反饋,可在以下討論區留言:https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49
本文由 Baseten 團隊成員 Alex Ker、Roland Crosby、Sid Shanker、Johan、Célina Hanouti、Simon Brandeis、Lucain Pouget、Wauplin、Merve 等共同釋出。
(全文約 920 字)