Baseten on Hugging Face Inference Providers 🔥

2026-08-20 · Hugging Face

Baseten 正式加入 Hugging Face Inference Providers 🔥

Hugging Face 宣佈,Baseten 已成為其 Hub 官方支援的 Inference Provider 之一。這一整合進一步豐富了 Hugging Face 模型頁面上的無伺服器推理生態,使用者可以更加便捷地呼叫各類開源模型。

Baseten 是一家專注於 serverless AI、模型訓練以及相關基礎設施的 AI 平臺,旗下擁有大量前沿模型目錄,能夠幫助開發者以極低的接入成本將各類 AI 能力整合到應用中。

支援的模型與任務

作為初始整合的一部分,Baseten 率先在 Hugging Face 上支援 對話(conversational) 和 文字生成(text-generation) 任務。使用者現可透過 Baseten 訪問以下熱門開源權重大語言模型:

  • Kimi K3
  • 最新版 DeepSeek V4 Flash
  • GLM-5.2
  • 以及更多同類模型

Baseten 本身支援從大語言模型到文生語音(text-to-speech)在內的多種模型型別,未來將逐步開放更多工支援。

使用者可在此檢視 Baseten 支援的完整模型列表,並關注其官方 Hugging Face 組織頁面:https://huggingface.co/baseten。

使用方式

在 Hugging Face 網站介面

使用者可在賬號設定中進行以下操作:

  • 為已註冊的 Inference Provider 設定自己的 API Key。若未設定自定義 Key,請求將透過 Hugging Face 路由。
  • 按個人偏好為提供商排序,該順序將應用於模型頁面的 Widget 和程式碼示例。

模型頁面會根據當前模型相容情況及使用者偏好,展示可用的第三方 Inference Provider。

Hugging Face 支援兩種呼叫模式:

1. Custom Key 模式:請求直接傳送至推理提供商,使用使用者自己的 API Key,由對應提供商進行計費。

2. HF Routed 模式:透過 Hugging Face 賬號認證,無需提供商 Token,費用直接計入 HF 賬戶。

透過官方 Client SDK 呼叫

Baseten 已整合至以下 SDK:

  • Python:`huggingface_hub`(版本 ≥ 1.26.1)
  • JavaScript:`@huggingface/inference`

以下是使用 OpenAI 相容客戶端呼叫最新 DeepSeek V4 Flash 的示例(透過 Baseten 路由):

Python 示例


import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
    messages=[{
        "role": "user",
        "content": "Write a Python function that returns the nth Fibonacci number using memoization."
    }]
)

print(completion.choices[0].message)

JavaScript 示例


import { OpenAI } from "openai";

const client = new OpenAI({
    baseURL: "https://router.huggingface.co/v1",
    apiKey: process.env.HF_TOKEN,
});

const chatCompletion = await client.chat.completions.create({
    model: "deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
    messages: [{
        role: "user",
        content: "Write a Python function that returns the nth Fibonacci number using memoization.",
    }],
});

console.log(chatCompletion.choices[0].message);

在 Agent Harness 中使用

Hugging Face Inference Providers 已整合至多數主流 Agent 框架,包括 Pi、OpenCode、Hermes Agents、OpenClaw 等。開發者可直接將 Baseten 託管的模型接入這些工具,無需額外適配程式碼。

計費規則

  • 使用個人 Inference Provider API Key 時,由對應提供商直接計費(例如使用 Baseten API Key 則在 Baseten 賬戶扣費)。
  • 透過 Hugging Face 路由呼叫時,僅收取標準提供商 API 費用,Hugging Face 不收取額外加價。

Hugging Face 表示,未來可能與提供商夥伴建立收入分成協議。

重要提醒:Hugging Face PRO 使用者每月可獲得價值 2 美元 的 Inference 積分,可用於包括 Baseten 在內的所有 Inference Providers。平臺同時為登入的免費使用者提供少量免費推理額度,但鼓勵使用者升級至 PRO 計劃以獲得 ZeroGPU、Spaces Dev Mode、更高限額等權益。

反饋與後續

Hugging Face 歡迎社群提供反饋,可在以下討論區留言:https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49

本文由 Baseten 團隊成員 Alex Ker、Roland Crosby、Sid Shanker、Johan、Célina Hanouti、Simon Brandeis、Lucain Pouget、Wauplin、Merve 等共同釋出。

(全文約 920 字)

原文連結