Baseten on Hugging Face Inference Providers 🔥

2026-08-20 · Hugging Face

Baseten 正式加入 Hugging Face Inference Providers 🔥

Hugging Face 宣布,Baseten 已成为其 Hub 官方支持的 Inference Provider 之一。这一集成进一步丰富了 Hugging Face 模型页面上的无服务器推理生态,用户可以更加便捷地调用各类开源模型。

Baseten 是一家专注于 serverless AI、模型训练以及相关基础设施的 AI 平台,旗下拥有大量前沿模型目录,能够帮助开发者以极低的接入成本将各类 AI 能力集成到应用中。

支持的模型与任务

作为初始集成的一部分,Baseten 率先在 Hugging Face 上支持 对话(conversational) 和 文本生成(text-generation) 任务。用户现可通过 Baseten 访问以下热门开源权重大语言模型:

  • Kimi K3
  • 最新版 DeepSeek V4 Flash
  • GLM-5.2
  • 以及更多同类模型

Baseten 本身支持从大语言模型到文生语音(text-to-speech)在内的多种模型类型,未来将逐步开放更多任务支持。

用户可在此查看 Baseten 支持的完整模型列表,并关注其官方 Hugging Face 组织页面:https://huggingface.co/baseten。

使用方式

在 Hugging Face 网站界面

用户可在账号设置中进行以下操作:

  • 为已注册的 Inference Provider 设置自己的 API Key。若未设置自定义 Key,请求将通过 Hugging Face 路由。
  • 按个人偏好为提供商排序,该顺序将应用于模型页面的 Widget 和代码示例。

模型页面会根据当前模型兼容情况及用户偏好,展示可用的第三方 Inference Provider。

Hugging Face 支持两种调用模式:

1. Custom Key 模式:请求直接发送至推理提供商,使用用户自己的 API Key,由对应提供商进行计费。

2. HF Routed 模式:通过 Hugging Face 账号认证,无需提供商 Token,费用直接计入 HF 账户。

通过官方 Client SDK 调用

Baseten 已集成至以下 SDK:

  • Python:`huggingface_hub`(版本 ≥ 1.26.1)
  • JavaScript:`@huggingface/inference`

以下是使用 OpenAI 兼容客户端调用最新 DeepSeek V4 Flash 的示例(通过 Baseten 路由):

Python 示例


import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
    messages=[{
        "role": "user",
        "content": "Write a Python function that returns the nth Fibonacci number using memoization."
    }]
)

print(completion.choices[0].message)

JavaScript 示例


import { OpenAI } from "openai";

const client = new OpenAI({
    baseURL: "https://router.huggingface.co/v1",
    apiKey: process.env.HF_TOKEN,
});

const chatCompletion = await client.chat.completions.create({
    model: "deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
    messages: [{
        role: "user",
        content: "Write a Python function that returns the nth Fibonacci number using memoization.",
    }],
});

console.log(chatCompletion.choices[0].message);

在 Agent Harness 中使用

Hugging Face Inference Providers 已集成至多数主流 Agent 框架,包括 Pi、OpenCode、Hermes Agents、OpenClaw 等。开发者可直接将 Baseten 托管的模型接入这些工具,无需额外适配代码。

计费规则

  • 使用个人 Inference Provider API Key 时,由对应提供商直接计费(例如使用 Baseten API Key 则在 Baseten 账户扣费)。
  • 通过 Hugging Face 路由调用时,仅收取标准提供商 API 费用,Hugging Face 不收取额外加价。

Hugging Face 表示,未来可能与提供商伙伴建立收入分成协议。

重要提醒:Hugging Face PRO 用户每月可获得价值 2 美元 的 Inference 积分,可用于包括 Baseten 在内的所有 Inference Providers。平台同时为登录的免费用户提供少量免费推理额度,但鼓励用户升级至 PRO 计划以获得 ZeroGPU、Spaces Dev Mode、更高限额等权益。

反馈与后续

Hugging Face 欢迎社区提供反馈,可在以下讨论区留言:https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49

本文由 Baseten 团队成员 Alex Ker、Roland Crosby、Sid Shanker、Johan、Célina Hanouti、Simon Brandeis、Lucain Pouget、Wauplin、Merve 等共同发布。

(全文约 920 字)

原文链接