我们仍然不知道人们真正如何使用 AI
2026-08-20 · MIT Technology Review
我们仍然不知道人们真正如何使用 AI
AI公司如Anthropic和OpenAI经常发布关于用户如何使用Claude和ChatGPT的报告。然而,AI研究者指出,这些报告仅包含公司希望外界看到的数据,缺乏独立来源进行验证。
斯坦福大学Trustworthy AI Research (STAIR)实验室博士候选人Anka Reuel表示:“目前没有独立的来源来证实这些数据。” Reuel是新研究项目AI Observatory的共同负责人,该项目旨在填补这一空白。
AI Observatory 项目概况
AI Observatory是一个公开平台,它聚合并分析了来自七个现有数据集、经用户同意的真实AI对话。这些对话主要涉及Claude、Gemini等流行模型。项目的目标是为研究者和政策制定者提供独立信息来源,帮助他们评估人们如何使用生成式AI。
Reuel强调,目前关于AI益处和风险的高度重要决策,正基于非常有限的数据做出。
该项目共收集了来自2023年至2025年的对话数据,包括:
- 24,521 个对话
- 85,633 个对话轮次(用户提示 + AI回复)
- 约5,000名用户
- 52个不同模型
相比之下,Anthropic最新经济指数基于100万次Claude对话,OpenAI的报告则分析了150万次对话。
公司报告的局限性
Anthropic Economic Index是目前最知名且被广泛引用的AI使用数据来源之一,但它存在明显盲点。该指数主要关注工作和生产力相关的Claude使用,会过滤掉与工作无关的对话。
当AI Observatory研究者将Anthropic的过滤方法应用于自己的数据集时,发现48%的对话将被过滤。这些非工作相关对话表现出更高的敏感度:
- 健康与关系话题:44.2%(Anthropic报告为31.2%)
- 成人或非法话题:7.9%(Anthropic报告为2.1%)
- 骚扰与仇恨:27.5%(Anthropic报告为5.66%)
- 性内容:16.7%(Anthropic报告为2.4%)
OpenAI 2025年关于ChatGPT的报告同样显示,仅30%的消费者使用与工作相关。
Anthropic曾单独发布关于用户将Claude用于陪伴支持、甚至生成CSAM的博客,但研究者认为,将这些信息分散在不同报告中,不如提供统一的鸟瞰视角更有价值。
随时间变化的使用趋势
AI Observatory分析了WildChat等大型数据集,发现以下随时间演变的趋势:
- 对话长度显著增加(提示token、回复token和对话轮次均增长)
- 小 talk(闲聊)明显增多,表明AI陪伴用途在增加
- AI助手自我披露(承认自己是聊天机器人)的频率下降
- 被标记为敏感的对话(包括性骚扰、仇恨言论等)频率降低,这可能反映出平台部署了更有效的防护措施
不同模型的使用差异
研究发现,话题、交互风格、对话结构以及敏感用例的发生概率和类型在不同模型之间存在显著差异:
- Grok和Gemini:被更多用于信息检索。其中Grok特别常用于新闻和政治相关查询,但也是误信息相对集中的模型。
- Anthropic的Claude:用户更常用于编程任务。
- Gemini:在社交和角色扮演用途上使用比例更高。
- ChatGPT:常被用于家庭作业辅助。
即使是同一公司的不同版本也存在差异。使用GPT-3.5的ChatGPT对话较短,而GPT-4o版本的对话更长且更具迭代性,这与GPT-4o容易引发情感依赖的观察一致。
MIT Media Lab近期博士毕业生Shayne Longpre(该研究共同负责人)表示:“没有任何单一公司的报告能讲述整个故事。”
数据局限性与意义
研究者承认,由于数据来自自愿提供的来源,该数据集可能低估了敏感用途的比例,因为用户不太可能分享此类对话。因此,其发现不能代表所有AI使用情况。
Anthropic回应称,公司发布的报告反映了其研究团队的具体问题和兴趣,并表示支持外部独立研究。OpenAI未对相关置评请求作出回应。
AI Observatory项目由来自MIT、斯坦福、Data Provenance Initiative等机构的研究者共同完成。尽管其数据规模远小于大公司掌握的信息,但它为外界提供了一个重要的独立观察窗口。