我們仍然不知道人們真正如何使用 AI

2026-08-20 · MIT Technology Review

我們仍然不知道人們真正如何使用 AI

AI公司如Anthropic和OpenAI經常釋出關於使用者如何使用Claude和ChatGPT的報告。然而,AI研究者指出,這些報告僅包含公司希望外界看到的資料,缺乏獨立來源進行驗證。

斯坦福大學Trustworthy AI Research (STAIR)實驗室博士候選人Anka Reuel表示:“目前沒有獨立的來源來證實這些資料。” Reuel是新研究專案AI Observatory的共同負責人,該專案旨在填補這一空白。

AI Observatory 專案概況

AI Observatory是一個公開平臺,它聚合並分析了來自七個現有資料集、經使用者同意的真實AI對話。這些對話主要涉及Claude、Gemini等流行模型。專案的目標是為研究者和政策制定者提供獨立資訊來源,幫助他們評估人們如何使用生成式AI。

Reuel強調,目前關於AI益處和風險的高度重要決策,正基於非常有限的資料做出。

該專案共收集了來自2023年至2025年的對話資料,包括:

  • 24,521 個對話
  • 85,633 個對話輪次(使用者提示 + AI回覆)
  • 約5,000名使用者
  • 52個不同模型

相比之下,Anthropic最新經濟指數基於100萬次Claude對話,OpenAI的報告則分析了150萬次對話。

公司報告的侷限性

Anthropic Economic Index是目前最知名且被廣泛引用的AI使用資料來源之一,但它存在明顯盲點。該指數主要關注工作和生產力相關的Claude使用,會過濾掉與工作無關的對話。

當AI Observatory研究者將Anthropic的過濾方法應用於自己的資料集時,發現48%的對話將被過濾。這些非工作相關對話表現出更高的敏感度:

  • 健康與關係話題:44.2%(Anthropic報告為31.2%)
  • 成人或非法話題:7.9%(Anthropic報告為2.1%)
  • 騷擾與仇恨:27.5%(Anthropic報告為5.66%)
  • 性內容:16.7%(Anthropic報告為2.4%)

OpenAI 2025年關於ChatGPT的報告同樣顯示,僅30%的消費者使用與工作相關。

Anthropic曾單獨釋出關於使用者將Claude用於陪伴支援、甚至生成CSAM的部落格,但研究者認為,將這些資訊分散在不同報告中,不如提供統一的鳥瞰視角更有價值。

隨時間變化的使用趨勢

AI Observatory分析了WildChat等大型資料集,發現以下隨時間演變的趨勢:

  • 對話長度顯著增加(提示token、回覆token和對話輪次均增長)
  • 小 talk(閒聊)明顯增多,表明AI陪伴用途在增加
  • AI助手自我披露(承認自己是聊天機器人)的頻率下降
  • 被標記為敏感的對話(包括性騷擾、仇恨言論等)頻率降低,這可能反映出平臺部署了更有效的防護措施

不同模型的使用差異

研究發現,話題、互動風格、對話結構以及敏感用例的發生機率和型別在不同模型之間存在顯著差異:

  • Grok和Gemini:被更多用於資訊檢索。其中Grok特別常用於新聞和政治相關查詢,但也是誤資訊相對集中的模型。
  • Anthropic的Claude:使用者更常用於程式設計任務。
  • Gemini:在社交和角色扮演用途上使用比例更高。
  • ChatGPT:常被用於家庭作業輔助。

即使是同一公司的不同版本也存在差異。使用GPT-3.5的ChatGPT對話較短,而GPT-4o版本的對話更長且更具迭代性,這與GPT-4o容易引發情感依賴的觀察一致。

MIT Media Lab近期博士畢業生Shayne Longpre(該研究共同負責人)表示:“沒有任何單一公司的報告能講述整個故事。”

資料侷限性與意義

研究者承認,由於資料來自自願提供的來源,該資料集可能低估了敏感用途的比例,因為使用者不太可能分享此類對話。因此,其發現不能代表所有AI使用情況。

Anthropic回應稱,公司釋出的報告反映了其研究團隊的具體問題和興趣,並表示支援外部獨立研究。OpenAI未對相關置評請求作出回應。

AI Observatory專案由來自MIT、斯坦福、Data Provenance Initiative等機構的研究者共同完成。儘管其資料規模遠小於大公司掌握的資訊,但它為外界提供了一個重要的獨立觀察視窗。

原文連結