人工智能搜尋引擎的準確性問題
研究顯示,主流 AI 搜尋引擎在引用新聞內容時,準確性仍有待提高,用戶需保持警覺。
研究方法與測試結果
測試對象
八款主流 AI 工具,包括 ChatGPT Search、Perplexity 及 Google Gemini 等。
測試方式
要求 AI 識別文章出處、出版機構、發佈日期及網址等資訊,共進行 1600 次查詢。
評估標準
能否從正確文章抽取資訊、是否提供正確的出版商資訊、是否提供正確的網站來源。
AI 回應錯誤率高
1
整體錯誤率
約 60% 的回應未能從正確的文章中提取資訊。
2
個別差異
Grok-3 的錯誤率高達 94%,表現不理想。
3
自信滿滿
AI 工具用詞極具自信,甚少承認無法找到資料。
收費 AI 更自信地提供錯誤答案
錯誤率更高
Grok-3 Search(40 美元/月)錯誤率達 76%,甚至比免費版 Grok-2 Search 更差。
權威語氣
付費 AI 更傾向以極高自信提供錯誤答案,使用戶更難察覺錯誤資訊的存在。
平台屏蔽爬蟲與 AI 準確性無關
1
無明顯關係
AI 可否檢索網站內容,與其準確度並無明顯關係。
2
間接存取
某些 AI 可能透過其他方式間接存取受限制內容。
3
協議挑戰
AI 無視機械人排除協議,剝奪出版商自主權。
平台無法提供資料來源
1
1
引用品牌
AI 經常引用傳統出版商的公信力以提升可靠性。
2
2
品牌受損
當 AI 提供錯誤資訊時,其引用的品牌公信力亦會受損。
總結:AI 準確性存隱憂
1
2
3
1
用戶警覺
用戶應保持審慎態度,避免過度依賴 AI 回應。
2
多方查證
透過多方查證確保資訊準確性。
3
技術成熟
AI 搜尋技術尚未成熟。
資料來源
Columbia Journalism Review
how to geek
nlemanlab
Made with Gamma