今天聽到關於 AI 幻覺的討論時，有人提到兩種情況：一種是訓練過程中使用的資料本身有問題，導致之後推理出的結果擴大偏差；另一種則是所謂的「討好心態」，當 AI 無法確認答案時，仍會試著湊出一個回覆。
有人建議在一開始就給 AI 限定資料，這確實是一個方向。不要讓它從龐大而不確定的知識庫裡「無中生有」，而是請它專注於協助判斷你已經收集到的資料，並限定回答範圍。
另外一個提案是「扣分機制」，也就是避免 AI 在自信度不高時仍回答。但問題在於，這樣的設計可能會產生副作用。之前有人讓 AI 玩寶可夢遊戲，它發現只要進寶可夢中心，寶可夢就會被收走，於是把這件事判定為「扣分」，結果之後就乾脆不願再嘗試。這和教育孩子的情況有點類似：如果懲罰過重，他可能會選擇逃避而不是學習。
這讓我想到 Google 剛出來時，有篇雜誌曾比較過它和 Yahoo。當時有使用者說：「因為不管怎麼搜尋，你永遠都會得到答案。」這句話曾是 Google 的優勢，但如今套到 AI 上卻引起了反感。
關鍵差異在於：搜尋引擎是「基於既有且可追溯的資料」給你一個搜尋結果；而 AI 則可能在毫無把握的情況下，依然強迫自己拼湊一個回應。表面上同樣是「有答案」，但背後的來源與可靠性卻完全不同。
要的不是 AI 永遠回答，而是它懂得在正確與不確定之間，清楚劃下界線。
有人建議在一開始就給 AI 限定資料，這確實是一個方向。不要讓它從龐大而不確定的知識庫裡「無中生有」，而是請它專注於協助判斷你已經收集到的資料，並限定回答範圍。
另外一個提案是「扣分機制」，也就是避免 AI 在自信度不高時仍回答。但問題在於，這樣的設計可能會產生副作用。之前有人讓 AI 玩寶可夢遊戲，它發現只要進寶可夢中心，寶可夢就會被收走，於是把這件事判定為「扣分」，結果之後就乾脆不願再嘗試。這和教育孩子的情況有點類似：如果懲罰過重，他可能會選擇逃避而不是學習。
這讓我想到 Google 剛出來時，有篇雜誌曾比較過它和 Yahoo。當時有使用者說：「因為不管怎麼搜尋，你永遠都會得到答案。」這句話曾是 Google 的優勢，但如今套到 AI 上卻引起了反感。
關鍵差異在於：搜尋引擎是「基於既有且可追溯的資料」給你一個搜尋結果；而 AI 則可能在毫無把握的情況下，依然強迫自己拼湊一個回應。表面上同樣是「有答案」，但背後的來源與可靠性卻完全不同。
要的不是 AI 永遠回答，而是它懂得在正確與不確定之間，清楚劃下界線。
Tags
起念隨筆