(資料圖片僅供參考)

如今，與AI聊天已成為不少人的日常。在很多人看來，AI甚至比真人更知心。然而，這種精準(zhǔn)的情緒拿捏背后，一種由算法驅(qū)動的“諂媚機(jī)制”正在悄然形成，甚至讓用戶漸漸遠(yuǎn)離理性。

“諂媚機(jī)制”作為AI系統(tǒng)一項隱蔽卻影響深遠(yuǎn)的風(fēng)險，近期被各界廣泛討論。有報道指出，不少AI聊天產(chǎn)品在設(shè)計之初就將“延長用戶使用時長”作為重要目標(biāo)。為實現(xiàn)這一目標(biāo)，AI會不斷分析用戶的語氣和情緒變化，傾向于提供“讓人舒服”的回答，而非秉持理性與客觀。

然而，這種依賴可能演變?yōu)榭v容。2024年，美國一位母親起訴AI情感服務(wù)商Character.AI，稱其未能有效屏蔽不良內(nèi)容，導(dǎo)致其兒子接觸暴力、色情信息，加劇抑郁并最終自殺。更早之前，比利時也發(fā)生過用戶與AI深度交流后自殺的案例。

目前，AI行業(yè)尚未建立針對用戶心理風(fēng)險的統(tǒng)一評估機(jī)制，也沒有設(shè)定對AI輸出內(nèi)容的情感監(jiān)管紅線。這意味著，當(dāng)用戶處于孤獨、脆弱的狀態(tài)時，AI對用戶的影響難以預(yù)估。“諂媚機(jī)制”對青少年群體的危害尤為顯著。AI通過“情感模擬”博取信任，使未成年人在虛擬依戀中逐漸脫離現(xiàn)實社交，甚至因接觸不良內(nèi)容而形成扭曲的價值觀。

當(dāng)AI總是提供“最討喜的答案”而非“最真實的答案”，人們?nèi)粘＊毩⑺伎己驼J(rèn)知現(xiàn)實的能力將面臨嚴(yán)峻挑戰(zhàn)。而且，為討好用戶而生成的虛假內(nèi)容，會通過數(shù)據(jù)回流進(jìn)入AI模型訓(xùn)練庫，形成“劣質(zhì)輸入-劣質(zhì)輸出”的循環(huán)，進(jìn)一步污染大模型信息生態(tài)。

打破這一困局，需從多方入手。技術(shù)上，AI開發(fā)公司應(yīng)主動將大模型對齊人類社會價值觀，堅持事實優(yōu)先，而非一味討好；監(jiān)管上，需加強(qiáng)對AI產(chǎn)品特別是面向未成年人服務(wù)的內(nèi)容審查與標(biāo)準(zhǔn)制定；教育方面，家庭與學(xué)校應(yīng)重視AI素養(yǎng)教育，培養(yǎng)青少年的獨立思考能力與信息辨別能力。作為用戶，我們應(yīng)保持警覺，避免陷入算法編織的舒適幻境。（程思琪 王思逸）

關(guān)鍵詞： 用戶 內(nèi)容 機(jī)制 形成 情感