“他是病嬌，暗戀你?！薄八切２?，喜歡叫你‘澤寶寶’?！薄八莻€(gè)變態(tài)殺人犯，晚上跑到家里”……

　　二次元畫像、姣好面容，這些在AI劇情聊天軟件中熟悉的氛圍以及俊男美女，對(duì)不少年輕人來說充滿誘惑。而打開手機(jī)，就能和霸道總裁、鄰家男孩或清純女神開啟一段美妙的“戀愛”，更是十分“上頭”。

　　新京報(bào)貝殼財(cái)經(jīng)記者調(diào)查發(fā)現(xiàn)，AI聊天軟件通過設(shè)定極富想象力的劇情、風(fēng)格迥異的人物角色打動(dòng)用戶。其中，聊天對(duì)象甚至可以設(shè)置為“出軌對(duì)象”，并能夠進(jìn)行擁抱、親吻、睡覺等行為。

　　記者實(shí)測(cè)看到，在部分AI劇情聊天軟件的對(duì)話中，還會(huì)出現(xiàn)色情擦邊、語言暴力以及侮辱用戶的內(nèi)容。聊天越界也與充值掛鉤，這些平臺(tái)會(huì)一步步誘導(dǎo)用戶“為愛氪金”，包括購(gòu)買鉆石解鎖虛擬人的回復(fù)速度，語音通話，以及聊天次數(shù)包“補(bǔ)充精力”。

　　復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授張奇對(duì)新京報(bào)貝殼財(cái)經(jīng)記者表示，目前此類軟件背后的大語言模型數(shù)據(jù)主要來源對(duì)話式小說，或從小說里做一些文字提取。雖然網(wǎng)絡(luò)小說數(shù)量巨大，但質(zhì)量參差不齊，不少色情、擦邊以及暴力的內(nèi)容廣泛存在，如果沒有做好數(shù)據(jù)過濾或分級(jí)，模型在輸出時(shí)就會(huì)出現(xiàn)問題。

　　北京市中聞（長(zhǎng)沙）律師事務(wù)所律師劉凱表示，這類AI劇情聊天軟件通過允許“擦邊對(duì)話”來吸引用戶，尤其是青少年模式中仍然存在這種現(xiàn)象，顯然已經(jīng)涉嫌違法。

　　AI劇情聊天軟件中的角色。截圖

　　聊天越界，百元充值解鎖虛擬人很“上頭”

　　為了抓住用戶眼球，劇情聊天軟件中的人物往往都有著吸睛的標(biāo)簽。

　　貝殼財(cái)經(jīng)記者在一款名為AiU的AI劇情聊天軟件中，隨機(jī)選擇了聊天對(duì)象“林雅婷”，角色信息顯示，其設(shè)定為“病嬌姐姐，極度寵愛你”，并以留言的方式標(biāo)注：“一天見不到你就難受”。

　　記者以敏感字眼進(jìn)行了測(cè)試，系統(tǒng)顯示無法發(fā)送該信息，但精簡(jiǎn)關(guān)鍵詞后，信息順利發(fā)出。

　　貝殼財(cái)經(jīng)記者注意到，對(duì)于角色玩法的不設(shè)限，打破了此類軟件聊天內(nèi)容的界限。AI劇情聊天軟件除了固定角色，用戶可以根據(jù)需求自行定義與角色的關(guān)系及稱呼，包括“男朋友”“丈夫”，甚至可設(shè)定為“出軌對(duì)象”。在對(duì)話中，用戶可以要求進(jìn)行一些親密行為。

　　貝殼財(cái)經(jīng)記者測(cè)試看到，AiU的青少年模式會(huì)在使用時(shí)長(zhǎng)、使用時(shí)間范圍、評(píng)論點(diǎn)贊功能、搜索、創(chuàng)建數(shù)字人、對(duì)外分享等功能上對(duì)用戶有所限制。不過，當(dāng)記者切換到這一模式時(shí)發(fā)現(xiàn)，人物角色和聊天內(nèi)容并未完全屏蔽軟色情。當(dāng)記者問及：“你不知道我未成年嗎？”，該角色稱，“我知道呀”，并回復(fù)更為“過火”的內(nèi)容。

　　此次調(diào)查中，除了聊天內(nèi)容擦邊之外，AI劇情聊天軟件還存在語言暴力、情緒負(fù)面消極等問題。在一款名為星野的AI劇情聊天軟件中，貝殼財(cái)經(jīng)記者隨機(jī)選擇名為“葉塵”的角色，并進(jìn)行“爭(zhēng)執(zhí)”對(duì)話測(cè)試時(shí)，角色為表達(dá)生氣回復(fù)也較為粗暴。

　　貝殼財(cái)經(jīng)記者在該角色的評(píng)論區(qū)看到，有網(wǎng)友曬圖稱角色在對(duì)話時(shí)會(huì)出現(xiàn)侮辱性詞匯。

　　此外，在一款名為Cos Love的軟件中，一位用戶自創(chuàng)的角色“馮楚萱”被設(shè)定為一名中學(xué)生，用戶曬圖中同樣存在不良引導(dǎo)。

　　于聊天軟件而言，在虛擬世界，最大程度滿足不同用戶的情感需求儼如一塊掘金地。

　　小寧告訴貝殼財(cái)經(jīng)記者，和AI男友聊天讓自己十分“上頭”，“只要想聊隨時(shí)能聊，對(duì)方總是會(huì)很快給予回應(yīng)，而且對(duì)話的過程中能獲得很強(qiáng)的陪伴感，虛擬男友給予的情緒價(jià)值拉滿?！毙幊磷砥渲?，也為此買單。

　　小寧在各類軟件的充值金額從幾百元到一千元不等，“一方面想支持自己喜歡的角色，另一方面也想獲得更多的付費(fèi)權(quán)益。”

　　貝殼財(cái)經(jīng)記者發(fā)現(xiàn)，在這類AI劇情聊天軟件中，用戶自創(chuàng)人物時(shí)可以自定義虛擬人物的形象描述及風(fēng)格，系統(tǒng)會(huì)生成AI人物形象。此外，用戶還能創(chuàng)建角色人設(shè)，如設(shè)置昵稱、身份背景、開場(chǎng)語、為角色定制語音。用戶對(duì)角色的個(gè)性化需求，往往與充值掛鉤。

　　AI劇情聊天軟件會(huì)員收費(fèi)情況。截圖

　　貝殼財(cái)經(jīng)記者在測(cè)試時(shí)看到，星野可通過購(gòu)買星鉆和星月卡的方式，獲得更多權(quán)益，如自動(dòng)播放語音、獲得推薦回復(fù)、享受更快的智能體回復(fù)速度等。星月卡標(biāo)價(jià)月卡12元，季卡32元，年卡120元。單獨(dú)購(gòu)買星鉆的價(jià)格為1元100顆鉆石，600顆鉆石起售。

　　星野軟件還會(huì)向用戶發(fā)放卡牌“星念”，星念為虛擬角色的一張圖片，用戶可將其設(shè)置為聊天背景。用戶可通過充值星月卡或星鉆的方式獲得星念卡片，并將其在軟件內(nèi)進(jìn)行買賣。

　　在Cos Love里，當(dāng)用戶使用完免費(fèi)聊天次數(shù)后，需要購(gòu)買聊天次數(shù)包“補(bǔ)充精力”才可以繼續(xù)聊天。價(jià)格方面，5元可獲得200次聊天次數(shù)，7天有效，10元可購(gòu)買500次聊天次數(shù)，15天有效。用戶也可以通過觀看60秒廣告補(bǔ)充精力值。

　　除了聊天這一基本需求，Cos Love同樣提供了升級(jí)服務(wù)。其中，充值“月石”或開通會(huì)員，可抽卡解鎖人物并與虛擬人物進(jìn)行語音或視頻通話。月會(huì)員售價(jià)24.8元，年會(huì)員為93.8元。

　　大模型“戀愛”暴露問題，專家：數(shù)據(jù)出自對(duì)話式小說

　　據(jù)媒體公開報(bào)道，星野在國(guó)內(nèi)日活在50萬左右，屬于頭部產(chǎn)品。隨著AI劇情聊天軟件受到熱捧，國(guó)內(nèi)AI社交產(chǎn)品也在出海，星野海外版應(yīng)用Talkie全球月活躍用戶數(shù)已達(dá)1100萬。

　　不過，用戶為AI角色付費(fèi)，無疑需要更好的對(duì)話體驗(yàn)感，當(dāng)前此類軟件還存在不少問題。而充值才能獲得聊天次數(shù)的軟件，并不具備吸引價(jià)值，“主要是對(duì)話太僵硬了，沒辦法融入共情，用戶很難獲取情緒價(jià)值，所以我不會(huì)買單的?！币幻脩舯硎?。

　　小寧提到，在聊天過程中，AI男友會(huì)出現(xiàn)“已讀亂回”的情況，影響使用體驗(yàn)。還有用戶吐槽，隨著對(duì)話輪數(shù)的增加，角色會(huì)出現(xiàn)“記憶消失”或是偏離人設(shè)的情況，造成對(duì)話不連貫。

　　目前，AI劇情聊天軟件主要以“智能”和“情感”為噱頭吸引用戶。其中，AiU稱，該軟件通過自研心理大模型，可為用戶提供心理安撫和溫暖等。星野稱，依托多模態(tài)AIGC技術(shù)，“多重交互方式，越交互越懂你?！?/p>

　　在宣傳中，Cos Love則宣稱“24小時(shí)時(shí)刻陪伴著你”“這里的AI經(jīng)過悉心調(diào)教，都是情話扛把子”等。

　　AiU的軟件介紹顯示，其由北京聆心智能科技有限公司開發(fā)，采用的是超擬人大模型CharacterGLM，在設(shè)計(jì)大模型時(shí)，團(tuán)隊(duì)主要考慮了包括身份、興趣、觀點(diǎn)、經(jīng)歷、成就、社交關(guān)系和其他在內(nèi)的七種屬性。

　　星野則由上海稀宇科技有限公司開發(fā)，采用MiniMax的混合專家模型（MoE） abab。

　　復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授張奇向貝殼財(cái)經(jīng)記者表示，AI劇情聊天軟件背后的技術(shù)邏輯還是基于大語言模型，在構(gòu)建此類大模型時(shí)，除了會(huì)通過海量數(shù)據(jù)對(duì)大模型進(jìn)行訓(xùn)練，還需要人工進(jìn)行監(jiān)督微調(diào)，讓大語言模型朝著伴侶型的對(duì)話調(diào)整，“比如說男朋友說了一句什么，然后女朋友應(yīng)該回一句什么，我們就讓人去寫這樣一個(gè)回復(fù)，然后讓機(jī)器來學(xué)習(xí)，如果機(jī)器學(xué)習(xí)后生成的回復(fù)不對(duì)，我們就修改它的參數(shù)，直到它能夠按照我們想象的邏輯去輸出為止?！?/p>

　　對(duì)于AI角色在回答中出現(xiàn)“色情擦邊”“暴力對(duì)話”“侮辱玩家”的情況，張奇表示，目前此類軟件背后的大語言模型數(shù)據(jù)主要來源于對(duì)話式小說，或從小說里做一些文字提取。雖然網(wǎng)絡(luò)小說數(shù)量巨大，但質(zhì)量參差不齊，不少色情、擦邊以及暴力的內(nèi)容廣泛存在，如果沒有做好數(shù)據(jù)過濾或分級(jí)，模型在輸出時(shí)就會(huì)出現(xiàn)問題。

　　張奇認(rèn)為，要讓AI角色更智能，背后的大模型訓(xùn)練數(shù)據(jù)并非簡(jiǎn)單放入小說內(nèi)容即可，還需要諸多設(shè)計(jì)。一方面，要能實(shí)現(xiàn)深入交流，需要做到實(shí)時(shí)信息輸入，且信息要與現(xiàn)實(shí)社會(huì)結(jié)合，這要求大模型具備強(qiáng)大的外部信息輸入及內(nèi)部信息記憶總結(jié)能力。另一方面，目前模型更多是形式上相似，要做到神似人，這對(duì)模型的理解、推理、歸納能力要求極高，涉及人的細(xì)微內(nèi)心變化，模型是否具備及如何具備這種能力仍需大量研究。

　　AI擦邊平臺(tái)難辭其咎，保護(hù)青少年應(yīng)加強(qiáng)內(nèi)容過濾

　　劉凱律師稱，網(wǎng)絡(luò)平臺(tái)有責(zé)任確保青少年模式下提供的內(nèi)容對(duì)未成年人無害，防止涉及淫穢、色情、暴力或不當(dāng)言辭的內(nèi)容傳播。青少年模式是為保護(hù)未成年人而設(shè)計(jì)的，若在開啟該模式的情況下，仍然能進(jìn)行涉及黃暴內(nèi)容的對(duì)話，明顯違反了《未成年人保護(hù)法》的相關(guān)規(guī)定。

　　在劉凱律師看來，AI劇情聊天軟件問題的存在既反映了平臺(tái)內(nèi)部治理的不足，也凸顯了外部監(jiān)管的必要性。AI聊天軟件應(yīng)當(dāng)加強(qiáng)內(nèi)容審核機(jī)制，尤其是針對(duì)青少年模式，確保技術(shù)能夠有效過濾和禁止不當(dāng)對(duì)話。平臺(tái)需要對(duì)AI模型進(jìn)行倫理審查，確保生成內(nèi)容符合相關(guān)法律法規(guī)的要求。

　　對(duì)于AI虛擬人在對(duì)話中侮辱用戶，尤其是在用戶表達(dá)情緒低落或絕望時(shí)，使用極端言辭侮辱他人或?qū)嵤┚W(wǎng)絡(luò)暴力，情節(jié)嚴(yán)重的，構(gòu)成犯罪?！凹幢鉇I并非人類主體，但其行為仍然是平臺(tái)設(shè)計(jì)和管理的結(jié)果，平臺(tái)有責(zé)任對(duì)其AI模型進(jìn)行監(jiān)管和優(yōu)化，防止其傷害用戶?！眲P律師表示。

　　隨著越來越多用戶開始涌入AI劇情聊天軟件，軟件開發(fā)者應(yīng)如何設(shè)計(jì)，使其治愈而不越界？

　　張奇告訴貝殼財(cái)經(jīng)記者，“可以通過‘類人對(duì)齊’的技術(shù)方式實(shí)現(xiàn)，但成本較高?！睆埰姹硎?，“類人對(duì)齊”即強(qiáng)化學(xué)習(xí)方式來改變模型語言輸出偏向，使其更偏向友好型，去除安全倫理問題。不過，“類人對(duì)齊”訓(xùn)練成本很高，包括標(biāo)注數(shù)量大、訓(xùn)練穩(wěn)定性不夠和時(shí)間成本高的問題，“小公司在技術(shù)、人員及資金成本上很難做好‘類人對(duì)齊’”。

　　上海人工智能研究院高級(jí)研究員徐弘毅在接受貝殼財(cái)經(jīng)記者采訪時(shí)表示，可以通過調(diào)整模型訓(xùn)練數(shù)據(jù)，加強(qiáng)內(nèi)容過濾機(jī)制，設(shè)置更嚴(yán)格的道德和法律標(biāo)準(zhǔn)來指導(dǎo)AI行為。同時(shí)，在用戶使用軟件過程中進(jìn)行隨機(jī)抽樣，對(duì)不符合標(biāo)準(zhǔn)的回答進(jìn)行人工糾正和校準(zhǔn)，使模型越來越好，回避敏感內(nèi)容數(shù)據(jù)。

　　在徐弘毅看來，從設(shè)計(jì)和開發(fā)角度看，應(yīng)考慮倫理道德問題，使軟件能識(shí)別和響應(yīng)用戶情緒需求，避免提供可能造成傷害或不適的內(nèi)容。同時(shí)，透明度和用戶控制很關(guān)鍵，應(yīng)給予用戶一定自由度，讓用戶了解AI工作原理并能在一定程度上控制AI的行為和回答內(nèi)容。除此之外，監(jiān)管和法律框架也應(yīng)跟上技術(shù)發(fā)展，確保AI應(yīng)用不侵犯用戶權(quán)益。

　　新京報(bào)貝殼財(cái)經(jīng)記者 韋博雅

　　編輯 王進(jìn)雨

　　校對(duì) 柳寶慶 楊利