跳转到内容

GPT-4o中文詞庫淪陷色情

维基新闻,自由的新闻源

【2024年5月20日讯】

GPT-4o中文詞庫遭充斥色情賭博字詞,研究指OpenAI在數據清理上存在疏忽。

ChatGPT

根據普林斯頓大學博士生蔡天樂(Tianle Cai)的觀察,OpenAI於本月13日推出的GPT-4o在解析和壓縮中文提示時存在使用不當的分詞問題,導致充斥着垃圾郵件和色情詞彙。

蔡天樂查看GPT-4o公開分詞庫,並列出模型解析中文的100個最長分詞,其中只有三個常用於日常對話,其餘的均與賭博或色情語境相關。最長分詞指的是「免費日本色情影片觀看」。

蔡天樂指出,問題顯然出在訓練分詞器的語料庫上,英文的分詞沒有問題,但中文的分詞存在問題,OpenAI可能未適當清理中文數據。

卡內基梅隆大學博士生耿正陽(Zhengyang Geng)稱,GPT-3.5和舊版的GPT-4的分詞器在中文分詞方面沒有此問題,最長的中文分詞是「生命週期」或「自動生成」等常用詞。

前Google搜索團隊成員、門羅創投的AI投資者Deedy Das指出,垃圾內容普遍存在是已知的問題,修復並不困難。Das認為OpenAI可能在發佈GPT-4o之前未清理中文數據集或分詞。

《麻省理工科技評論》引述專家指出,解決這個問題並不難,但污染的分詞和模型若在未來疊代中被繼承,情況或會轉趨複雜。報道亦提及,目前尚無法測試GPT-4的影片音頻功能是否受這些中文分詞問題影響。

消息來源