記者吳立言／綜合報導
人工智慧生成小說與人類創作之間的差距，可能比讀者想像中更難辨識。最新研究讓數千名參與者閱讀由人類與 ChatGPT 生成的短篇小說，結果發現，在不知道真正作者身分的情況下，AI 作品獲得較高的品質與沉浸感評分；但當讀者被告知作品由 ChatGPT 創作後，評價反而下降。研究也發現，多數參與者無法單靠閱讀正確分辨 AI 與人類作品。
▲研究曝AI小說盲測評價竟勝過人類作品。（圖／VCG）
研究測試 AI 與人類小說
這項研究由 Sydney Sears 與 Deena Skolnick Weisberg 進行，題為《機器人還是人類：人們能分辨人類與 AI 系統撰寫的故事嗎？》的研究，目前已列入 Judgment and Decision Making 期刊文章，研究團隊也公開相關預印本與資料。
研究分為 3 項實驗。第一項實驗共有 1,498 名成年人參與，每人閱讀一篇約 1,000 字的短篇小說，作品來自人類作者或 ChatGPT。部分參與者被告知作品由人類創作，另一部分則被告知是 ChatGPT 生成，研究人員再要求他們評估作品品質與閱讀時的沉浸程度。
不知道作者時 AI 評分更高
結果顯示，參與者在不知道真實作者身分時，ChatGPT 生成的小說獲得較高的品質評分，沉浸感評分也高於人類作品。但作者標籤會明顯影響結果。不論作品實際上由誰創作，只要參與者被告知「這是人類寫的」，作品評分就會提高；反過來，當參與者被告知作品由 ChatGPT 創作，評價則相對下降。
這代表讀者對作品的評價不只受到文字內容影響，對作者身分的認知同樣可能改變最終評分。
讀者幾乎分不出真正作者
研究後續再進行兩項實驗，共有 905 名成年人參與。這次每名參與者都會同時閱讀一篇人類小說與一篇 AI 小說，再判斷兩篇作品各自的作者。結果顯示，參與者整體表現沒有高於隨機猜測的程度，也就是說，他們無法單靠閱讀內容穩定辨識出哪一篇是 AI 生成、哪一篇由人類創作。
不過，與 AI 的接觸經驗與辨識正確率呈正相關；相較之下，自認熟悉小說或文學作品的程度，並沒有呈現相同關聯。
AI 作品的「易讀性」可能影響評價
研究人員指出，AI 生成文字通常具有較流暢、容易閱讀等特徵，這些特性可能提高讀者對作品品質的評價，但並不代表 AI 已經在所有文學創作面向超越人類。短篇小說本身也可能影響結果。研究測試的是約 1,000 字的短篇作品，而不是完整長篇小說，因此研究結果主要反映 AI 在這類短篇創作上的表現，不能直接延伸為 AI 已經全面取代人類小說家。
這項研究最明顯的結果之一，是「作者是誰」會影響讀者如何看待同一類型的文字。AI 作品在不知道作者身分時可以獲得較高評價，但當讀者知道作品由 ChatGPT 生成後，評價便出現下降。
研究因此指出，AI 已經能夠生成讀者難以與人類作品區分的短篇創作，但讀者對 AI 創作能力的認知，與他們實際閱讀作品後的判斷之間仍存在落差。
精彩短影
