「AI寫網(wǎng)文」能力測(cè)評(píng)第五彈:reka core

0 評(píng)論 1427 瀏覽 3 收藏 23 分鐘

本文深入探討了Reka core這款A(yù)I寫作輔助工具在創(chuàng)作網(wǎng)絡(luò)文學(xué)方面的性能和能力。通過一系列創(chuàng)意、大綱、人物和行文的測(cè)試問題,文章展示了Reka core在不同寫作場(chǎng)景下的表現(xiàn),并提供了對(duì)AI寫作工具的深入分析和評(píng)價(jià)。引導(dǎo)讀者了解AI如何輔助網(wǎng)絡(luò)文學(xué)創(chuàng)作,希望對(duì)你有所幫助。

Reka core,據(jù)說這款大模型由曾就職于DeepMind、Google Brain、OpenAI等公司的專家們組團(tuán),4個(gè)月內(nèi)肝出來,號(hào)稱比肩GPT-4。

這款大模型可提供128k上下文,從各種打分?jǐn)?shù)據(jù)來看,reka core性能和AI能力都有不俗表現(xiàn)。不過現(xiàn)在免費(fèi)體驗(yàn)reka的功能,僅支持4k上下文。

不管傳聞中reka的能力有多強(qiáng)、跑分有多高,我們關(guān)注的還是AI在輔助網(wǎng)文創(chuàng)作上的能力,因此,這次我們還是拿那24個(gè)問題來測(cè)測(cè)看。

創(chuàng)意類

創(chuàng)意類問題主要測(cè)試AI提供小說創(chuàng)意的能力,這里準(zhǔn)備了6個(gè)問題,其中問題1~3用于測(cè)試AI基于特定類型(歷史、科幻、玄幻)生成創(chuàng)意的能力,問題4~6用于測(cè)試AI基于特定情節(jié)主題(重生、娛樂圈、規(guī)則怪談)生成創(chuàng)意的能力。

問題1:我想要?jiǎng)?chuàng)作一部架空歷史的小說,希望采用類似中國古代背景,請(qǐng)你幫我設(shè)計(jì)故事梗概,要求:內(nèi)容新穎,情節(jié)曲折,涉及多方?jīng)_突

問題2:我想要?jiǎng)?chuàng)作一部科幻小說,需要與神經(jīng)科學(xué)和人工智能技術(shù)相關(guān),請(qǐng)你幫我設(shè)計(jì)故事梗概,要求:內(nèi)容新穎,情節(jié)曲折,涉及多方?jīng)_突

問題3:我想要?jiǎng)?chuàng)作一部玄幻小說,主角是一只上古妖獸(請(qǐng)你幫我確定這只上古妖獸的品種),請(qǐng)你幫我設(shè)計(jì)故事梗概,要求:內(nèi)容新穎,情節(jié)曲折,涉及多方?jīng)_突

問題4:我想要?jiǎng)?chuàng)作一部小說,主角重生歸來,請(qǐng)你幫我設(shè)計(jì)故事梗概,要求:內(nèi)容新穎,情節(jié)曲折,涉及多方?jīng)_突

問題5:我想要?jiǎng)?chuàng)作一部小說,故事主要發(fā)生在娛樂圈,請(qǐng)你幫我設(shè)計(jì)故事梗概,要求:內(nèi)容新穎,情節(jié)曲折,涉及多方?jīng)_突

問題6:我想要?jiǎng)?chuàng)作一部小說,主角意外卷入某種規(guī)則怪談(請(qǐng)你設(shè)計(jì)相應(yīng)規(guī)則)中,請(qǐng)你幫我設(shè)計(jì)故事梗概,要求:內(nèi)容新穎,情節(jié)曲折,涉及多方?jīng)_突

reka給出的這幾個(gè)創(chuàng)意有如下特點(diǎn):

  • reka給出的回答還是偏傳統(tǒng)小說,這些題材如果按照網(wǎng)文的風(fēng)格來設(shè)計(jì),故事走向之類的大概率不會(huì)如上述這樣設(shè)計(jì)。
  • reka在給情節(jié)創(chuàng)意的時(shí)候,會(huì)忍不住往偏西方的題材、價(jià)值觀上靠,最典型的就是問題3要求的玄幻題材,帶上了西幻的味道。當(dāng)然,reka是國外的產(chǎn)品,這一點(diǎn)無可厚非。

創(chuàng)意性上,我感覺reka的表現(xiàn)會(huì)比GPT4好一些。可能是來自對(duì)問題2的刻板印象吧,之前問題2撞梗的產(chǎn)品太多了,能給出新創(chuàng)意的我就忍不住認(rèn)為它棒棒噠??。

大綱類

大綱類問題暫不考慮設(shè)定方面的生成,而是以情節(jié)主線設(shè)計(jì)為主,這里準(zhǔn)備了6個(gè)問題,用于測(cè)試AI面向不同主題(復(fù)仇、探險(xiǎn)、愛情、權(quán)謀、懸疑、升級(jí))編排情節(jié)的能力。

問題7:我正在創(chuàng)作一部仙俠小說,主角本是修行天才,遭遇同門算計(jì)差點(diǎn)生死道消,醒來時(shí)已經(jīng)變成了一個(gè)廢人。請(qǐng)你以此為背景,提供10個(gè)情節(jié)創(chuàng)意,使主角一步一步完成復(fù)仇,并成功飛升。要求:每個(gè)情節(jié)都需提供沖突事件、矛盾升級(jí)、高潮、結(jié)尾的梗概描述,內(nèi)容要新穎

問題8:我正在創(chuàng)作一部都市異能小說,主角是一名高二學(xué)生,擁有電磁操控超能力,但某一天他的超能力被一伙神秘人剝奪,導(dǎo)致他只剩下24小時(shí)的生命。請(qǐng)你以此為背景,提供10個(gè)情節(jié)創(chuàng)意,使主角完成自救,并一步一步挖掘出神秘人的巨大陰謀,結(jié)識(shí)伙伴并與伙伴們一起一次次粉碎神秘人的行動(dòng),最終徹底消滅神秘人的組織。要求:每個(gè)情節(jié)都需提供沖突事件、矛盾升級(jí)、高潮、結(jié)尾的梗概描述,內(nèi)容要新穎

問題9:我正在創(chuàng)作一部愛情小說,女主誤以為男主設(shè)計(jì)害死自己,重生歸來想要找男主復(fù)仇。請(qǐng)你以此為背景,提供10個(gè)情節(jié)創(chuàng)意,使女主一步一步發(fā)現(xiàn)害死自己的人并不是男主,解開誤會(huì)并最終與男主走到一起。要求:每個(gè)情節(jié)都需提供沖突事件、矛盾升級(jí)、高潮、結(jié)尾的梗概描述,內(nèi)容要新穎

問題10:我正在創(chuàng)作一部架空歷史小說,主角一家遭遇奸人陷害而被抄家滅門,全家犧牲保護(hù)他一人成功逃走。請(qǐng)你以此為背景,提供10個(gè)情節(jié)創(chuàng)意,使主角一步一步從無名小輩,成為權(quán)傾朝野的宰相,并為死去的家人平反。要求:每個(gè)情節(jié)都需提供沖突事件、矛盾升級(jí)、高潮、結(jié)尾的梗概描述,內(nèi)容要新穎

問題11:我正在創(chuàng)作一部懸疑小說,主角是一名旅游主播,她來到一個(gè)遠(yuǎn)離城市的村落旅游,當(dāng)晚和她一起的同事就失蹤了。請(qǐng)你以此為背景,提供10個(gè)情節(jié)創(chuàng)意,使主角經(jīng)歷一系列冒險(xiǎn),最終發(fā)現(xiàn)同事失蹤的真相和藏在村子里的秘密。要求:每個(gè)情節(jié)都需提供沖突事件、矛盾升級(jí)、高潮、結(jié)尾的梗概描述,內(nèi)容要新穎

問題12:我正在創(chuàng)作一部小說,主角忽然獲得使時(shí)間停止3秒的能力,獲得他人真心感謝可以使此能力升級(jí)。請(qǐng)你以此為背景,提供10個(gè)情節(jié)創(chuàng)意,使主角獲得成長(zhǎng)。要求:每個(gè)情節(jié)都需提供沖突事件、矛盾升級(jí)、高潮、結(jié)尾的梗概描述,內(nèi)容要新穎

看完reka編排的情節(jié),我們不難發(fā)現(xiàn),這些情節(jié)編排缺少明確的故事線。其實(shí)每一個(gè)問題背后,都是有明確的故事線索的,比如復(fù)仇、升級(jí)、感情線等等,但是reka沒有通過10個(gè)情節(jié)將這些故事線展現(xiàn)出來,使得情節(jié)像是散裝的一樣,缺乏邏輯,我們無法看到主角如何一步一步成長(zhǎng)起來。

人物類

人物類問題主要測(cè)試AI進(jìn)行人物設(shè)定、以人物為中心的故事創(chuàng)作能力,這里準(zhǔn)備了5個(gè)問題,用于測(cè)試不同類型人物(主角、反派、戀人、伙伴、競(jìng)爭(zhēng)者)生成能力。

問題13:我正在創(chuàng)作一部科幻小說,說明如下:

故事發(fā)生在一個(gè)擁有超能力的世界,主角阿光一直隱瞞自己擁有超能力的秘密,但他在高二某天放學(xué)路上,被不法分子盯上強(qiáng)行剝離了他的超能力,陷入瀕死的危險(xiǎn)境地。阿光為了自救而踏上冒險(xiǎn)之旅,先后卷入黑市與地下研究所的紛爭(zhēng),逐步見識(shí)到隱藏在普通人世界之外的超能力者世界,那里充滿了不同勢(shì)力之間的爭(zhēng)斗。阿光從一個(gè)名不見經(jīng)傳的小人物,一路摸爬滾打成為超能力世界的王者。

請(qǐng)你幫我完成阿光的人物設(shè)定,并按照“英雄之旅”模型設(shè)計(jì)故事主要情節(jié)

問題14:我正在創(chuàng)作一部科幻小說,說明如下:

故事發(fā)生在一個(gè)擁有超能力的世界,主角阿光一直隱瞞自己擁有超能力的秘密,但他在高二某天放學(xué)路上,被不法分子盯上強(qiáng)行剝離了他的超能力,陷入瀕死的危險(xiǎn)境地。阿光為了自救而踏上冒險(xiǎn)之旅,先后卷入黑市與地下研究所的紛爭(zhēng),逐步見識(shí)到隱藏在普通人世界之外的超能力者世界,那里充滿了不同勢(shì)力之間的爭(zhēng)斗。阿光從一個(gè)名不見經(jīng)傳的小人物,一路摸爬滾打成為超能力世界的王者。

請(qǐng)基于上述故事梗概,完成反派人物設(shè)定,并請(qǐng)你扮演此人物,向我講述你過去的經(jīng)歷

問題15:我正在創(chuàng)作一部科幻小說,說明如下:

故事發(fā)生在一個(gè)擁有超能力的世界,主角阿光一直隱瞞自己擁有超能力的秘密,但他在高二某天放學(xué)路上,被不法分子盯上強(qiáng)行剝離了他的超能力,陷入瀕死的危險(xiǎn)境地。阿光為了自救而踏上冒險(xiǎn)之旅,先后卷入黑市與地下研究所的紛爭(zhēng),逐步見識(shí)到隱藏在普通人世界之外的超能力者世界,那里充滿了不同勢(shì)力之間的爭(zhēng)斗。阿光從一個(gè)名不見經(jīng)傳的小人物,一路摸爬滾打成為超能力世界的王者。

請(qǐng)基于上述故事梗概,設(shè)計(jì)一位女性角色,她將會(huì)是阿光的戀人,請(qǐng)你完成她的人物設(shè)定,并請(qǐng)你扮演她,向我講述你過去的經(jīng)歷

問題16:我正在創(chuàng)作一部科幻小說,說明如下:

故事發(fā)生在一個(gè)擁有超能力的世界,主角阿光一直隱瞞自己擁有超能力的秘密,但他在高二某天放學(xué)路上,被不法分子盯上強(qiáng)行剝離了他的超能力,陷入瀕死的危險(xiǎn)境地。阿光為了自救而踏上冒險(xiǎn)之旅,先后卷入黑市與地下研究所的紛爭(zhēng),逐步見識(shí)到隱藏在普通人世界之外的超能力者世界,那里充滿了不同勢(shì)力之間的爭(zhēng)斗。阿光從一個(gè)名不見經(jīng)傳的小人物,一路摸爬滾打成為超能力世界的王者。

請(qǐng)基于上述故事梗概,完成阿光某位伙伴的人物設(shè)定,并請(qǐng)你扮演此人物,向我講述你過去的經(jīng)歷

問題17:我正在創(chuàng)作一部科幻小說,說明如下:

故事發(fā)生在一個(gè)擁有超能力的世界,主角阿光一直隱瞞自己擁有超能力的秘密,但他在高二某天放學(xué)路上,被不法分子盯上強(qiáng)行剝離了他的超能力,陷入瀕死的危險(xiǎn)境地。阿光為了自救而踏上冒險(xiǎn)之旅,先后卷入黑市與地下研究所的紛爭(zhēng),逐步見識(shí)到隱藏在普通人世界之外的超能力者世界,那里充滿了不同勢(shì)力之間的爭(zhēng)斗。阿光從一個(gè)名不見經(jīng)傳的小人物,一路摸爬滾打成為超能力世界的王者。

請(qǐng)基于上述故事梗概,完成阿光某位競(jìng)爭(zhēng)者的人物設(shè)定,并請(qǐng)你扮演此人物,向我講述你過去的經(jīng)歷

一群沒有特點(diǎn)、缺少關(guān)聯(lián)的紙片人,無力吐槽。不知道是不是免費(fèi)版只有4k上下文的緣故,

reka生成的這群人物,算得上我測(cè)下來最差的回答了,沒什么啟發(fā)性,也沒給出多少實(shí)質(zhì)性的內(nèi)容。

行文類

行文類問題主要測(cè)試AI進(jìn)行小說正文創(chuàng)作的能力,這里準(zhǔn)備了7個(gè)問題,其中問題18~21用于測(cè)試AI的描寫(環(huán)境、物品、人物、動(dòng)作)內(nèi)容生成能力,問題22~24用于測(cè)試AI情節(jié)(沖突、驚悚、儀式)擴(kuò)寫能力。

問題18:請(qǐng)你扮演一位17歲的女生,第一次來到菜場(chǎng)買菜,請(qǐng)你寫一段對(duì)菜場(chǎng)嘈雜、混亂環(huán)境的描寫,要求為原創(chuàng),不少于300字

問題19:請(qǐng)你扮演一位美食主播,你來到一家餐廳探店,店家端上來了一盤剁椒魚頭,請(qǐng)你寫創(chuàng)作一段對(duì)剁椒魚頭色香味的描寫,要求為原創(chuàng),不少于300字

問題20:請(qǐng)你扮演一位專柜導(dǎo)購,一名女士走入店中,她穿著樸素但氣質(zhì)不凡,請(qǐng)你創(chuàng)作一段對(duì)這位女士外貌與言行舉止的描寫,要求為原創(chuàng),不少于300字

問題21:請(qǐng)你扮演一位古法造紙工匠,向我介紹古法造紙的操作方法,要求為原創(chuàng),不少于300字

問題22:我正在寫一部小說,情節(jié)如下:

籃球場(chǎng)上,張三成功搶走李四的球,隨后兩隊(duì)球員針鋒相對(duì),最終演變成兩隊(duì)的暴力沖突。

請(qǐng)你幫我為以上場(chǎng)景添加更多細(xì)節(jié),擴(kuò)展成一篇不低于500字的文章,要求為原創(chuàng)

問題23:我正在寫一部小說,有一個(gè)情節(jié)是主角王五來荒村探險(xiǎn),進(jìn)入某間廢棄別墅躲雨,但在進(jìn)入別墅后,王五遇到了種種怪事。請(qǐng)你從王五進(jìn)入別墅開始,運(yùn)用五感添加更多細(xì)節(jié),營造驚悚恐怖的氛圍,寫成一篇不低于500字的文章,要求為原創(chuàng)

問題24:我正在寫一部小說,主角張小花被綁架到某地下室,發(fā)現(xiàn)自己身處某神秘的儀式中。請(qǐng)你從張小花在地下室醒來開始,運(yùn)用五感添加更多細(xì)節(jié),詳細(xì)描述儀式過程和張小花的感受,營造緊張和神秘的氣氛,寫成一篇不低于500字的文章,要求為原創(chuàng)

單單看描寫的話,reka還是會(huì)有浮夸、抽象的問題,加入情節(jié)之后,reka的表現(xiàn)會(huì)好很多。但是吧,我感覺reka寫的故事,邏輯問題還是挺多的,比如問題23進(jìn)入廢棄別墅躲雨看到陽光(有陽光還躲雨?說好的驚悚呢?),比如問題24掙脫繩子居然就輕輕松松跑掉了。這行文,很不走心呀……

小結(jié)

從24個(gè)問題的測(cè)試結(jié)果來看,reka的表現(xiàn)一般般,并不出彩。

當(dāng)然啦,正如我之前文章里說的,這24個(gè)問題的設(shè)計(jì)其實(shí)還比較淺,我們只能拿來大致摸摸底,不足以直接下結(jié)論。創(chuàng)作一部小說,涉及的內(nèi)容多而雜,很多東西還是需要跟AI更深度地交互才能看清楚。AI在某些方面表現(xiàn)突出,也可能在其他方面拉胯。

眼下表現(xiàn)一般可能說明,后續(xù)我們?cè)谔岢鱿嚓P(guān)問題的時(shí)候,對(duì)提示詞的處理需要更細(xì)致,才能得出接近預(yù)期的結(jié)果。

Reka比較好的一點(diǎn)是,不像Claude一樣動(dòng)不動(dòng)就封號(hào),感興趣的小伙伴們不妨親自體驗(yàn)一下。

本文由人人都是產(chǎn)品經(jīng)理作者【不知】,微信公眾號(hào):【不知】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒評(píng)論,等你發(fā)揮!