上篇我們提到AI在批改中的應(yīng)用，to G更多看資源和政策，能否吃到一波紅利，to C應(yīng)用上其價(jià)值感有待進(jìn)一步挖掘，難以形成用戶的核心賣點(diǎn)；內(nèi)部提效，是當(dāng)前比較好的一個(gè)選擇，今天我們具體聊聊內(nèi)部提效系統(tǒng)的設(shè)計(jì)。

一、業(yè)務(wù)流程

雖說(shuō)是針對(duì)批改環(huán)節(jié)的設(shè)計(jì)，但因作答系統(tǒng)輸入的不同，對(duì)批改端的能力及接口方式也有很大的差異。

從完整流程上來(lái)看，總體分為四個(gè)環(huán)節(jié)：題庫(kù)系統(tǒng)、組卷系統(tǒng)、作答系統(tǒng)、批改系統(tǒng)

在實(shí)際的業(yè)務(wù)場(chǎng)景中，由于各種原因會(huì)導(dǎo)致線上化程度不同。根據(jù)作答系統(tǒng)提交的數(shù)據(jù)形式，可以分為以下幾種情況。

• 情況1：線上化作答，提供到批改系統(tǒng)的為結(jié)構(gòu)化數(shù)據(jù)，含提干及作答內(nèi)容。
• 情況2：部分線上化，提干線上化展示，作答內(nèi)容以圖片等非結(jié)構(gòu)化形式提交
• 情況3：全線下形式，提干及作答內(nèi)容均以圖片等非結(jié)構(gòu)化形式提交

針對(duì)以上3種不同的情況，在批改系統(tǒng)中需要建設(shè)的能力也會(huì)有一定差異

二、批改系統(tǒng)設(shè)計(jì)

2.1 批改系統(tǒng)任務(wù)流

從上述圖中，我們可以把批改分為以下環(huán)節(jié)：創(chuàng)建任務(wù)ID、任務(wù)拆解、題目拆解（拆解出題目ID、題目?jī)?nèi)容、作答內(nèi)容）、批改規(guī)則、批改結(jié)果、合并批改結(jié)果、人工校準(zhǔn)發(fā)布

針對(duì)第一部分提到的不同提交數(shù)據(jù)形式，核心影響到的是任務(wù)拆解和題目拆解的不同

情況1無(wú)需系統(tǒng)處理，情況2和3都需要系統(tǒng)做不同程度處理

2.2 題目拆解

若作答系統(tǒng)提交的信息為非結(jié)構(gòu)內(nèi)容

那就需要借助OCR或者ASR的能力，將提交的內(nèi)容進(jìn)行結(jié)構(gòu)化拆解

如上圖，需要識(shí)別拆分出題目序號(hào)、作答內(nèi)容、結(jié)果等

這個(gè)環(huán)節(jié)對(duì)后續(xù)批改精度有很重要的作用，主要會(huì)存在以下問(wèn)題：

• 手寫(xiě)內(nèi)容識(shí)別不準(zhǔn)
• 拍照清晰度不夠
• 視頻或者音頻中存在一些干擾聲音等
• 識(shí)別內(nèi)容文本化時(shí)，難以拆解到題目ID、作答內(nèi)容等

針對(duì)以上問(wèn)題，需要做的應(yīng)對(duì)是

• 作答系統(tǒng)盡量保證提交內(nèi)容的完整、清晰
• 對(duì)比市面上不同的OCR、ASR能力，做一定的數(shù)據(jù)探查
• 可能需要進(jìn)行一定數(shù)量級(jí)的標(biāo)注，來(lái)進(jìn)行模型訓(xùn)練以提升準(zhǔn)確率

2.3 批改

這個(gè)環(huán)節(jié)是AI發(fā)揮作用的重要節(jié)點(diǎn)

傳統(tǒng)的批改工具會(huì)根據(jù)客觀題答案比對(duì)

或者是通過(guò)部分的工程規(guī)則，來(lái)對(duì)主觀題的部分維度進(jìn)行批改

存在的核心問(wèn)題：

• 比較難做到分步驟打分
• 主觀題的評(píng)價(jià)方式及體系相對(duì)比較單一
• 如果需要進(jìn)行調(diào)優(yōu)，需要進(jìn)行比較多的工程規(guī)則調(diào)整

如果采用AI模型

只需在chatgpt4.0或者其他比較成熟的開(kāi)源模型上略微調(diào)優(yōu)

基本就能實(shí)現(xiàn)智能化批改

而批改的準(zhǔn)確性或者豐富性

完全可以通過(guò)promote即可

極大程度提升了優(yōu)化迭代效率

例如下圖prompt可被用于作文批改

2.4 調(diào)優(yōu)迭代

為了實(shí)現(xiàn)業(yè)務(wù)流程的真正優(yōu)化，關(guān)鍵在于提升批改作業(yè)的準(zhǔn)確性和直接可用性。

如果AI批改的結(jié)果需要教師花費(fèi)大量時(shí)間進(jìn)行校對(duì)和調(diào)整，那么這樣的效率提升就失去了意義。

因此，我們的目標(biāo)是將AI模型訓(xùn)練至至少80%的準(zhǔn)確率，以確保其在實(shí)際應(yīng)用中的價(jià)值。

要達(dá)到80%以上的準(zhǔn)確率，我們需要關(guān)注兩個(gè)核心環(huán)節(jié)：

1. 題目拆解：這一步驟要求我們將復(fù)雜的提交內(nèi)容分解成更小、更易于處理的部分，以便AI能夠更精確地理解和評(píng)估每個(gè)部分。
2. 批改優(yōu)化：在這一環(huán)節(jié)，我們對(duì)AI批改的結(jié)果與人工比對(duì)，針對(duì)bad case進(jìn)行模型或者prompt調(diào)優(yōu)

2.5 體現(xiàn)人工感

在批改服務(wù)的最后階段，

至關(guān)重要的一點(diǎn)是將批改結(jié)果以一種直觀且具有手工感的方式呈現(xiàn)在作答系統(tǒng)中。

我們必須認(rèn)識(shí)到，從家長(zhǎng)的角度來(lái)看，他們期待的是教師對(duì)孩子的作業(yè)投入真正的關(guān)注和心思，

精準(zhǔn)地發(fā)現(xiàn)孩子在學(xué)習(xí)過(guò)程中的薄弱環(huán)節(jié)，并據(jù)此提供幫助，以促進(jìn)孩子的成長(zhǎng)和進(jìn)步。

因此，批改結(jié)果的呈現(xiàn)方式不應(yīng)過(guò)于機(jī)械化或系統(tǒng)化，

以免削弱家長(zhǎng)對(duì)課程價(jià)值的認(rèn)可和信任。

我們需要通過(guò)精心設(shè)計(jì)的用戶界面和反饋機(jī)制，讓家長(zhǎng)感受到教師的用心和專業(yè)，從而增強(qiáng)他們對(duì)課程的滿意度和忠誠(chéng)度。

如下圖，右圖更能表現(xiàn)出人工批改效果。

通過(guò)這種方式，我們不僅能夠提升家長(zhǎng)的體驗(yàn)，還能夠確保教育服務(wù)的質(zhì)量和效果，讓家長(zhǎng)確信他們的選擇是正確的，并且他們的投資是值得的。

三、總結(jié)

許多人可能會(huì)認(rèn)為，AI批改與傳統(tǒng)批改在表面上看起來(lái)并沒(méi)有太大的差異。

然而，我們必須深刻理解，新技術(shù)的發(fā)展并非一蹴而就，而是一個(gè)漸進(jìn)替代的過(guò)程。

從提交作業(yè)、識(shí)別內(nèi)容、批改作業(yè)到提供反饋，當(dāng)前技術(shù)可能只能優(yōu)化部分環(huán)節(jié)，但隨著技術(shù)的不斷進(jìn)步，整個(gè)流程有望得到完善。

事實(shí)上，目前一些前沿技術(shù)已經(jīng)在探索端到端的解決方案。

AI技術(shù)可以直接讀取圖像并提供批改結(jié)果，無(wú)需中間的文本轉(zhuǎn)換步驟。

但無(wú)論技術(shù)發(fā)展到何種程度，作為產(chǎn)品的核心能力始終不變——那就是對(duì)業(yè)務(wù)的深刻理解和精準(zhǔn)把握。

這種對(duì)業(yè)務(wù)的深刻洞察，是我們?cè)诩夹g(shù)浪潮中保持競(jìng)爭(zhēng)力的關(guān)鍵。

它確保我們能夠準(zhǔn)確識(shí)別用戶需求，優(yōu)化產(chǎn)品功能，從而在教育領(lǐng)域中提供更加高效、個(gè)性化的服務(wù)。