字節(jié)【大模型評(píng)測(cè)平臺(tái)】產(chǎn)品崗-面試總結(jié)與復(fù)盤
在面試的過程中,我們總可能遇到這樣或者那樣的困難和疑問,這個(gè)時(shí)候,我們不妨多看看別人的面經(jīng)。這篇文章里,作者就分享了自己面試復(fù)盤總結(jié),包括面試前準(zhǔn)備、面試中表現(xiàn)及面試后思考,一起來(lái)看看吧。
此篇文章,旨在為個(gè)人24年年后復(fù)工第一面的全面總結(jié)回顧,包括面試前準(zhǔn)備、面試中表現(xiàn)及面試后思考,以期幫助自我成長(zhǎng),也期望將此次寶貴的面試過程分享出來(lái),幫助更多產(chǎn)品er輕松拿捏面試,尤其為那些爭(zhēng)取大模型相關(guān)崗位、字節(jié)跳動(dòng)公司崗位的產(chǎn)品er們提供一些參考~
注:本次分享,并無(wú)任何冒犯面試官、HR、字節(jié)等公司的意圖,旨在客觀回顧、分析整場(chǎng)面試經(jīng)歷,為自己、為他人提供一個(gè)借鑒與參考~
一、面試過程回顧
- 面試崗位:字節(jié)跳動(dòng)-大模型評(píng)測(cè)平臺(tái)產(chǎn)品崗(投的不是這個(gè)崗,后被轉(zhuǎn)到這個(gè)崗面,但HR全程無(wú)告知,我自己發(fā)現(xiàn)JD不一樣,但HR給我的回復(fù)是:面試官一樣、面試流程一樣。//我就不做過多評(píng)價(jià)了…大家自行體會(huì)HR的專業(yè)性~);
- 面試時(shí)間:3.5晚7:00(面試官推遲了2次時(shí)間后定的時(shí)間)
- 面試總時(shí)長(zhǎng):50min+(40min面試官想結(jié)束了,被我硬拖了10多分鐘…)
- 本場(chǎng)面試問題及過程回顧(字?jǐn)?shù)過多…可跳過直接看【面試總結(jié)】):以下是面試經(jīng)過:
(1)面試官?zèng)]有主動(dòng)自我介紹,關(guān)于遲到+推遲時(shí)間也沒有任何解釋——這在我所有面試?yán)?,都是比較罕見的(可能我面的還不夠多,或者過于理想化)。
建議其它面試者面對(duì)這種情況,也不要慌亂,把這種歸為“正?!鼻闆r處理即可~
(2)面試的第一個(gè)問題不是自我介紹,而是問我對(duì)面的什么崗位了解不?需要我給你講講不?
這里有些小插曲,我以為這句話的意思是,他已經(jīng)知道我起初投的崗和要面的崗并不是一個(gè)這個(gè)前提,所以過來(lái)問我準(zhǔn)備好沒有、是否要他講講之類的。但我的一些回答,現(xiàn)在想想…直接注定了這場(chǎng)面試的失敗。
我說(shuō)我起初投的AIGC的,JD比較泛,后面轉(zhuǎn)到這個(gè)評(píng)測(cè)崗,我認(rèn)為我過往經(jīng)歷也挺合適的,我也挺感興趣的,所以就也準(zhǔn)備著了。我說(shuō)我仔細(xì)看了這個(gè)JD,而且一直準(zhǔn)備的就是這個(gè)崗,我大致知道,不用詳細(xì)介紹了…(實(shí)際可以讓他介紹一下,我為什么沒讓他介紹呢?我一直尋思著,這就開始了么,怎么不讓我自我介紹呢?)。
這里,通過面試官的表情和行為,馬后炮地猜測(cè)一下面試官的心理:面試者起初投遞的并不是這個(gè)崗位,我還要面她這個(gè)崗…這不是浪費(fèi)時(shí)間么?我還有很多活沒干完…
(3)他讓我直接說(shuō)一個(gè)最近的項(xiàng)目。額..自我介紹呢?我沒有順著他,我還是簡(jiǎn)單地做了個(gè)自我介紹(我不知道這樣對(duì)不對(duì),但我還是想做一個(gè)自我介紹)?!@里在他那估計(jì)也是扣分項(xiàng),不聽他的問題。
(4)自我介紹完了之后。面試官說(shuō),好,那你說(shuō)一個(gè)你做的項(xiàng)目吧。
我說(shuō)好,我說(shuō)我做的xxx產(chǎn)品,我跟他說(shuō)我先講一下這個(gè)產(chǎn)品是什么,然后我說(shuō)我再展開講為什么做、我怎么做的、結(jié)果如何。他沒吭聲,我就繼續(xù)講~
在我講完這個(gè)產(chǎn)品是什么,以及在用STAR法則展開講到我具體產(chǎn)品規(guī)劃完,該到產(chǎn)品設(shè)計(jì)的時(shí)候,他開始打斷,認(rèn)為我講的過于宏觀,不聽了。
——1個(gè)項(xiàng)目介紹5min時(shí)間,應(yīng)該不算長(zhǎng)吧?我自己面試前練習(xí)過,整個(gè)項(xiàng)目介紹也就5-6min。
——所以,在講產(chǎn)品規(guī)劃時(shí),即使是宏觀的東西,也要講的具體,比如調(diào)研了多少份報(bào)告、走訪了多少個(gè)客戶,遠(yuǎn)比你說(shuō)“運(yùn)用xxx方法論”…更有信服力。
(5)okay,那我停。聽他問問題。
他問(Q1):你這個(gè)產(chǎn)品里面有幾個(gè)模型?都是啥模型?模型怎么工程化到產(chǎn)品里面的?以及產(chǎn)品的指標(biāo)是準(zhǔn)確率還是什么?如何評(píng)估的?
我答:我們產(chǎn)品里面的模型主要有文本分類、圖像分類模型,文本分類模型我們是多個(gè)二分類模型,圖像分類是一個(gè)多分類模型,像涉穩(wěn)、涉政、涉恐這些,客戶核心關(guān)注的一些涉政的 標(biāo)簽,我們也會(huì)拆到3個(gè)層級(jí),模型個(gè)數(shù)具體也沒細(xì)數(shù),一共有16個(gè)模型吧,一共16個(gè)。
然后我們這個(gè)產(chǎn)品的評(píng)估指標(biāo)分為兩個(gè)層次,一個(gè)是業(yè)務(wù)層面的指標(biāo),比如線索發(fā)現(xiàn)準(zhǔn)確率;一個(gè)是模型層面的指標(biāo),像精確、召回、F1值這些。
關(guān)于線上業(yè)務(wù)準(zhǔn)確率效果指標(biāo)如何評(píng)估的,我們是這么做的:
先根據(jù)業(yè)務(wù)需求制定評(píng)估指標(biāo),然后對(duì)模型基于前期準(zhǔn)備的測(cè)試集進(jìn)行測(cè)試,然后采用人工評(píng)估和自動(dòng)化評(píng)估相結(jié)合的方式對(duì)模型效果進(jìn)行評(píng)估,評(píng)估完之后,對(duì)一些業(yè)務(wù)效果不好的case進(jìn)行分析,然后后續(xù)基于此進(jìn)行優(yōu)化。
然后關(guān)于模型效果指標(biāo)的評(píng)估,我們主要是在模型出廠正式上線前進(jìn)行精確、召回、f1的離線評(píng)估。像我們這個(gè)場(chǎng)景,我們線上業(yè)務(wù)指標(biāo)主要考慮的是精確率,因?yàn)闆]辦法評(píng)估召回。
他打斷問到(Q2):你們和客戶說(shuō)準(zhǔn)確率指標(biāo),模型的這些指標(biāo),客戶認(rèn)嗎?為何不能評(píng)估召回?不是測(cè)試集上就能評(píng)么?
我答:我說(shuō)客戶認(rèn)的。像一些違法犯罪的分類準(zhǔn)確率,文本分類、圖像分類這些,客戶已經(jīng)被“教育”的很好了,被培訓(xùn)的很好了,客戶都知道的,而且在我們這個(gè)場(chǎng)景里,模型指標(biāo)基本上就等同于業(yè)務(wù)指標(biāo)了。
我解釋為何線上場(chǎng)景不能評(píng)估召回率的原因:我說(shuō)海量的信息,因?yàn)椴荒茴A(yù)判到底有多少違法犯罪,所以只能評(píng)估精確率。但是在模型效果評(píng)估層面,就可以評(píng)估精確、召回和f1了,因?yàn)闇y(cè)試樣本是有限的。
他繼續(xù)問到(Q3):你說(shuō)你們產(chǎn)品是網(wǎng)絡(luò)內(nèi)容安全領(lǐng)域,那你們處理的內(nèi)容是啥內(nèi)容?以及這個(gè)內(nèi)容治理的整個(gè)鏈路是什么?
我答:我們這個(gè)產(chǎn)品里面的內(nèi)容,主要是網(wǎng)絡(luò)上采集到的文本數(shù)據(jù)、圖片數(shù)據(jù)、還有短視頻數(shù)據(jù),我們使用的模型有文本分類、圖像分類模型還有一些關(guān)鍵詞策略模型,包括涉穩(wěn)、涉恐、涉政、涉違法犯罪這些,然后給文本、圖片打上相應(yīng)的標(biāo)簽。
整個(gè)內(nèi)容的治理鏈路就是:先從網(wǎng)上采數(shù)據(jù),然后過模型對(duì)數(shù)據(jù)進(jìn)行分類,打上相應(yīng)的類別標(biāo)簽,然后進(jìn)行信息預(yù)警,體現(xiàn)在業(yè)務(wù)前臺(tái)上就是信息預(yù)警。
他說(shuō),好的。他問(Q4):那你們這個(gè)信息預(yù)警的線上效果如何觀測(cè)?
我答:我說(shuō),線上效果一方面是我這邊會(huì)去使用產(chǎn)品,發(fā)現(xiàn)問題;另一方面是收集客戶反饋給我們的問題,然后分析問題原因,然后去針對(duì)性解決。如果是數(shù)據(jù)層面的比如數(shù)據(jù)質(zhì)量差,我們就相應(yīng)的解決數(shù)據(jù)問題,比如數(shù)據(jù)量不夠,還是標(biāo)注的質(zhì)量不夠,就相應(yīng)的去解決。如果數(shù)據(jù)沒問題,是算法層面的原因,那就優(yōu)化算法,由算法工程師去優(yōu)化。
他問(Q5):你們有沒有線上反饋打分的機(jī)制?
我答:我們這個(gè)xx產(chǎn)品,目前沒有這個(gè)機(jī)制,沒做,因?yàn)槭腔诋a(chǎn)品當(dāng)下的一個(gè)重心資源情況,決定先不做這塊,但未來(lái)會(huì)考慮做這方面的功能,人機(jī)協(xié)同嘛。但是我在百度做的幾個(gè)產(chǎn)品,像xxx、xxx產(chǎn)品,發(fā)現(xiàn)了一些問題上報(bào)給客戶之后,客戶那邊的問題處置流轉(zhuǎn)系統(tǒng)里面,會(huì)有相應(yīng)的人工反饋、人工打分的機(jī)制,反饋給我們,我們基于這些問題去優(yōu)化。
他答:奧。他繼續(xù)問(Q6):那你知道什么是過擬合嗎?
我答:知道。過擬合的一個(gè)原因,主要是樣本分布不均衡導(dǎo)致的,比如一個(gè)分類模型,有的樣本類別數(shù)據(jù)特別多,有的類別樣本特別少,那這樣訓(xùn)出來(lái)的模型就會(huì)過擬合。過擬合可以在模型訓(xùn)練前,將訓(xùn)練數(shù)據(jù)樣本盡量搞成均衡分布的,就可以解決這個(gè)問題了。(我忘記答什么是過擬合了,答非所問了)
他問(Q7):那如果像一些模型,刻意給他訓(xùn)成過擬合了,你怎么識(shí)別?
我答:(此處空白了一會(huì))。額,這個(gè)一般都是算法去優(yōu)化。
他問(Q8):那到底什么是過擬合?
我答:就是模型在一部分?jǐn)?shù)據(jù)集上效果表現(xiàn)的非常好,準(zhǔn)確率能有98%、99%,但是在另一部分?jǐn)?shù)據(jù)集上測(cè)試,效果就很差,比如可能只有50%,甚至50%都不到。
他說(shuō):嗯是的。他繼續(xù)問(Q9):那你這個(gè)都是小模型的一些評(píng)估,大模型的評(píng)估知道嗎?我看你那個(gè)xx功能里,寫了大模型。有對(duì)比過大模型和小模型的效果嗎?
我答:知道,我們那個(gè)xx里,就用了大模型,我們主要對(duì)客戶指定網(wǎng)站上的一些文章,然后運(yùn)用大模型對(duì)其進(jìn)行總結(jié)和要點(diǎn)提煉,生成日?qǐng)?bào)月報(bào),報(bào)送給我們的訂閱客戶們。我們?cè)谶M(jìn)行技術(shù)選型時(shí),是有對(duì)比大模型效果和小模型效果的,比如百度的那個(gè)NLP抽取模型什么的,但是最終考慮到我們這個(gè)場(chǎng)景針對(duì)的都是一些長(zhǎng)文本,對(duì)模型能力要求很高,所以就最終還是選擇了大模型。
他接著問(Q10):小模型和大模型評(píng)估,都有準(zhǔn)確、召回這些指標(biāo),這些都是基本的。那除了這些,大模型評(píng)估和小模型評(píng)估有哪些差異?知道嗎?
我答:嗯,是的。首先不論是大模型還是小模型,其評(píng)估過程都是類似的,都需要評(píng)估指標(biāo),然后設(shè)計(jì)評(píng)估方案,然后進(jìn)行評(píng)估。但是大模型評(píng)估和小模型評(píng)估還是有非常大的差異的,差異我認(rèn)為主要有這樣幾個(gè)方面:
第一,大模型因?yàn)槠浔旧砟芰μ攸c(diǎn),泛化能力特別強(qiáng),所以其評(píng)估任務(wù)之一 就是要評(píng)估他的通用性、泛化能力。
第二,大模型的評(píng)估非常耗資源,而且會(huì)需要一些專門的評(píng)估工具會(huì)評(píng)估平臺(tái)來(lái)評(píng)估。
第三,大模型的安全性和倫理也是需要重點(diǎn)考慮的,我覺得。
也就是總的來(lái)說(shuō),大模型和小模型評(píng)估的差異在于,大模型需要評(píng)估泛化能力,以及評(píng)估難度更大、評(píng)估指標(biāo)和評(píng)估體系復(fù)雜,需要考慮很多東西,還有安全性隱私性問題等等。
他答:嗯。繼續(xù)問(Q11):那你覺得大模型評(píng)估都應(yīng)該包括哪些方面?
我答:嗯,剛剛說(shuō)的通用泛化能力、安全性問題、還有就是在一些特定領(lǐng)域任務(wù)上的效果。比如我們那個(gè)運(yùn)用大模型生成月報(bào)的功能,就需要針對(duì)具體的業(yè)務(wù)場(chǎng)景來(lái)評(píng)測(cè)。像通用泛化能力評(píng)估,可以用一些比如說(shuō)像一些權(quán)威的數(shù)據(jù)集,比如GLUE、superGLUE這些英文的常見的NLP任務(wù)評(píng)估集,有問答的、情感分析的、分類的等等,在這個(gè)上可以去評(píng)通用泛化能力。
他答/問:嗯呢是的,GLUE,嗯 superGLUE(點(diǎn)頭了)。那像一些榜單,C-Eval,我插話了:我說(shuō)是的,C-Eval這些榜單。他問:那你怎么保證或怎么識(shí)別,他們的一些結(jié)果可能是過擬合的?
我答:嗯,首先這個(gè)好像也沒辦法避免,因?yàn)槌笠?guī)模的模型,我們也沒辦法保證哪些語(yǔ)料他們訓(xùn)模型用過了,哪些訓(xùn)模型時(shí)候沒用過。
他問(Q12):你現(xiàn)在離職還是在職?看你在xxx工作了1年半不到。
我說(shuō):我離職了,我xx離職的,我是主動(dòng)辭職的,兩家公司,都是我主動(dòng)辭的,不是被裁的。
他問(Q13):xx看起來(lái)挺大的一個(gè)國(guó)企還是央企,為什么離職呢?
我答:這里我主要圍繞著個(gè)人規(guī)劃和公司提供的平臺(tái)不符合,但也很感激前公司,這樣去回答的。我提到了上中下游。
他問(Q14):什么是上游、中游、下游?
我說(shuō):以這個(gè)模型這個(gè)鏈路為例。上游就是模型生產(chǎn)商,中游就是提供模型平臺(tái)的這樣的廠商,鏈接供需雙方的廠商,而上游是像政務(wù)、電商、出行這些應(yīng)用。而我自己一直想鍛煉的是自己平臺(tái)化的能力這塊,目標(biāo)崗位就是這樣的。
他說(shuō):奧也就是,大模型平臺(tái)能力唄?
我:(emmmm)(心想,什么跟什么啊?)嗯,對(duì)。
他說(shuō)(Q15):我們也聊了四十多分鐘了,你有什么想要問我的么?
我說(shuō):那我想問一個(gè)比較具體的問題,就我剛剛回答的不太好的那個(gè)問題,怎么去識(shí)別過擬合?過擬合有什么特征?
他答:此處省略50字,他說(shuō)了挺多,在解釋過擬合的現(xiàn)象(和我前面說(shuō)的基本沒差,就是一些任務(wù)上表現(xiàn)很好,一些任務(wù)上表現(xiàn)的效果很差….)最終好像扯到了大模型一些榜單的結(jié)果并不可信,然后他們都是根據(jù)自己的業(yè)務(wù)來(lái)具體評(píng),那些榜單也會(huì)去參考,但自己也會(huì)去評(píng)估。搞一些黑盒測(cè)試、盲評(píng)、眾包、甚至是一些沒有標(biāo)準(zhǔn)的評(píng)估方法….
我緊接著又問了一個(gè)問題:想知道咱們這個(gè)目標(biāo)崗位做的產(chǎn)品,是對(duì)內(nèi)部的還是對(duì)外的。(額…針對(duì)上個(gè)問題,我貌似沒有說(shuō)謝謝面試官之類的,忘了)。
他答:暫時(shí)是for內(nèi)部的,評(píng)大模型的業(yè)務(wù)效果,針對(duì)字節(jié)的各種業(yè)務(wù),比如說(shuō)抖音的一些特效,生成的圖片的效果。
我問:那模型是字節(jié)自研的,還是外部模型也會(huì)評(píng)估?
他答:都有,會(huì)根據(jù)實(shí)際情況,比如像一些開源的Midjourney,SD這些也會(huì)去評(píng)。根據(jù)具體的業(yè)務(wù)情況來(lái)評(píng)。
我又追著問:我說(shuō)那這個(gè)業(yè)務(wù)指標(biāo)都是業(yè)務(wù)PM來(lái)主要負(fù)責(zé)唄,平臺(tái)化PM會(huì)去制定么?
他答:平臺(tái)化PM也會(huì)去跟業(yè)務(wù)對(duì)接什么的嘛,肯定也是要制定的。
我又說(shuō):這里我講了挺多,主要是想突出自己過往的經(jīng)歷既有業(yè)務(wù)PM經(jīng)驗(yàn),也有平臺(tái)型產(chǎn)品經(jīng)驗(yàn),但面試官貌似不是很感冒,明顯感到聽不進(jìn)去…
他:一直揉頭發(fā),liao額頭上的頭發(fā)。(我感覺到,他好像沒太聽懂….有點(diǎn)不耐煩了…)ernie?
我:百度的文心大模型啊,ernie。
他:行。那我們回去商量下,后面有結(jié)果告訴你。我:好的面試官。他:那今天就先這樣。
我:好的面試官。他:辛苦了。我:您也辛苦了,謝謝面試官。他:拜拜。我:拜拜。
二、面試感受與總結(jié)
1)整場(chǎng)面試體驗(yàn)差
雙方愉悅的面試體驗(yàn),是求職者與面試官所希望得到的。但現(xiàn)實(shí)中,往往也會(huì)出現(xiàn)面試不愉悅的情況,面試也是看緣分和氣場(chǎng)。所以我們也不要因?yàn)橐淮蚊嬖嚕蛻岩勺约旱哪芰?。?fù)面的事情,能從中學(xué)到對(duì)自己有益的事情,也是收獲、也是成長(zhǎng)~
2)本場(chǎng)面試問題匯總(崗位是大模型評(píng)測(cè)平臺(tái)產(chǎn)品崗位):
- 介紹項(xiàng)目;
- 你們產(chǎn)品xxx,有多少個(gè)模型?模型指標(biāo)是如何評(píng)價(jià)的?
- 什么這個(gè)產(chǎn)品治理的內(nèi)容是什么,以及內(nèi)容治理的治理鏈路是什么?
- 是過擬合?如何發(fā)現(xiàn)過擬合?
- 大模型評(píng)測(cè)與小模型評(píng)測(cè)異同?
- 對(duì)目標(biāo)崗位的理解
- 離職原因
- 你有什么想問我的么?
3)面試不足與改進(jìn)
不足①:答非所問。比如面試官?zèng)]讓自我介紹,我卻做了自我介紹。這可能是個(gè)例情況,但要避免答非所問。比如問我對(duì)目標(biāo)崗位是否了解,我不應(yīng)該扯那么多,什么投的不是這個(gè)之類的……完全是給自己不合適找依據(jù)……
不足②:?jiǎn)栴}回答語(yǔ)言不夠精煉、且空洞套話易引起反感、且前后存在矛盾。許多問題準(zhǔn)備不充分,或平時(shí)積累不深入。比如“過擬合問題如何發(fā)現(xiàn)?”(雖然我答上了什么是過擬合,但對(duì)于怎么發(fā)現(xiàn)回答的不好)。再比如項(xiàng)目介紹被打斷,根本原因在于說(shuō)的太寬、太空泛,無(wú)數(shù)字實(shí)例,不夠打動(dòng)人。比如產(chǎn)品指標(biāo),我一開始僅回答了一個(gè)產(chǎn)品的過程性指標(biāo)(信息預(yù)警準(zhǔn)確率),雖說(shuō)這個(gè)模塊也單獨(dú)對(duì)外使用,但實(shí)際我們的核心指標(biāo)是線索最終落地的核查率。就好比電商產(chǎn)品的北極星指標(biāo)是GMV,我只答了中間某個(gè)環(huán)節(jié)的指標(biāo),說(shuō)著說(shuō)著發(fā)現(xiàn)自己說(shuō)漏了,開始找補(bǔ)……
不足③:心態(tài)問題。因?yàn)槭亲止?jié)崗,我看的比較重,所以在準(zhǔn)備這場(chǎng)面試,而且是第1場(chǎng)面試,我付出了太多時(shí)間和精力(兩個(gè)禮拜,每天10+小時(shí)學(xué)習(xí)),太想好好表現(xiàn)了,以至于看到面試官一上來(lái)就愁眉苦臉、眉頭緊鎖,我瞬間就不想答了。
不足④:有些問題回答深度不足,其實(shí)可以答的更好。比如一個(gè)簡(jiǎn)單的問題3:治理的是什么內(nèi)容?我直接答的是內(nèi)容是指網(wǎng)絡(luò)上采集的圖片、視頻…一個(gè)內(nèi)容模態(tài)維度。實(shí)際完全可以有:內(nèi)容來(lái)源維度、內(nèi)容形態(tài)維度、數(shù)量維度、頻次維度(這個(gè)回答相較于上面那個(gè)回答,哪個(gè)好、哪個(gè)壞,高下立刻而見)。
治理的內(nèi)容主要是:網(wǎng)絡(luò)上實(shí)時(shí)采集的賬號(hào)、群組、網(wǎng)站等信源發(fā)布的圖片、文本、視頻模態(tài)數(shù)據(jù),數(shù)量上:每日需要入庫(kù)治理xx消息數(shù)據(jù)、xx賬號(hào)數(shù)據(jù)、xx群組數(shù)據(jù);
關(guān)于治理:包括統(tǒng)一的數(shù)據(jù)入庫(kù)前的數(shù)據(jù)去重、臟數(shù)據(jù)剔除等清洗等常規(guī)治理,還包括利用各類算法模型對(duì)文本、圖片進(jìn)行打標(biāo)等實(shí)時(shí)和離線治理這種復(fù)雜的數(shù)據(jù)治理…
不足⑤:這點(diǎn)我認(rèn)為是面試官的不足。(如他在講到他們內(nèi)部在嘗試一些“眾包”等沒有標(biāo)準(zhǔn)的評(píng)測(cè)方式。可以理解,但也不能這么說(shuō)吧,任何評(píng)估都是有標(biāo)準(zhǔn)的,沒有隨心所欲評(píng)估的……)
4)面試收獲與成長(zhǎng)
通過本次面試前期的準(zhǔn)備,以及本場(chǎng)面試,雖然結(jié)果不理想,但也有許多收獲和成長(zhǎng)~
① 前期學(xué)習(xí)準(zhǔn)備的許多關(guān)于大模型及評(píng)測(cè)的知識(shí),還有面試常規(guī)Q&A,雖然本次面試沒有被問到,但也不會(huì)浪費(fèi);
比如:
- 機(jī)器學(xué)習(xí)7大經(jīng)典算法及其優(yōu)劣勢(shì)、深度學(xué)習(xí)3大算法模型原理及其優(yōu)劣勢(shì);
- chatGPT的訓(xùn)練過程,GPT的演進(jìn)歷程;
- 微調(diào)、RAG與langchain的概念、優(yōu)劣勢(shì);
- SD原理;
- 大模型評(píng)測(cè)框架、大模型評(píng)測(cè)數(shù)據(jù)集、大模型評(píng)測(cè)平臺(tái);
- 大模型應(yīng)用的長(zhǎng)文本限制問題如何解決;
- 基于大模型的自動(dòng)化評(píng)測(cè);
- 關(guān)于平臺(tái)化產(chǎn)品的理解。
② 心態(tài)和經(jīng)驗(yàn)層面的進(jìn)步
面試就像一場(chǎng)約會(huì),更重要的是雙方匹配、氣場(chǎng)合、緣分到位。面試這個(gè)過程是企業(yè)在挑選你的過程,也是你在挑選企業(yè)的過程。
面試未通過,并不意味著你這個(gè)人就不行,面試遇到的一些突發(fā)情況等都會(huì)影響最終結(jié)果(比如我恰好面試那天姨媽期身體不適等),一次面試代表不了你整個(gè)人的全貌。所以,整理好心態(tài),總結(jié)經(jīng)驗(yàn)教訓(xùn),再次出發(fā)就好~
③ 在準(zhǔn)備面試問題層面的經(jīng)驗(yàn)。
比如我面的是崗位A,在面試前,一定要自己提前準(zhǔn)備好除了離職原因、個(gè)人規(guī)劃、自我介紹這些常規(guī)問題外,一定要深挖簡(jiǎn)歷上與目標(biāo)崗位相近或相似的經(jīng)歷:以大模型評(píng)測(cè)崗為例,你不僅要準(zhǔn)備目標(biāo)崗位(大模型評(píng)測(cè))相關(guān)的東西(宏觀+拆分),還要橫向“對(duì)比”,比如大模型v.s.小模型、大模型評(píng)測(cè)v.s.小模型評(píng)測(cè)。
此外,還有一些高頻問題,比如:
- 你產(chǎn)品的核心指標(biāo)是什么?以及你們是如何制定的?為什么這么制定?你們是如何評(píng)估的?評(píng)估效果如何?下一步動(dòng)作是什么?——這個(gè)問題,一定要先進(jìn)行拆解,核心指標(biāo)(北極星指標(biāo))是什么?然后一層層拆解,漏斗的每層指標(biāo)分別是什么?有邏輯性地將產(chǎn)品指標(biāo)問題回答清楚、簡(jiǎn)練基礎(chǔ)上完整。
- 你們產(chǎn)品的競(jìng)品有哪些?(你不僅要回答出競(jìng)品有1、2、3、4…還要回答出與競(jìng)品的優(yōu)劣勢(shì)比較,以及相應(yīng)的應(yīng)對(duì)措施回答才算完整);
- 你有沒有遇到什么困難,你是如何解決的?
- 如何收集和管理需求?
- 與研發(fā)等的沖突等問題如何解決?
- AI產(chǎn)品的必問問題:你產(chǎn)品哪里用了什么AI技術(shù),解決了什么業(yè)務(wù)問題?以及為何非得是AI?
以上,共勉~加油~
本文由 @南方碟道 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自Unsplash,基于CC0協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
作者詳細(xì)分享了自己在字節(jié)跳動(dòng)大模型評(píng)測(cè)平臺(tái)產(chǎn)品崗的面試經(jīng)歷,包括面試過程、感受、存在的不足、收獲等方面,為其他求職者尤其是瞄準(zhǔn)相關(guān)崗位的產(chǎn)品經(jīng)理提供了全面且寶貴的參考。
現(xiàn)在再回頭來(lái)看面試官說(shuō)的“沒有標(biāo)準(zhǔn)的大模型評(píng)估”,能理解了,他指的就是:大模型 Arena這種競(jìng)技模式(就是AB test,比如司南Compass平臺(tái)上有這個(gè)功能模塊,其它伙伴們可以去康康了解下~)
專業(yè)性可以了,可能自主發(fā)揮太多,引起面試官反感了
好棒的面經(jīng),感謝
感覺已經(jīng)很專業(yè)了,想請(qǐng)問下這個(gè)類型的崗位,薪資待遇能給到多少?
棒,能分享下面試準(zhǔn)備的資料嗎
很棒
文章中有筆誤,應(yīng)用是下游哈
社招面試確實(shí)太看運(yùn)氣了,即使你和某個(gè)崗位100%匹配,也有可能因?yàn)槊嬖嚠?dāng)天下雨導(dǎo)致面試官心情不好而擦肩而過。