問卷調(diào)查(questionnaire)是用戶研究或市場研究中非常常用的一種方法,這種方法可在短期內(nèi)收集大量回復,而且借助網(wǎng)絡傳播調(diào)研成本也比較低,所以得到廣泛的使用,但是似乎有些人認為問卷調(diào)查就是設計若干問題然后發(fā)給用戶填寫就行了,但其實越是簡單的調(diào)查方法越是有需要注意的地方,這樣才能真正發(fā)揮該方法的優(yōu)勢,下面就結(jié)合自己近期的項目實踐對這種方法進行總結(jié),意在總結(jié)流程,所以具體的題目此處不做呈現(xiàn)。
一問卷調(diào)查的基本定義
1問卷調(diào)查與量表
其實問卷調(diào)查本人更傾向于稱之為調(diào)查表(questionnaire或者survey),它與心理學上常見的量表(scale)還是有很大差異的
總的來說,問卷調(diào)查更多的用于了解目標對象對某些事情的態(tài)度,認知等,而量表是用來描述目標對象的某種心理特質(zhì)在群體中的相對位置,如智力量表等,在企業(yè)的實際工作中,問卷調(diào)查法使用頻率更高。
2問卷調(diào)查的用途
正是由于問卷調(diào)查的基本形式是設計問題,提供選項供用戶填寫,所以問卷調(diào)查更適合收集用戶對現(xiàn)有產(chǎn)品的態(tài)度、基本習慣信息和人口統(tǒng)計學特征等,不太適合用于探索發(fā)現(xiàn)新需求新問題(無法提供選項,而用戶自己填寫意見/建議的比率也非常低),而且其具有投放成本低,參與成本低的特點,特別適合需要大量樣本的用研項目。
3關于問卷調(diào)查網(wǎng)站
目前提供問卷調(diào)查表設計和投放的網(wǎng)站很多,個人用戶使用免費版本一般都可以滿足需求,企業(yè)的話,一般是自己開發(fā)相應功能或購買使用調(diào)查表網(wǎng)站的企業(yè)版本,就我而言,對使用過的三種調(diào)查表網(wǎng)站進行簡單評價。
(1)問道(http://www.askform.cn/)
僅使用過個人版本的,支持2000份答復,設計問卷的界面比較清晰易懂,支持的題型不算特別多,不支持選項中插入圖片,不能看到其他用戶的問卷的答復。
(2)問卷星(http://www.sojump.com/)
僅使用過個人版本,支持20000份答復,支持的題型比較全,可以看到別的問卷的答復,有常用題庫功能,個人認為這個網(wǎng)站功能比較全,考慮日后使用企業(yè)版本。
(3)Surveymonkey(https://zh.surveymonkey.com/)
目前正在使用企業(yè)版本,支持自定義主題,跳轉(zhuǎn)頁面等,雖然是美國知名的調(diào)查網(wǎng)站,但國內(nèi)使用頁面打開速度很慢,且中文版本僅支持繁體字,支持的題型不算多,無法看到其他用戶的問卷,更無法看到其他用戶的問卷答復結(jié)果,沒有常用題庫。
二問卷調(diào)查表的設計
1調(diào)查目的
明確調(diào)查目的非常重要,這決定了調(diào)查表的結(jié)構(gòu),問題的設計等,如果是運營等其他部門提出的需求,一定需要和能最終拍板的人溝通調(diào)查目的,不然很多人都希望加進去自己想調(diào)查的題目,會造成結(jié)構(gòu)不清晰,題量過多的問題,而且由此造成的反復增減問題也沒有實際意義。而且考慮到題量的問題,目的不宜過于宏大,一次集中精力調(diào)查一兩個主要問題為宜。
2題目設計
題目的設計要圍繞調(diào)研目的展開,以電子商務網(wǎng)站滿意度調(diào)查為例,首先分解影響滿意度的因素,可以參看有關理論,其他研究資料或者其他部門同事的意見,得到網(wǎng)站,服務,購物流程和物流四個因素,每個因素還可以根據(jù)需要進一步分解,得到更多指標。如果前期題目設計時結(jié)構(gòu)比較清晰,后續(xù)的結(jié)果分析也可以用過更深入的統(tǒng)計方法。
除此之外還應注意一個題目僅針對一個問題來詢問,不然容易另用戶迷惑,題目的表述要盡量簡潔易懂,避免歧義,雖然在很多調(diào)查表網(wǎng)站中,多選題和單選題的選項按鈕是不一樣的,但是個人還是建議再多選題題干中提示“可多選”,以盡量減少誤解造成的誤差。
關于題目的呈現(xiàn)問題,有些調(diào)查表是一道題目一個頁面,填寫完一題點擊下一頁繼續(xù),我認為在網(wǎng)速不好的情況這種呈現(xiàn)方式會徒然的增加用戶的填答時間甚至是焦慮情緒,如果不涉及邏輯跳轉(zhuǎn)題的話,最好一個頁面呈現(xiàn)所有的題目,題量的設計盡量在15題或填答時長控制在5分鐘以內(nèi)。關于人口統(tǒng)計學特征題目的位置,個人傾向于根據(jù)調(diào)研目的而定,如果目的就是搜集用戶基本信息,就放在調(diào)查表開頭,如果目的是收集產(chǎn)品反饋,就放在題目末尾為宜。這樣即使用戶中途棄答,我們也能搜集到比較重要的題目的反饋以作參考。
在問卷調(diào)查表中往往需要設置邏輯題,來針對具備某些特征的用戶進行調(diào)查,所以在設計問題時需要了解該問題是針對所有用戶還是部分用戶,具體來看下面的例子
在這道題目之前我并未填寫任何分享照片有顧慮的內(nèi)容,而且我也沒有這方面的顧慮,所以這道題真的難倒我了,只能迫選了。
不要忽視末尾處建議/意見題目,在本次項目一開始我會認為用戶很少有耐心會填寫這類開放式問題,但實際上還是有很多用戶提供了寶貴意見,反饋的積極性遠超過的我想象。所以這也是一個搜集用戶新需求或問題的一個途徑,雖然回收到的答復未必很多,但成本很低,值得嘗試。
3選項內(nèi)容設計
題目的設計非常重要,這決定了調(diào)研目的的實現(xiàn)度,但是回復質(zhì)量往往由選項內(nèi)容而定,因為用戶的態(tài)度,習慣,愛好等是通過選擇我們提供的選項而得到,所以選項內(nèi)容的是否全面、合理就非常重要,這個也要根據(jù)具體情況而定,但需要注意的是,選項要盡量全面,彼此不包含。下面有個反面的例子:
這里如果工作經(jīng)驗恰好是3年的是選哪個呢?也許這類題目對答復質(zhì)量要求不高,但畢竟存在歧義,應該避免。
同時一個選項就應該只包含一個內(nèi)容,需要仔細推敲,見下面的例子
一開始設計“能容易的找到目標商品”這道題目的用意在于調(diào)查用戶對搜索或?qū)Ш焦δ艿脑u價,但是后來也發(fā)現(xiàn)這道題目同樣可以用于評估商品種類是否豐富,這樣就存在歧義了。
關于意見態(tài)度類的題目盡量采取里克特量表的形式,可以得到更多信息,且便于后續(xù)的統(tǒng)計分析。對于選項較多的題目,建議將其設置成選項內(nèi)容隨機排序,以避免有用戶圖省事只選擇前面幾項,平衡順序效應。
為了進一步統(tǒng)計調(diào)查表質(zhì)量,有時候也需要設置反向計分題,甚至“測謊題”,以查看前后回答的邏輯是否一致,以提供后續(xù)數(shù)據(jù)處理的篩選指標。
在題目和選項都設計好之后,需要請相關人員和與該調(diào)查項目無關的其他同事進行試測,這個環(huán)節(jié)非常必要。
三調(diào)查表的投放
編制好后的調(diào)查表對于投放方式,時間等問題也是需要考慮和記錄的,不僅有利于提升收集到的回復質(zhì)量,也便于為以后的調(diào)查表投放積累經(jīng)驗。
1投放方式
對于互聯(lián)網(wǎng)公司,目前常用的投放方式是放置在頁面上或者EDM,其中對于放置在頁面的調(diào)查表,一般是放置在需要調(diào)查的頁面上,具體頁面上的位置常見的是側(cè)頁面跟隨或者右下角,如果能得到足夠的支持,甚至可以在首頁得到輪播banner的位置。有文章分析過問卷的不同入口位置的效應,關于網(wǎng)頁問卷入口的小結(jié),該文章已經(jīng)分析的相當詳細,當然各個網(wǎng)站的情況可能會有差異,所以建議在每次投放時都對投放情況進行記錄,由于調(diào)查主題,節(jié)假日,網(wǎng)站同期活動等因素的影響,也許很難得到不同頁面,不同位置的回復質(zhì)量的明顯規(guī)律,但是總可以為以后的投放積累經(jīng)驗。關于EDM的投放效果,有興趣的可以看這篇文章,影響用戶響應與填答問卷的要素_郵箱投放問卷。
不管是哪種投放方式,都存在樣本代表性的問題,即很難做到真正的隨機抽樣,即使是EDM針對目標用戶發(fā)送,依然會僅有部分用戶響應,這部分要么對產(chǎn)品意見很大,要么就是相對比較積極的用戶,因此在使用調(diào)查表結(jié)果時一定要注意其代表性,批判性的接受。為了吸引用戶填寫,有時候會設置獎品環(huán)節(jié),但應注意目前存在專門收集有獎調(diào)查的網(wǎng)站,其中的用戶會“熱衷”的填寫各種有獎調(diào)查表,因此在有獎調(diào)查時要著重注意對回復質(zhì)量進行篩選控制。
2投放時間
關于投放時間其實存在兩個方面,具體投放發(fā)出的時間和投放時長,對于在網(wǎng)頁上發(fā)布的調(diào)查,由于資源有限,往往在投放前就需要對投放時長進行預估,如何在有限的時間內(nèi)得到盡量多且質(zhì)量高的回復非常重要,同樣需要對每次的投放進行記錄分析,具體的做法可以參見調(diào)研問卷投放時間的探討。與投放方式類似的,由于各種影響因素的存在,也很難找到投放時間明顯的規(guī)律,在我本次的調(diào)查中,僅發(fā)現(xiàn)在調(diào)查表投放初期,用戶填答率相對較高,在一周內(nèi)的時間內(nèi),周三和周四的填答率相對較高,但差異并不顯著。另外在投放時長方面,僅從經(jīng)驗來看,建議兩周為宜。關于投放方式和投放時間,由于各個網(wǎng)站都存在自身的特點,即使進行統(tǒng)計分析,也難以發(fā)現(xiàn)明顯的規(guī)律,建議還是多做記錄,多積累才會更有經(jīng)驗,具體的分析方法可以參看上面給出的文章。每次需要記錄的指標包含但不限于投放時長,回收答復數(shù),uv,填答率,完整填答率,有效填答率,平均用時等。
四調(diào)查表結(jié)果分析
1數(shù)據(jù)初步處理
雖然現(xiàn)有很多調(diào)查網(wǎng)站支持數(shù)據(jù)分析,快速的生成各種圖表,有的還能直接生成一份報告,但我還是建議從數(shù)據(jù)的明細入手,根據(jù)一些指標刪除部分不合理的數(shù)據(jù)再進行分析??晒﹨⒖嫉闹笜?,填答時長,IP,用戶基本信息,調(diào)查表內(nèi)的控制題目等。
填答時長
填答時長是個比較常用的篩選指標,但是由于問卷內(nèi)容彼此差異較大,制定篩選的標準似乎難以統(tǒng)一,有的是通過作圖(spss箱形圖),也可以通過修剪平均數(shù)的做法(例如去掉頭尾5%的部分)。
IP
目前很多調(diào)查表網(wǎng)站可以收集IP地址,這也是有獎調(diào)查活動中了解用戶是否重復參與的一個途徑,當然不排除動態(tài)IP或者網(wǎng)吧填寫的可能,所以使用要慎重。在設計網(wǎng)站時就控制一臺電腦/一個IP只能填答一次。
用戶基本信息
有些調(diào)查中會搜集用戶的基本信息,如網(wǎng)站賬號或電話等,這些指標也可以用于判斷是否重復參與答題。
調(diào)查表內(nèi)的控制題目
這個主要通過題目之間的前后邏輯進行判斷,舉個例子,如用戶在“xx滿意度”題目中滿意度給分很高,但是在隨后“對xx的評價”中評價很低的話,那么答卷質(zhì)量就可能存在問題,想要通過題目控制調(diào)查表質(zhì)量需要在設計調(diào)查表時就進行深入的思考和準備。
當然,篩選標準不限于以上幾種,具體的要依照調(diào)查表自身特點,不妨多個篩選指標組合使用。
2統(tǒng)計分析方法
調(diào)查表結(jié)果分析所使用的方法往往是和調(diào)查表的設計有關,比如“您是否愿意推薦xx”,如果選項設置為“是/否”就得到一個二分變量,而設置成里克特量表形式就可以得到推薦意愿度的數(shù)值,相應的統(tǒng)計分析方法也會有所不同。
除了統(tǒng)計分析每一題目的答復情況,對一些題目進行交叉分析,相關分析,或差異檢驗也可以幫我們更多了解數(shù)據(jù)背后的信息。
調(diào)查表的結(jié)構(gòu)也會影響統(tǒng)計方法的使用,特別是需要進行深入統(tǒng)計分析,探明各個指標之間關系的時候。如我曾調(diào)查過用戶對商城信任度的評價,經(jīng)過資料搜集,編制了服務,產(chǎn)品,,網(wǎng)站設計,付款安全性等幾個指標的題目,收集數(shù)據(jù)后對這些指標進行了因素分析(采用了主成分分析法),kmo和巴勒特球形檢驗都顯示適合因素分析,結(jié)果顯示提取出了一個因素,解釋變異78%,是否就可以表明商城的信任度就是由調(diào)查表中的那些指標組成呢,是否就得到了信任度模型呢?答案是否定的,以上僅僅是建立模型的探索性因素分析部分,如果真的需要建立信任度模型還需要驗證性因素分析部分(結(jié)構(gòu)方程模型,可以用AMOS實現(xiàn))。如果需要采用調(diào)查表的方法建立模型,僅僅使用因素分析進行降維是不夠的,降維和建立模型還差的很遠。模型是否成立就與當初設計調(diào)查表時思考深度和實際工作需要有關。
另外,目前本人對一些開放性的意見/建議類題目的分析還沒有很有效的方法,只能逐條查看,將涉及到的問題分類匯總,但是這樣比較耗時,待改進。
關于多選題的分析方法,已經(jīng)有文章進行了深入分析,有興趣可以查看調(diào)研問卷中多選題的分析方法探討
3形成分析報告
分析報告往往是呈現(xiàn)給業(yè)務部門的同事看的,所以最好是以更直觀的方式呈現(xiàn),采用有說服力的圖表,輕分析過程,著重結(jié)論和意見建議部分,最好能點出每條結(jié)論對應的相關業(yè)務部門,在指出問題的時候也盡量給出建議。
五調(diào)查表以外的一些問題
用研項目如調(diào)查表等最好能征集到其他部門的支持,共同參與,不但利于前期調(diào)研方案的制定(可以傾聽到更多的意見和建議,但是也要注意鑒別,用自己的專業(yè)知識和經(jīng)驗對項目進行把關,得到更多的資源,如在首頁上設計輪播banner,微博轉(zhuǎn)發(fā)和獎品設置以吸引更多用戶提供意見,而且后期的分析結(jié)果也更易得到關注,相對更容易進行推廣。{來源于nightwind http://nightwind.diandian.com/}