看懂民調》美麗島民調 學者:題目應提賴清德而非陳耀祥

美麗島電子報公布3月國政民調,訪問民眾16道問題,並附上調查結果交叉分析表、問卷主要題項內容與調查結果百分比供大眾參考。學者指出,美麗島調查的優點是累積長期資料,對於這樣的調查,宜以「統合分析 meta-analysis」的觀念,比較相似主題、執行期間相近的調查結果,再加上更多方位的知識與歷史經驗整合。本案在詢問NCC主委陳耀祥涉嫌貪汙瀆職是否應停職調查,陳耀祥可能因知名度不夠高而不具備「區別力」,如果是改用「賴清德以『學校用地』將市有地售予三立電視,然後變更為『住宅用地』案」,則對「投票傾向」、或「政黨傾向」的預測力與生態分析力可能更高。

本次解讀民調報告如下:
解讀日期:2023年4月10日
民調日期:2023年3月23日至3月24日
民調主題:2023年3月國政民調
報導機構:風傳媒、Newtalk新聞、yahoo新聞、三立新聞、中時新聞網
執行機構:美麗島電子報委託戴立安進行問卷設計與分析,畢肯市場研究公司執行電訪。
調查地區:全國22個縣市
樣本/誤差:設籍在調查範圍,年滿20歲的民眾。成功完訪1071人,在信賴水準95%時抽樣誤差最大值為±3.0%。
民調摘要:2023年3月29日美麗島電子報公布3月國政民調,此民調詢問受訪民眾16道問題:國內目前的整體經濟情況;對蔡英文總統信任程度、整體表現滿意度;行政院長陳建仁就任以來的整體施政表現滿意度;民進黨、國民黨和共產黨好感度調查;NCC主委陳耀祥涉嫌貪汙瀆職是否應停職調查;兩岸軍事、文化問題;2024可能總統參選人支持度等問題。此民調亦針對調查結果進行分析,並附上調查結果交叉分析表、問卷主要題項內容與調查結果百分比供大眾參考。

爭點解讀:
一、民調詢問NCC主委陳耀祥因包庇新成立的電視新聞台得到執照,應不應該馬上停職,配合司法調查,這種看問題就可知結果的調查,意義何在?
二、此民調問題內容較長,進行電訪時,是否容易造成受訪者答題困難的情形?
三、此民調的調查方法、抽樣設計是否有問題?

專家分析:    

世新大學資訊管理系前主任吳統雄解讀:

本案無法脫離「資訊系統綁架困境」,其報告之「抽樣誤差」不僅是錯的,對採用替代樣本,而形成的非隨機樣本而言,根本是無意義的(請參見2022.08.08《看懂民調》對「抽樣誤差」的解說)。而採用沒有因果關係的「加權法」只是美化數字,可能反而擴大誤差(請參見2022.10.06《看懂民調》對「加權法」的解說)。

本案在抽樣方法上使用了「等比分層隨機抽樣」(proportionate stratified random sampling)一詞,這是臺灣坊間民調誕生時,早期一家對統計不熟的文案人員,所誤用「名實不符」的敘述。但該計畫書後來成為陸續開張民調公司的範本,持續複製貼上、抄寫錯誤至今。

本調查不能夠推論為代表全臺灣民眾的意見。但其樣本仍具分散性,可以代表所訪問的 1071 個樣本。
美麗島調查的優點是累積長期資料,對於這樣的調查,宜以「統合分析 meta-analysis」的觀念,比較相似主題、執行期間相近的調查結果,再加上更多方位的知識與歷史經驗整合。
單次的調查報告,尤其列聯表的許多細格內數字很小時,可能誤差會很大,但如果為沒人為作假,集合愈多的資訊,應該可以看出一個大方向。

本案的第一與第二爭點,都與「資料的品質」,與資料數字的「質的分析」有關。

爭點一解讀

在「測量理論」上,對擬預測應變項不具「區別力」的,就不是好問項。
譬如,如果擬預測應變項是「投票傾向」、或「政黨傾向」,「你認為清廉是不是很重要?」就不是具備「區別力」的好問項。

在本題的列聯表各細格中,還是多少可以看出存在政黨差異、尤其是「未明確回答者」的「潛在政黨傾向」,甚至是「顏色受訪者」其認知可能是基於「意識型態」或存在「制度理念」?唯需要沒有被加權扭曲的原始數字,與更細膩的分析與詮釋。

另外,陳耀祥相對知名度不夠高,如果是改用「賴清德以『學校用地』將市有地售予三立電視,然後變更為『住宅用地』案」,則對「投票傾向」、或「政黨傾向」的預測力與生態分析力可能更高。

爭點二解讀

「受訪者耐心」是「訪問實務」上的一個議題。
本爭點也與本專欄討論過的「條件句」有關,亦即:避免「假設性條件句」,可謹慎使用「事實條件句」。
本案其實存在其他「假設性條件句」題目,本題則屬「事實條件句」,為了說明條件,只要訪員訓練落實,這個長度還可以。本案也還有其他這種長度的問題。

「受訪者耐心」與時代演變,以及是否為「酬賞式調查」也有關。

本人於1983年在聯合報創辦民意調查時,由於從無前例,且在戒嚴報禁期,可說存在「兩報壟斷」,受訪者雖被告知是民意調查,但心理上可能覺得是被「兩報訪問」,有人緊抱著電話不放,有堅持申述超過 2 小時的記錄。
經過40年,民調、市調由迸發而充斥,重複性又高,現在「受訪者耐心」是個大問題,訪員的工作難度也更高了。

爭點三解讀

本案與許多坊間民調一樣將「比例抽樣」誤為「分層抽樣」,使用了後者的名詞,卻不瞭解其意義。

分層抽樣(Stratified sampling)為當母群的某種變項分配不夠常態,且變異很大時,若能按其分配與變異值將母群分割為若干「層(strata)」,使得「層間變異最大、層內變異最小」分別抽樣,則可提高推論的正確性。這裡的層,常是指類別變項中的「水準」。
實施時按變項的水準分層,又分為「比例分層」和「非比例分層」2種,層內再實施簡單隨機、集群…或其他抽樣法。
應用範例:「比例分層」譬如估計身高時,按「性別」變項分作「男、女」2層;估計員工滿意度時,按「職等」變項分作「高、中、低」3層

「非比例分層」如調查使用豪華汽車的行為時,由於這項行為在高級住宅區和平民住宅區的差異很大,故可依住宅區的區位分成2個以上的「層」來調查,而在高級住宅區樣本數配置超過比例的樣本數。
「分層抽樣」應用優點:在母群本身分配不均勻、且有層級差異時,可減少誤差,提高推論正確性。
應用警惕:調查研究者吳統雄曾經實驗證明,分層如果沒有按照前提分層,誤差不僅沒有改善,反而有可能變大。
分層抽樣通常也是針對小團體,才可能辨識是否存在「層內變異最小,層間變異最大」的層。

唯坊間經常將「機率比例抽樣」誤為「分層抽樣」。

「機率比例抽樣」是在母群幅員廣大,清冊也很龐大時,為了擴大樣本分散性、且簡化抽樣作業,研究者常將樣本數先按母群的某種特性—通常是地理區域—以人口比例分割再抽樣,稱為「機率比例抽樣」(Sampling with Probability Proportional to Size, PPS)。

應用範例:以臺灣地區為母群,按每縣市人口占全臺灣地區百分比之比例分配樣本;譬如本案就是將臺灣分作7 個區域,按人口比例分配樣本數。並不存在以「變異性」為基礎的「分層」。

本案是一種粗淺的作法。完整的「機率比例抽樣」常是「二段、多段抽樣」中,第一階段的方法。
譬如樣本數1500個,而每縣市分到的樣本數,再按照鄰里之百分比例分配樣本。假設文山區分到3個樣本,卻有6個里,怎麼辦呢?就把6個里的人數總加,作成虛擬編號,以系統抽樣方式抽出3個號碼,選出號碼所在的3個里,再在里民中簡單隨機抽出1個受訪者。
應用優點:在母群很大,樣本數相對較少時,可使抽樣在分布上更分散均勻。或是在母群「分層」後,層間單位數相差很大時應用。

應用警惕:「比例抽樣」是種分散作業,與單位內的變異情形無關,易與分層抽樣與集群抽樣混淆。

資料來源

美麗島民調:2023年3月國政民調
圖片來源:同美麗島民調

熱門推薦