二、 數據分析與討論
(一)fMRI實驗數據 15
本部分采用被試間相關分析法,以被試間腦活動一致性作為測量指標。腦一致性的程度越高、所涉面積越大,表明多名被試在此階段內的腦活動相似程度越高,也可證明實驗素材對被試腦部造成了較強烈的認知刺激。
1.被試大腦平均活動情況
如圖4,被試左右腦多個區域產生了較活躍的運動。經軟件定位、排序后,一致性較高的區域依次顯示為眶額回(orbital gyrus)、杏仁體(amygdala)及顳中/下回(middle/inferior temporal gyrus)。
眶額皮層負責整合智力與情緒信息,是中樞神經系統中處理視覺和情感信息的重要部分 16,它的活躍說明主體正在調動起特定的情感,并對畫面信息有了積極加工。杏仁體作為“恐懼中樞”,是人腦邊緣系統的關鍵結構,同感覺、情緒、記憶等認知過程關系密切 17,它的活躍既標志主體的注意力、情感、記憶功能被喚起,也標志實驗材料引起了大腦有關負性情緒(如恐懼)的生成; 顳中回和顳下回是大腦顳葉的主要組成部分,而顳葉分布著眾多主管聽覺的區域,它們的活躍證明了實驗材料的音樂信息被有效接受并進行了積極處理。
2. 音樂引起的腦活動情況
在上述腦部平均一致性區域分布基礎上,使用特定算法及軟件,將腦圖像進行覆蓋、重合,可進行不同音畫組合下腦部活動情況的對比分析。例如,以“懸疑畫面+懸疑音樂”(S+S)組合的腦一致性圖像覆蓋“懸疑畫面+無聲”(S+No)組合的腦一致性圖像,可得到相同視覺畫面下,加入懸疑音樂較不加入任何音樂時引起的差異性腦區活動。
圖5系利用上述方法得出的,在視覺畫面為懸疑的情況下,匹配有懸疑音樂較無音樂時更活躍的腦部區域; 圖6為畫面懸疑情況下,匹配有中性音樂較無音樂時更活躍的腦部區域。
較之無音樂的情況,加入音樂后的片段大大調動起全腦多個區域的強烈活動,這些區域涉及額葉、顳葉的眾多位置,其中活躍度最高的幾個區域分別為顳中回(mid-temporalgyrus)、中央后回(postcentral gyrus)和背外側額上回(superior frontal gyrus)。
顳中回主管語義處理、語句理解等符號認知功能,還參與到動作觀察、復雜聲音處理、邏輯推理、動態面部表情識別等過程 18,它的活躍,說明音樂的加入使腦部更積極地對實驗材料的細節與意義進行處理,并帶動了例如動作等視覺信息的處理。中央后回與顳葉存在解剖連接,而顳葉分布著大量主管聽覺處理的腦區,中央后回的活躍,應當與音樂加入后腦內積極的聽覺信息處理活動有關。額上回為輔助功能區,與軀體、內臟和精神活動及情感相關 19,它的活躍,說明音樂的加入使人腦進行了更強烈的情感生成與處理。
圖6情況下的腦活動區域與圖5大致相同,表明在這兩種情況下,被音樂額外喚起的腦區基本不受其具體屬性(是否懸疑)的影響。具體到活躍數值,DPABI的報告結果顯示,圖6條件下的一致性略低于圖5,這說明,與同畫面不協調的中性音樂相比,與畫面協調一致的懸疑音樂會觸發強度更大的腦活動,更能刺激大腦做出關于刺激材料的積極認知。
3. 不同音畫匹配情況下的腦活動對比
在上述基礎上,進一步對懸疑音樂與中性音樂引起的腦活動差異進行分析。圖7、圖8,分別系視覺畫面為懸疑時,加入懸疑音樂較中性音樂更活躍的腦部區域,以及視覺畫面為中性時,加入懸疑音樂較中性音樂更活躍的腦部區域。
如圖7所示,視覺畫面懸疑時,較之中性音樂,懸疑音樂觸發的更活躍的腦區域依次為右側角回(right angular gyrus)、右側顳中回(right middle temporal gyrus)、右側顳上回(superior temporal gyrus)和右側丘腦枕(right pulvinar)。
角回位于頂—枕葉交界處,是大腦后部重要的聯合區,若切除角回,人腦將失去文字視覺意象與聽覺意象之間的聯系;此部位的活躍,多少意味著,在懸疑音樂加入時,被試大腦比中性音樂加入時產生了更強烈的音畫信息整合活動;顳中回與顳上回是聽覺語言中樞的組成部分,此外顳葉同人類的情緒和精神活動也高度相關 20;丘腦枕則主管視覺皮層神經信息的調節,影響視覺信息在腦皮層中的傳遞進而影響注意力和調節機制。據此,可大致推斷,較之中性音樂,懸疑音樂更能強化大腦對視聽信息的整合,為懸疑畫面匹配懸疑音樂后,觀眾在情緒、注意力和記憶等方面的部分認知加工活動呈現出更活躍的狀態。
圖8表示視覺畫面為中性的情況下,懸疑音樂較中性音樂觸發的更活躍的腦區域。按活躍值高低,這些區域依次為右側顳中回(right middle temporal gyrus)、右側角回(right angular gyrus)、右側枕上回(right superior occipital gyrus)與枕中回(right middle occipital gyrus)。
相關研究顯示,視覺上的含義越模糊,音樂在觀眾理解該場景過程中發揮的影響就越強 21。大腦的枕葉部分包含有人類的初級視覺皮層,也涉及語言、動作、抽象概念等方面的認知活動 22,枕上回在中性畫面下兩類音樂的對比中被單獨喚起,多少顯示出懸疑性音樂在此種視聽關系中占據了主導,引導被試對模糊不明的畫面信息作出了較中性音樂來說更主動的認知處理。此外,盡管音畫不匹配,但懸疑音樂的加入依然增強了觀眾對影片情緒、意義、空間等的腦認知活動。
綜上,fMRI實驗部分的數據主要從視聽互動的角度證實了如下幾點猜想:首先,音樂的加入使腦部在注意力、情感等方面的活動更強烈,有助于推動畫面懸疑性更積極地被感官認知。其次,音樂的加入有助于促進大腦對視覺信息的加工,其中,較之中性音樂,懸疑音樂更能強化希翁所說的“同步整合”過程,有助于懸疑畫面質感的抵達甚至增強。最后,音畫一致時,觀眾在情感、注意力、意義等方面的腦活動更強。
需要特別加以強調的是,當前認知神經學領域對大腦的功能區域研究尚處于不斷修正和探索之中,本文所列舉出的腦區域數據,絕非科學意義和解剖層面的精確結論,而僅意在從腦定位及功能方面,大略充當電影音樂研究的生理、實證性佐證材料。
(二)主觀問卷測試數據
主觀問卷測試部分共收集到169份問卷,其中166份完整有效。
圖9為被試依據其主觀感受,就兩段實驗材料給出的懸疑感評分,其中橫軸為視頻與音頻的不同組合情況,縱軸為懸疑感評分。從圖中可知,懸疑評分從高到低依次為“懸疑畫面匹配懸疑音樂”(S+S,4.20分)>“中性畫面匹配懸疑音樂”(N+S,3.70分)>“懸疑畫面匹配無聲”(S+No,3.24分)>“懸疑畫面匹配中性音樂”(S+N,2.65分)>“中性畫面匹配無聲”(N+No,1.99分)>“中性畫面匹配中性音樂”(N+N,1.55分)。
懸疑畫面的情況下,按懸疑感由高到低進行排列,音樂匹配情況依次為匹配懸疑音樂、無聲、匹配中性音樂;當視覺畫面為中性時,評分排序情況相同。
其中,在中性畫面與懸疑性音樂進行匹配時(N+S),被試給出的主觀評分為3.70,意味著被試認為此種音畫組合尚具有一定懸疑性;而當懸疑畫面被匹配以中性音樂時(S+N),懸疑感評分為2.65,意味著被試認為該組合下的片段已無懸疑感。這兩類音畫組合段落在評分上的特點,部分證明了音樂會在一定程度上扭轉觀眾對視覺畫面意義的理解。
當視覺畫面同為懸疑時,不加入音樂的“S+No”組合尚有一定懸疑感(評分3.24),而匹配中性音樂后,懸疑畫面不再給人以懸疑感(評分2.65)。同樣地,當視覺畫面為中性時,不加入音樂的組合“N+No”的懸疑感評分依舊略高于加入中性音樂的“N+N”組合。這說明,中性音樂作為一種相對舒緩、溫和的旋律信息,在加入視覺畫面后,從兩個方向對畫面進行了影響,既可削弱、稀釋懸疑畫面的懸疑性,也可鞏固、深化中性畫面的平和、舒緩度。希翁所說的“增值”作用,既有加性的“正增值”,也有減性的“負增值”。
圖10、圖11為所有實驗片段中,懸疑感得分最高與最低的五段。其中,給被試造成最強烈懸疑感的五段全部系懸疑畫面匹配懸疑音樂的片段,懸疑感最弱的則全部為中性畫面匹配中性音樂的片段。可以推論,當懸疑性的音畫處于一致狀態時,影片的懸疑效果最佳,對觀眾的情緒引導及沖擊力最大;而當中性畫面與中性音樂配合時,音畫間一致的平靜、舒緩效果也會加強。聲畫一致,具有某種“1+1>2”、整體超越部分的感染效果。