基於網格圖特征的琵琶指法自動識別

在人工智能方法飛速發展的今天，對樂器的演奏指法的自動分析在樂曲的檢索、鑒賞引導、演奏輔助學習等方麵均具有重要意義。琵琶作為一種中國傳統樂器，對其進行自動分析的已有工作大多集中於對琵琶聲音的算法合成方麵的探討[1-3]，而在指法自動識別、分類方麵涉及很少。在我們的工作中，提出了對琵琶不同指法所產生的聲音具有明顯區分度的網格圖特征，用於對幾種典型的琵琶演奏指法進行基於機器學習的自動識別。

2. 常用的琵琶演奏指法簡介

琵琶演奏出的聲音大多為包含豐富諧波的樂音類聲音，也有部分特殊指法能夠發出不體現明顯諧波特性的噪音類聲音。我們選取了4種樂音類演奏指法和3種噪音類演奏指法進行分析和自動識別。

4種樂音類指法為彈、輪指、泛音和掃弦。彈為琵琶演奏的最基本指法，即用右手食指撥弦。輪以右手食指為第1、中指第2、無名指第3、小指第4，依次向左前方彈出，而後大指為第5由反向挑進，得5聲稱1輪。泛音是左手虛按住1根弦同時右手彈該弦，音量大，且音質清脆明亮。掃弦為用右手食指依次快速彈4弦。

3種噪音類指法為絞弦、擊板和摘。絞弦是中指將1弦推進去至右側1根或幾根弦下方，食指將右側1根或幾根弦身向左拉出壓在左側的1根推弦上，並用食指按住絞在一起的兩根琴弦，取出中指，然後輪雙弦。擊板是用右手擊打麵板。摘是用右手拇指指肉觸弦，中指彈奏。

我們以聲譜圖為基礎，針對以上幾種琵琶演奏指法提取了3種不同類型的網格圖用於對琵琶指法的自動識別。

3. 以聲頻圖為基礎的琵琶音色網格圖

我們使用的琵琶演奏聲音樣本來源於中國音樂學院構建的中國音樂數據庫———CCMusic[4]。這個數據庫的琵琶素材部分包含專業演奏者用多種琵琶演奏指法錄製的聲音樣本，各指法一般錄製兩遍。

聲譜圖作為同時體現聲音信號的時域、頻域特征的綜合的可視化表達方式，能夠保留聲音信號中的大多數信息，因此能夠將數字圖像處理方法引入到音頻信號分析中。聲譜圖相似度可被用於音樂檢索或音樂風格分析；而將聲譜圖作為圖像，通過對其2維頻譜的分析，可以對語音和音樂信號進行識別；多分辨率的聲譜圖也被用於伴奏音樂與歌唱人聲的分離等[5-9]。我們使用聲譜圖作為基本信息來源，並在此基礎上擴展為3種對不同指法的區分度更明顯的網格圖，從中提取特征進行指法的自動識別。琵琶聲音樣本分析與特征提取的流程圖如圖1所示。

	創澤智能機器人 中國智能服務機器人領軍企業，涵蓋商用、家庭、特種等多用途的智能機器人產品體係，十幾年行業應用解決方案提供商