音樂可視化管理
前言：本站為你精心整理了音樂可視化管理范文，希望能為你的創作提供參考價值，我們的客服老師可以幫助你提供個性化的參考范文，歡迎咨詢。
音樂可視化的實現形式與解決方案可謂精彩紛呈。音樂可視化有著廣泛的應用:音樂分析、信息檢索、表演分析、音樂教學、音樂認知、情感表達、游戲娛樂。基于不同的應用，會有不同的系統設計方案。在教學領域，可能會強調音符、樂器、旋律、和聲方面;在音樂廣場，通過控制的相關技術來實現音樂噴泉，著重表達噴水的花型組合變化、水柱高低、遠近變化等;在大型表演、酒吧、展覽現場，可能會更強調畫面帶來的強烈的視覺沖擊;在游戲領域，可能會著重表現音樂自身包含的情感因素，通過虛擬角色的面部表情、動作變化及場景的變換來實現，等等。
4.1用戶接口及系統構架
本系統設計為基于情感識別的實時交互式音樂可視化系統，采用一個可選的虛擬角色進行情感動作表達。系統需要減少系統負載和同時能夠實時性地進行一音樂分析和可視化表演，從現場表演的麥克風和電子琴的音樂輸入中提取出來的音樂特征通過相關信息處理和數據過濾，然后發送到音樂動畫腳本和引擎，最后通過虛擬角色進行音樂情感的動作表達。本文希望允許用戶與虛擬角色有一個沉浸式的交互體驗，計算機的顯示屏幕無法滿足大型展覽、表演現場的要求，虛擬現實的沉浸感也要求突破計算機顯示尺寸的限制，使用大屏幕顯示，可以采用圓柱型、洞穴狀、或者矩形塊拼接的大屏幕進行逼真顯示，強制性制造出強勁的可視化效果。為了滿足這個要求，可以把這個虛擬環境顯示到一個大屏幕上，比如矩形塊拼接的大屏幕或洞穴狀的大屏幕，該屏幕可以提供實體大小的立體圖像，希望大屏幕立體顯示和人們的自然的用戶輸入方式可以縮短虛擬與現實之間的距離，通過這種方法，用戶可以體驗到這種與三維實體大小的虛擬場景的現實性的交互而產生的幻覺，允許用戶與觀察者體驗這種表演者與虛擬角色之間的真正的交互而產生的強制性的沉浸感。能用一種很自然的音樂表達方式與虛擬角色進行交互也是很重要的。因此，本文應該確保一旦設計為該方式的系統運行起來，用戶僅僅需要提供MIDI控制器或者麥克風的音樂輸入方式就可以與程序進行交互。麥克風與MIDI控制器應該放置在特定的位置，以便當用戶實時表演時可以很方便地觀察到虛擬角色的反應。能夠體現音樂情感，同時又具體極強的可觀賞性和趣味性的音樂可視化系統是本文的追求。本文將圍繞音樂情感為中心建立一個音樂可視化系統，可以用來音樂分析和音樂可視化，通過對現場表演的實時語音及MIDI處理輸入，通過處理、分析，最后映射到虛擬角色中。系統以麥克風和電子琴作為輸入參數，通過處理，提取出相關的音樂特征，隨后進行情感檢測處理，實時性地用虛擬角色面部表情和動作變化、虛擬場景的變換來表達情感因素，最后通過大屏幕進行顯示。
圖4一2音樂感知過濾層流程圖
音樂感知過濾層的作用是雙方面的。一方面，系統需要分析復雜的音樂數據輸入流，以便提取有意義的音樂特征來準備后面的相關工作。另一方面，為了保證能模擬人類對音樂的情感反應的要求，系統需要采用前人對音樂情感方面的研究方法來組織這些特征。為了使角色得到音頻信息流中的有用信息，系統需要將這種流變成一種簡單的格式。因此本文在系統框架中添加了這種額外的音樂感知過濾層。在這一層中系統通過分析輸入的音頻信息，提取出重要的音樂特征，然后再將該層的結果作為輸入傳送給角色及場景認知層。為了對現場音樂表演中進行特征提取，系統對麥克風和電子琴的輸入進行處理。本文采用MIDI接口和錄音設備從現場音樂輸入流中提取重要的特征，通過一系列變換處理，可以得到感興趣的特征如歌聲的音高、歌聲的振幅、歌聲的音調、描述歌手音色的數據等。同時，系統也對電子琴輸入的特定的和音感興趣，可以將輸入的MIDI信息與預定義的和音信息相比較，然后提取出匹配的和音信息。這樣，對現場原始數據進行處理之后，就生成了音樂的數字化描述。最后再將這些提取出來的音樂特征發送到特征記錄器中進行下一階段的處理，以便滿足復雜的實時的音頻分析的要求。
4.2.1特征提取
西方調式音樂，至少是由一系列音高、持久度和振幅組成，都是由一些和聲結構的規則約束的。通過Hevner、Famsworth等人140，4’l的研究實驗表明，音樂是可以表達情感的，即使對不懂音樂的人來說，他們也會感知到音樂中的一些潛在的和聲規則產生的音樂情感，同時做出相關的情感反應。在此音樂可視化系統中本文采用這些情感規則來處理音樂輸入，讓虛擬角色獲得認知技能。在認知層中，本文假定輸入的音樂是有調的，這樣可以方便在認知層中對音樂情感意義的處理。因為該層提取出來的音樂特征在表演者和虛擬角色的整個交互過程中是最重要的，所以本文把主要精力放在對該感知層的處理上，在介紹該層時需要不少篇幅。對于電子琴的和音輸入，處理方法比較簡單，利用電子琴通過MIDI接口將音樂信號發送到計算機，根據電子琴的參數規格可以很方便地得到現場彈奏的音高、持久度、速度、力度等信息。樂音體系首先是由于唱歌實踐的結果而形成的，因此樂音體系中大部分的音是人的嗓音可唱的音。由于器樂的發達，就得用每秒鐘振動16次到4000次之間的若干音來補充樂音體系。雖然如此在樂器上最富于表現力的音域和人聲唱歌的音域是近乎一致的(頻率范圍大約為60到l000Hz)。
對于麥克風輸入的歌聲的處理，系統可以通過錄音設備得到的數據，分析其頻率和振幅，參考國際標準音高(即鋼琴上小字一組的A)對應的頻率為440Hz，每一個八度之間頻率增加一倍，比如C比上一音階的C，D比上一音階的D的頻率增加一倍。中間的頻率，按照十二平均律公式算出來:由此可以得到所有音高。振幅與音量、持久度有關，音量可以由系統自定義，將處于某一范圍的振幅認為是音高對應的音量，持續的時間即為音高的時值，或稱持久度。
4.2.2特征組織
為了組織和音內容的輸入，本文采用現在通用的音樂編碼系統【59]。該編碼系統的核心是采用一種字母表的概念，選定一個參考的字母元素，其它所有元素就可以通過與這個參考元素的關系來描述出來。本文的音樂可視化系統需要編碼現場音樂輸入的特征信息，因此，本文選擇調的主音來作為參考音符。所有的后面感知到的音符都將使用該參考元素進行編碼，因為它們都與調式音階的主音相關。下面舉一個例子來說明這種編碼系統:在C調音樂中，主音音符C，將作為參考音符。如果選擇的字母表是半音階(一個音階包含12個半音)，D(即c上的
大二度)將用字母表中在主音參考音符之上的2步來代表，而喇即C上的小三度)則用字母表中在主音參考音符之上的3步來代表。音符是由音高和持久度組成的，上面描述的音樂編碼系統是針對音高的，再結合在電子琴中彈奏的持久度，系統可以描述每一個歌聲片斷中的音符。為了決定哪一個音符是被表演者強調的，本文可以采用這樣的方法:當某音符有別于周圍其它的音符的時候就可以認為該音符是被強調的，比如增大的音量或者高低音符間的突然的轉變。通過第三章提出的螺旋模型和調性確定算法，分析音高序列的前面若干個音高事件，確定該音樂的調性、節奏和速度，然后將特征提取階段得到的音高序列轉換為旋律，得到的所有這些數據就放到特征記錄器中，以便為下一階段的處理做好準備。
4.3角色及場景認知層
基于該層的感知處理，角色評估接收到的數據，決定應該如何反應。角色需要分析它們接收到的輸入和決定一個大致的反應行為。在該層中，角色的個性是由如何感知事件進而影響角色的內部狀態來定義的。本節將描述系統的動畫角色是如何模擬一個對感知到的音樂特征的情感的理解的。
4.3.1情感檢tll
在認知層中，由感知層發送過來的信息需要被接收和分析，用來模擬虛擬角色的內部狀態。特征組織器中包含了這些現場音樂表演的信息(歌聲音程、每個歌聲音符的重要性數據、關于歌聲節奏的信息以及用戶彈奏的和音數據)。然后本文需要模擬一個對感知數據的認知意識，因為角色需要有一個通過動作表達出來的感興趣的內部狀態。音樂表演的認知意識可以采取多種形式。當聽到一個關于愉快的特別的旋律時，角色可能會感覺到快樂，或者當接收到一系列感覺恐怖的特定的和音，角色則可能會進入一個恐懼的狀態。為了給角色的認知創建一個有意思的和靈活的認知層，本文選擇了Cooke在文獻[431中對音樂的研究，特別是對音樂情感的研究。Cooke在文獻[43}中的經典研究為本文提供一個全新的視角來觀察音樂和情感之間的更一般性的關系。為了實現這種像角色喜歡一些特定的旋律而不喜歡另外一些，系統可以創建一個針對音樂理論特征的足夠靈活的角色用來模擬情感反應。Cooke己經從大量的音樂片斷中識別特定的特征，使用一種更一般性的方法提出使用在調式音樂中的一些特定的特征用來表現特定的情感概念Cooke識別出音階中所有十二個音符的基本的表達功能。如果一個旋律里包含很多小三度的實例，Cooke認為這些片斷的恰當解釋應該是表達出“難以接受的”或者是“悲傷的”情感。很多著名的包含小三度的表達悲傷情感的音樂作品實例可以映證這個結論，例如Strauss的《蒂爾小丑》中蒂爾被處死的地方。相
反，Cooke引用美國流行歌曲《Polly一woll夢doodle》來說明大三度是代表“和諧的”或者“愉悅的”情感。通過應用這種對音樂旋律的規則，系統可指定現場音樂表達的認知意義。系統的音樂感知過濾層通過特征提取，對現場音樂的上下文描述了所有的音樂旋律中的音符。了解這些以后，本文可以很容易地將音高關聯到Cooke提出的情感上下文。這種情感上下文可以用來修改動畫角色的內部狀態并月.觸發相關的反應行為。該音樂動畫系統使用一個“驅動系統”來控制角色的行為。很多電腦游戲玩家都很熟悉這種機制，即這樣的驅動系統是操作在一定原則之上的，那就是一旦特定角色特征的級別達到了一個觸發的最大值或者最小值，角色的行為就被觸發。例如，當角色的能量驅動達到最小值時，它就趴下睡覺，而當能量驅動達到最大值時，它就馬上爬起來。系統的角色就是使用這種驅動系統來表達它們的情感狀態的。根據Cooke的理論，小三度意味著悲傷，而大三度則表示快樂。系統的角色可以有一個“快樂驅動”，當歌手唱出一個包含很多大三度的旋律時，這個級別值就增加，而如果是小三度則減小。既然系統的感知層也可以分配相應的意義值到每一個歌唱音符，“快樂驅動”的增加量或者減少量也可以由音符的意義值決定。提取出來的其它的音樂特征，如和音、歌唱音色等，也可以用來影響角色反應的驅動。在現場音樂表演期間，對音樂輸入的認知處理允許動畫角色維持一個變化中的情感狀態。音樂動畫表達層使用動畫來可視化角色行為，這種情感狀態隨后可以通過表達層傳達給觀眾。4.3.2其它因素的認知
在情感色彩方面，調式是音樂的一種極重要的表現手法，因為它能表現內容的某引起重要情調。在這方面說來，每一調式由于它的表現能力而在各種類型的作品中被應用。調式和內容的各種關系是極少有例外的。例如普通總是以大調來表現勝利，小調來表現悲傷、憂愁。可是調式能如此廣泛應用還是因為作品中的內容是由許多手法，如調式、旋律的方向、旋律中的音程、節奏、速度、音的強弱變化、音的力量、音區、音色等的結合來表現的，而式在這必需的結合中不
過是手法之一。完美的可視化呈現需要考慮多方面的因素，除了上述因素對情感方面的表現力之外，還應考慮它們對其他心理感受的表現力。例如高的音高與低的音高相比，表現為亮、高、輕、小、敏捷;強的音比弱的音相比，表現為大、重、近;慢的音與快的音相比，表現為大、重、慢、穩重;快的起音與慢的起音，表現為生硬、果斷、急躁、兇狠t421。
4.4角色及場景表達層
角色需要展示可視化的動作來表明它們認知的狀態。當一個動畫角色己經處理了感知的數據并且決定做出怎樣的身體反應行為時，這些行為將會通過動畫的形式表達出來。該音樂動畫系統在運行時生成了這些動畫，可以通過一種過渡的動畫來逐步地添加到各種不同的預定義的姿勢之間。動畫的行為在情感或強度之間變化，從而體現出虛擬角色的認知狀態。本節將描述角色和場景表達層是如何工作的。
4.4.1將音樂映射到行為
在認知層中，角色的內部狀態被定義好了。然后這種內部的狀態通過表達層中自動生成的動畫來實現可視化。為了完成這種音樂可視化效果，系統需要創建一種足夠復雜的角色用來產生行為，這種行為被使用者和觀察者認為將是音樂輸入的及時反應。角色需要監視感知層的數據，從而決定如何反應。每一個角色需要注意特定類型的數據并且忽略其它的數據。有些角色可能對所有的歌聲的音高和振幅感興趣，而其它的角色僅僅關心從鍵盤輸入的大小和弦。這些決策是由設計出角色的程序設計者做出的，即角色只對特定數目的特征感興趣。下面就以一個角色來舉例說明。當用戶唱出一個高于中央C的音高，在為該事件負責的音樂感知過濾層中，就在特征記錄器的旋律中就寫下該音高事件的發生。該角色監視旋律中的音高信碩十學位論文第四章音樂可視化系統設計與實現息，當感知到該事件的時候，它的注意力就馬上集中起來。該過程是由一段動畫來表示的，即角色當事件的發生時轉變為表達出一個“專心的”狀態。如果該角色長時間地沒有聽到任何歌聲，則它變得很無聊，然后開始趴下睡覺。只有當用戶選擇發出另一個相似的音高，它才醒來，在這段時間里它的注意力不太集中，會忽略掉一些小小的噪聲。這種行為控制類型被稱為驅動機制，即對角色的每一個狀態都匹配一個驅動。更完善的驅動機制是，每一個驅動都有一定的級別值，驅動系統監視每一個狀態的當前的級別，當到達閉值時刁‘觸發相應的行為。在上例中，與角色內部狀態相關的是“無聊的”級別值，當角色的“無聊的”驅動達到一定的閩值時，它就開始睡覺。當它聽到用戶發出相關的聲音時這種“無聊的’，級別值就減小，而當用戶不發聲的時候該級別值就增大。這是在用戶輸入與角色行為之間的一個很簡單的映射例子。如果角色能夠展示更加復雜的行為，那將是更有趣的事情。例如，當聽到一個低音的音高時，角色就慢慢地扭轉頭，而當它感知到一個很具攻擊性的聲音時，當就突然轉移它的注意力。在感知到高音C時它甚至捂住耳朵。當然，這些行為都是角色設計者設定的。設計者選擇角色的動作來模擬音樂輸入，同時也決定著如何進行急劇的或是平滑的過渡用來展示音樂情感。
4.4.2動畫的實現方法
計算機動畫是計算機圖形學和藝術相結合的產物，綜合利用了計算機科學、藝術、數學、物理學和其它相關學科的知識，在計算機上生成豐富多彩的虛擬真實畫面。一般來說，計算機動畫分為關鍵幀動畫、變形動畫、過程動畫、關節角色動畫和基于物理的動畫。過程動畫指的是動畫中物體的運動或變形由一個過程來描述。最簡單的過程動畫是用一個數學模型去控制物體的幾何形狀和運動，如水波隨風的運動。較復雜的則包括物體的變形、彈性理論、動力學、碰撞檢測等。基于物理模型的動畫技術考慮了物體在真實世界中的屬性，如具有質量、轉動慣矩、彈性、摩擦力等，并采用動力學原理來自動產生物體在各個時間點的位置、方向及其形狀。此外，動畫師不必關心物體運動過程的細節，只需確定物體運動所需的一些物理屬性及一些約束關系，如質量、外力等，引入了轉動慣量、彈性系數和阻尼等概念，把分析計算分解為水平和垂直兩個獨立的方向，通過這種簡化，系統可以進行實時模擬，為了達到實時的效果，在一定假設條件下化簡模型和運動求解是非常必要的。本文的系統可以綜合運用上述幾種方法。角色模型若是基于彈性關節的骨架模型，這就是關節動畫。動作姿態的變換若是由動態方程控制的，交互控制和碰撞檢測都用到了無質量的彈簧模型，這就是基于物理的動畫方法。系統的腳本是姿態的順序編排，可以把腳本的每一行看作是一個關鍵幀，但這里的插值過程是系統根據物理原理自動完成的。其實用交互控制模型以設計姿態，也可以看作是模型由靜止狀態的變形過程。
4.5系統的模擬實現
為了論證本文中主要的算法、解決方案的正確性與可行性，本節簡化了前面提出的系統并模擬實現了該系統。該模擬系統的相關設計與顯示結果如下所述。以Microsoft叭suaiC十+6.0作為開發環境，選擇基于對話框的MFC應用程序進行模擬。采用MIDI文件模擬現場音樂信號輸入，即便如此，本節仍實時分析音樂數據流，而不是對輸入的音樂全篇處理后再進行分析，并在特定時間觸發相應事件。只考慮音高特征，忽略速度、力度等特征。只考慮音樂在情感方面的表現力，忽略其對其它心理感受的表現力。在情感檢測方面，只考慮本文第二章中提到的基本術語的情感色彩，對單個的音程、和弦不予考慮。采用圖片集模擬角色的腳本動畫庫。
4.5.1數據結構
音高事件(即音符)主要包括音高、起音、落音、時值、力度等信息，因此自
(1)調性確定算法
基于本文第三章提出的螺旋模型和調性確定算法進行實現，在音高事件的個數到達預定義的數目時調用該調性確定函數，其偽代碼如圖4一6。初始化音效中心poiniCE為原點;初始化當前總Tick數nTicksum為0;
(2)情感匹配算法
在情感匹配之前，需要預定義一些情感術語，本模擬系統參考本文第二章中的情感術語如圖4一7。與死相聯系著的絕望的情感，白外返回的痛苦情感，即對悲哀的接受或屈服、消極的忍受或與死亡相聯系的絕望圖4一7情感匹配術語然后再對音樂的實時旋律進行情感匹配，以小調為例，其偽代碼如圖4一8。試確定的調性的調式為小調)道
4.5.3模擬結果
運行后的模擬界面如圖4一9(a)。“監聽”用來打開MIDI文件，模擬角色對現場音樂信號輸入的監聽，當演奏的音符數超過預定義的個數16時，點擊角色所在的圖形區域，程序以消息框的形式提示當前音樂采用調性確定算法得到的調性，如圖4一9(b)。通過實驗，該模擬程序對各音樂的前16個音符確定的調性如下:巴赫的《C大調賦格曲》，C大調;巴赫的《E小調賦格曲》，E小調;巴赫的《G小調賦格曲》，G小調;貝多芬的《熱情奏鳴曲》，G小調;德彪西的《月光》，Db大調;李斯特的《圣誕之歌》，F大調;肖邦的《雨滴》，Db大調。通過本模擬程序，進一步驗證了螺旋模型和調性確定算法的正確性。
圖4一9模擬界面及調性確定
確定了該首音樂的調性之后，系統就開始對音符序列進行情感匹配，并實時更新各情感驅動的級別值，當某情感驅動的級別值到達它的閩值時就觸發相應的動作。如圖4-10(a)，貝多芬的《熱情奏鳴曲》是在法國大革命時期英雄主義思想的啟示下創作的，其中那明晰生動的節奏，那熱情奔放的旋律，那星馳電擊的電流，無不深刻地體現了“人類的良知”，充分顯示了在戰斗洗禮中的英雄們那悲壯激烈、堅貞不屈的崇高精神。又如圖4一10偽)，李斯特在他的作品《圣誕之歌》中，極力表現一種天使和孩子們的天真、純潔和純粹的幸福。圖4一10模擬系統的情感表現
4.6本章小結
本章首先簡述了現有的音樂可視化系統的實現技術，指出其相關的應用領域。然后著重闡述了本文擬采用的音樂可視化系統的解決方案，提出了系統處理流程，并對各個環節如音樂感知過濾層、角色及場景認知層、角色及場景表達層進行了比較詳細的介紹，描述了相關的實現原理及處理方法。由于麥克風輸入的歌聲數據量很大，所以本文提出的系統只對這些數據提取一些主要的音樂特征如音高、振幅等，從而滿足實時性的要求。對于電子琴輸入的和音信息，系統也只對其中特定的信息感興趣，那就是與角色動作相關的情感信息。實現了模擬系統，進一步論證了螺旋模型和調性確定算法的正確性以及系統解決方案的可行性。角色的多樣性、動作集、碰撞檢測、花草山水、風雪煙霧、顏色變化等問題，有待進一步研究。
第五章結論
現代社會，隨著工作節奏的加快和工作壓力的增加，人們愈加需要休閑和娛樂。信息技術的娛樂應用也就成為計算機應用的一個重要發展方向。同時，隨著計算機技術的發展，音樂可視化日益得到研究機構和公司的重視，出現了各種音樂可視化系統。音樂可視化有著廣泛的應用:音樂分析、信息檢索、表演分析、音樂教學、音樂認知、情感表達、游戲娛樂。
5.1工作總結
本文通過對基于情感識別的實時交互式音樂可視化研究的初步探討，工作總結如下:
(l)研究了國內外現有的音樂可視化系統。詳細地論述了音樂可視化的相關內容，重點介紹了音樂可視化的研究內容、研究進展。
(2)總結和分析了音樂情感方面的研究。圍繞音樂到底是一種怎樣的藝術、表現了一種什么樣的世界、能否表達情感以及如何表達情感等問題進行描述，對音樂的心理學也作了簡單介紹。
(3)提出了螺旋模型及調性確定算法。提出了一種螺旋模型，在此基礎上提出調性確定算法，并通過理論及實例論證了模型和算法的正確性和實用性。(4)提出了系統設計方案及實現了模擬系統。闡述了本文的系統采用的解決方案，描述了系統流程及處理機制，并實現了一個系統簡化版本的模擬系統，有著較好的效果。
5.2研究展望
(l)音樂特征的提取
音樂中有各種各樣的特征，如頻率、振幅、音色、音調、音高、音長、和弦、速度、響度、節拍及近來提出的一些新的特征，如能量、過零率、頻譜矩、頻譜流、帶寬、帶周期、噪音幀率等。音樂中有如此多的特征，對每種特征都進行提取是很耗費時間的，也是很不現實和沒有必要的。因此，應該根據音樂可視化的應用方面的要求，提取出音樂中的那些必要的特征，忽略或者去除那些不必要的特征，從而縮短程序運行時間，達到實時性等方面的要求。在交互式的音樂可視化系統中，對于不同輸入設備(如麥克風和MIDI輸入設備)得到的數據，對其特征提取的方法也應該是不一樣的。此外，音樂的風格也是多樣化的，最大的分類是嚴肅音樂和流行音樂，而流行音樂下有鄉村音樂、民謠、爵士樂、搖滾樂、流行美聲等分類，如果能在對音樂的特征提取過程中得到音樂的分類，然后采用不同的可視化風格來反映這些不同的音樂風格，效果一定會更好一些。因此，在特征提取過程中得到音樂風格的特征，是音樂可視化進丫步的追求目標。
(2)對音樂的情感檢測與情感表達
音樂既是一種娛樂方式，也是抒發作曲者和歌手情感的手段。情感因素是音樂中的一個重要的特征，在音樂可視化研究中越來越受到重視。因此，必須建立一個完善的情感檢測以及情感表達機制。這種情感檢測機制應當是綜合性的，包括對音樂風格的分析、對音樂與情感關系的準確刻畫、聯覺中的各音樂特征與情感的對應。情感表達機制還應擴充表達情感的角色的動作集，盡可能準確地表達出盡可能多的情感。
(3)以用戶為中心的系統設計
應用系統的設計應該以用戶為中心，也就是說要有靈活的圖形用戶界面(GuD，實時性地反應用戶的操作，用戶的操作和輸入的方式要盡可能地簡單，而輸出的結果要盡可能完美，等等。這就要做好用戶需求調查和分析。在設計音樂可視化系統之前，必須要對用戶的需求進行調查和分析，以此來確定系統的用戶類型和應用類型，如教育方面的音樂教師和學生，商業娛樂方面的大眾人群等，從而設計相應的可視化系統。
(4)場景對象和動作建模
WindowsMediaPlayer中的可視化效果是音樂可視化的雛形，并為音樂可視化提供了一個有用的參照。但是它的可視化效果過于簡單和單調，使得用戶感覺到這些可視化模式與所播放的音樂之間并沒有什么關系，只是有一些微小的變化重復出現而己。這種面向大眾的音樂可視化的娛樂應用，應該要另辟蹊徑，采用場景以及角色對象來實現，角色對象可以是各種擬人化的動物、花草樹木、自定義的動畫角色甚至人本身，而場景對象可以是山河湖泊、花草樹木等。為了避免角色的動作種類太少或者場景對象的種類太少而產生的單調性，以及表達音樂中各種復雜的情感因素，就必須盡量擴充角色的動作集，增加場景對象的種類。
(5)虛擬現實技術的硬件和軟件支持
音樂可視化要有好的沉浸感，就要用到虛擬現實技術。這就需要解決相關的硬件設備和軟件技術方面的支持問題。硬件設備方面，三維立體聲設備、大屏幕主要有洞穴狀、圓柱型或者由矩形塊拼接成的大屏幕)投影設備等是必不可少的。大屏幕的立體顯示、實體大小的虛擬角色以及用戶輸入接口的最自然的方法都可以幫助減少現實和虛擬的距離，讓用戶體驗與虛擬角色之間的真正的交互過程，從而產生強制性的沉浸感。軟件技術方面，如碰撞檢測算法，以此來確保虛擬角色的行走路徑和活動范圍的合理性;豐富的特效，如模擬火焰、水流、煙霧、雨雪等，光照、陰影等，花草樹木隨風擺動、實時水波等;觸發機制和動作定義，由特定的音樂特征觸發角色相應的動作，通過給定的幾個參數就可以實現各種動作等。
(6)機群并行處理問題
由于視覺效果是對音樂播放的補充，因此，不能由于處理可視化效果而占用了大量的CPU處理時間而使得音樂本身播放的不連續或者可視化效果的不連續因此，一個效果好的音樂可視化系統需要性能優化的算法以及高性能的計算機(也包括高性能的顯卡和聲卡)等方面的支持。如果要實現的算法和功能足夠復雜，如三維的虛擬現實技術，則需要將多臺計算機組成一個網絡，進行機群并行處理操作，由不同的計算機處理不同的功能，在盡量短的時間內實現總體功能。
致謝
光陰似箭，回顧碩士研究生三年，首先要感謝我敬愛的導師黃東軍教授。在本論文完成的過程中，導師注入了極大的心血，給予了悉心的指導，導師的及時指點和幫助使我不致迷失方向，并在老師的指導下得到研究動力和靈感。導師不僅教授給我研究方法，還對我的生活悉心照顧，讓我更加明白人間有情，更加端正學習態度、熱愛生活。導師嚴謹的治學態度、孜孜不倦的進取精神給我留下了深刻的印象。上研以來，由于家里的一些原因，我一度處于人生的低谷，是導師，給予我很大的關心，時刻牽掛著我的生活、學習情況，讓我真真切切地感受到了老師那種長輩對晚輩無微不至的關懷和悉心的培養。我在學業上的點滴進步都飽含了導師的心血。感謝信息科學與工學院的全體老師，特別是陳松喬教授、徐德智教授、王國軍教授和沙莎教授在我撰寫論文過程中提出的寶貴意見和無私幫助。感謝楊珊、童卡娜、李晶晶、陳濤、文展等同門與我一起走過碩士研究生階段的美好時光。感謝吳俠、賀建新、周偉、胡周軍、陳斌華等好友在學習和生活上的每一份無私的幫助。最后還要感謝我的母親，母愛深深，每一份感動都化為我學習中的動力。感謝我的妹妹，一直以來她都給我極大的鼓勵和支持。感謝屈文波、屈黎明、屈苗等摯友，給我生命中注入樂趣與活力。特別感謝我的朋友王煥云，她給我的關心和督促，使我能全心全意的投入到研究工作中去，不曾懈怠，順利的完成我的學業，并在我求職時給我加油打氣。在此，我謹向所有關心和幫助我的人表示最衷心的感謝!
