淺談高校網站檢測系統的設計
前言：本站為你精心整理了淺談高校網站檢測系統的設計范文，希望能為你的創作提供參考價值，我們的客服老師可以幫助你提供個性化的參考范文，歡迎咨詢。
1近似鏡像網頁與檢測概述
（1）在某些相同的時間點，比如五四青年節，容易在眾多的二級部門出現很多相似的網頁信息，比如各部門一起參加了學校的五四青年節晚會，得到的網站新聞信息就會近似，甚至雷同。
（2）相同的引用網頁內容。比如財務處了新的財務管理制度，如果下面二級部門做了引用，那么財務處的這些管理制度方面的網頁內容就會造成重復。
（3）新舊網站改版或者遷移的時候，如果老網站沒有及時在網絡上去除，就容易出現重復的網站和重復的信息。
（4）相同內容，不同格式的網頁文件，也會一定程度上造成近似網頁的形成。比如一些網頁是html格式的，另外一些網頁是jsp格式的，這樣重復的內容，就造成了近似網頁的增加。
1.2近似鏡像網頁的檢測綜述
近似網頁檢測算法是全文分段簽名的近似鏡像網頁檢測算法，通過檢測網頁分段的簽名來識別近似網頁。Google搜索引擎發現，全世界35％的網頁是近似的。伯德等人提出了網頁的相似度和包容度等指標與定義，通過計算不通網頁之間相似度與包容度來判別網頁的重合程度。中國的天網搜索系統，提出了文檔的向量化表示方式，并借此來對近似網頁進行區分，也取得了很好的效果。另外，一種網頁預處理的方法，其預處理包含以下幾個步驟：網頁預凈化，網頁特征值消重和網頁最終整合，并最后將所有網頁都轉化為一種通用的文檔格式，這種算法已經在天網搜索引擎系統的網頁消重和網頁自動分類系統中得到應用，并已經逐步得到推廣。
2.1分析
高校網站群的推廣已經有數年了，網站群由于其使用方便、便捷，獲得了廣大師生的認同，也極大的推動了高校信息化的發展。但從高校網站群建立開始，由于歷史數據不斷沉積，近似網頁的數量也在不斷增加，若是人工去查找、判別，難免費時費力，如何能快速檢測識別，具有一定的現實意義。
2.2近似網頁檢測功能模塊設計
（1）近似網頁標準定義模塊，此模塊負責整個近似網頁的評判標準。提供給用戶一個清晰明了的輸入界面，頁面布局具有很好的友好性。用戶將按照系統提示，去對需要檢測主題進行一個嚴格的定義。比如針對信息公開的內容，除了要輸入信息公開需要抽取的一些關鍵字之外，還需要提供網頁檢測的條件，比如信息來源、作者、發表時間、發表部門、所在網站等，根據這些條件對重復的網頁進行過濾，最后能得到用戶所需要的信息。
（2）近似網頁檢測模塊，這個模塊承擔著整個系統的實際工作，它必須要完成近似網頁的檢測與評判。結合近似網頁的研究現狀，本系統采用基于生物特征（比如指紋等）識別的文檔識別算法，原理就是將每個文檔，都計算出各自的特征值，然后再根據網頁的特征值去定義每個網頁。如果根據關鍵字搜索得到的網頁有多個，然后就會用計算得到的向量去比對，如果各個網頁的向量值都比較接近，即可認為這兩個網頁是近似的，予以排除。在這里我們可以用信息抽取技術先將網頁抽取出來，然后再聚類分析，再定義每個組中的網頁對比，判別是否為相似網頁。
（3）網頁信息抽取展示模塊，是相似網頁檢測系統的最后一個模塊，也就是將正確，無重復的網頁抽取出來之后，再在一個統一的平臺上。這個一般通過和網站群的接口進行交互，即網站群給網頁抽取系統開放接口，網頁信息抽取展示模塊即可將抽取到的網頁遠程到網站群的專門網站上。
2.3使用效果評價
本文選取了一個高校網站群系統做為測試網站，總共搜索到了3400多個網頁，這么多的網頁來源于五十多個二級部門網站及教學網站。這些網頁都用計算機程序預先進行了處理，并得到了每個網頁的特征值。本系統安裝在windows2003的服務器上，內存為4G。在特定的活動里面，選定“文明創建”為選取標準，最后搜索到了98條與文明創建有關的，并且無重復的網頁，按照的時間新舊進行排序，自動生成了學校文明創建網站新聞條目，省去了大量的人工。
3結束語
本文設計了一個基于高校網站群的近似鏡像網頁檢測系統，改進了以往近似鏡像網頁鑒別方式，設計了基于高校網站群的近似網頁檢測系統。系統分三個主要模塊：近似網頁標準定義模塊、近似網頁檢測模塊和網頁信息抽取展示模塊。通過搭建實驗平臺，并經過學校文明創建活動的檢驗，實驗結果表明，系統能自動檢測相似網頁，能自動展示內容，省去了很多的管理工作量。
作者：樓俊君單位：上海電力學院
