數據挖掘技術
前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇數據挖掘技術范文，相信會為您的寫作帶來幫助，發現更多的寫作思路和靈感。
數據挖掘技術范文第1篇
關鍵詞：數據挖掘；神經元；方法；應用；發展
中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9599 (2012) 12-0000-02
一、引言
伴隨信息技術的迅猛發展，數據庫規模與應用的不斷擴大，大量數據隨之產生。新增的數據包含了重要的信息，人們希望更好地利用這些數據，并通過進行更高層次的數據分析，為決策者提供更寬廣的視野。
現今，很多領域已建立了相應的數據倉庫。但人們無法辨別隱藏在海量數據中有價信息，傳統的查詢方式無法滿足信息挖掘的需求。因此，伴隨著數據倉庫技術不斷發展并逐漸完善的一種從海量信息中提取有價潛在信息的嶄新數據分析技術------數據挖掘（Data Mining）技術應運而生。
二、數據挖掘概念
數據挖掘技術從1990年左右開始，發展速度很快，數據挖掘技術的產生和不斷發展可使得人們對當今世界的海量數據中隱藏著人們所需要的商業和科學信息等重要信息進行挖掘。數據挖掘運用到交叉學科，涉及到，包括Database、AI、Machine Learning、人工神經網絡（Artificial Neural Networks）、統計學（statistics）、模式識別(Pattern Recognition)、信息檢索（Information Retrieval）和數據庫可視化等，因此數據庫目前還沒有明確的定義。通常普遍認可的數據挖掘定義是：從數據庫中抽取隱含的、以前未知的、有潛在應用價值的模型或規則等有用知識的復雜過程，是一類深層次的數據分析方法。
三、數據挖掘方法
由于數據挖掘技術研究融合了不同學科技術，在研究方法上表現為多樣性。從統計學角度上劃分，數據挖掘技術模型有：線形/非線形分析、回歸/邏輯回歸分析、單/多變量分析、時間序列/最近序列分析和聚類分析等方法。通過運用這些技術可以檢索出異常形式數據，最后，利用多種統計和數學模型對上述數據進行解釋，發掘出隱藏在海量數據后的規律和知識。
（一）數據挖掘統計
統計學為數據挖掘技術提供了判別方法與分析方法，經常會用到的有貝葉斯推理(Bayesian reasoning; Bayesian inference)、回歸分析（Regression analysis)、方差分析(Analysis of Variance，簡稱ANOVA)等分析技術、貝葉斯推理是在估計與假設統計歸納基礎上發展的全新推理方法。貝葉斯推理在與傳統統計歸納推理方法相比較，所得出的結論不僅根據當前觀察得到的樣本信息，還將根據推理者過去相關的經驗和知識來處理數據挖掘中遇到的分類問題；回歸分析是通過輸入變量和輸出變量來確定變量之間的因果關系，通過建立回歸模型，根據實測數據求解模型的各參數，若能很好的擬合，則可根據自變量進一步預測。統計方法中的方差分析是通過分析研究中估計回歸直線的性能和自變量對最終回歸的貢獻大小，從而確定可控因素對研究結果影響力的大小。
（二）聚類分析（Cluster analysis ）
聚類分析(Cluster analysis)是將一組研究對象分為相對同質的群組(clusters)的統計分析技術。 同組內的樣本具有較高相似度，常用技術有分裂/凝聚算法，劃分/增量聚類。聚類方法適用于研究群組內的關系，并對群組結構做出相應評價。同時，聚類分析為了更容易地使某個對象從其他對象中分離出來的方法用于檢測孤立點。聚類分析已被應用于經濟分析（Economic analysis）、模式識別(Pattern Recognition)、圖像處理(image processing)等多種領域。
（三）機器學習（Machine Learning）
機器學習方法經過多年的研究已相對完善，通過建立人類的認識模型、模仿人類的學習方法從海量數據中提取信息與知識，在很多領域已取得了一些較滿意的成果。因此利用目前比較成熟的機器學習方法可以提供數據挖掘效率。
（四）數據匯總
數據庫中的數據和對象經常包含原始概念層上的詳細信息，將數據集通過數據立方體和面向對象的歸納方法由低概念層抽象到高概念層，并對數據歸納為更高概念層次信息的數據挖掘技術。
（五）人工神經網絡（Artificial Neural Networks）
神經網絡是一種模范動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。近年來在解決數據挖掘中遇到的問題越來越受到人們的關注，源于人工神經網絡具有良好的自組織自適應性、并行處理、分布式存儲和高容錯等特性，并通過調整內部大量節點之間相互連接的關系，達到處理信息的目的。
（六）遺傳算法（Genetic Algorithm）
遺傳算法（Genetic Algorithm）是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優解的方法，是一種受生物進化啟發的學習方法，通過變異和重組當前己知的最好假設來生成后續的假設。遺傳算法可直接對結構對象進行操作，不存在求導和函數連續性的限定，能自動獲取和指導優化的搜索空間，自適應地調整搜索方向。遺傳算法已被人們廣泛地應用于多種學科領域。
（七）粗糙集
粗糙集是一種刻劃不完整性和不確定性的數學工具，能有效地分析不精確，不一致（inconsistent)、不完整（incomplete) 等各種不完備的信息，還可以對數據進行分析和推理，從中發現隱含的知識，揭示潛在的規律。粗糙集理論應用于數據挖掘中的分類、發現不準確數據或噪聲數據內在的結構聯系。
四、數據挖掘技術發展趨勢
當前，數據挖掘技術不斷創新與發展，數據挖掘技術開發研究人員、系統應用人員所面對的主要問題：高效、有效的數據挖掘方法和相應系統的開發；交互和集成的數據挖掘環境的建立以及在實際應用中解決大型問題。
五、小結
數據挖掘技術涉及到多種學科技術，如：數據庫技術、統計學、機器學習、高性能計算、模式識別、神經網絡、數據可視化、信息檢索及空間數據分析等。因此，數據挖掘是非常有前景的研究領域，隨著數據挖掘技術的不斷發展，它將會廣泛而深入地應用到人類社會的各個領域。
參考文獻：
[1]羅可，蔡碧野.數據挖掘及其發展研究[J].計算機工程與應用,2002
[2]趙丹群.數據挖掘：原理、方法及其應用[J].現代圖書情報技術,2000
[3]劉毅勇.情報分析智能輔助決策方法及其軍事應用[M].北京：國防大學出版社，2001
[4]唐曉萍.數據挖掘技術及其在指揮控制系統中的應用[J].火力與指揮控制，2002
[5]Alex Berson，Stephen J．Smith，Data Warehousing，Data Mining,&OLAP[M], McCraw-Hill Book Co,1997
[6]吳修霆.SAS數據挖掘技術的實現[J].微電腦世界,2000, Vol.14:pp44-45
[7] INDERPAL BHANDARI, EDWARD COLET, JENNIFER PARKER, ZACHARYPINES, RAJIV PRATAP, KRISHNAKMAR RAMANUJAM. Advanced Scout: Data Mining and Knowledge Discovery in NBA Data. Data Mining and Knowledge Discovery,1997,1:121～125
數據挖掘技術范文第2篇
關鍵詞:數據挖掘;用戶偏好;考試系統;入侵檢測
中圖法分類號:TP274文獻標識碼:A文章編號:1009-3044(2010)22-6231-02
Survey on Data Mining Technology
WANG Wen
(School of Computer Science and Technology, China University of Mining and Technology, Xuzhou 221116, China)
Abstract: Data Mining technology is an important part of modern computer technology. Using Data Mining can solve many problems in artificial intelligence. In this article, the development and the principle of Data Mining are introduced. Some of the newly application of Data Mining are involved. This article also have the expects for the future development of Data Mining.
Key words: data mining; user preference; examination system; intrusion detection system
隨著時代的發展,計算機科學在以飛快的速度前進著。在計算機科學的眾多領域中,人工智能是最富有挑戰性和創造性的一個領域。近幾十年來,隨著人工智能技術的日漸成熟,人們對人工智能的研究更加深入,對人工智能更加重視。科學界對于人工智能的重要性也已形成共識。
自進入21世紀以來,電子數據獲取與計算機技術方面的不斷發展以及網絡的廣泛普及與應用,人們日常生活中接收的數據和信息較以往正以飛快的速度增加,因而形成了獨特的知識爆炸時代。就在最近幾十年很多超大型數據庫的產生使得整個社會發生著天翻地覆的變化,遍及銀行存款、超級市場銷售、粒子物理、天文學、化學、醫學以及政府統計等領域。在這個數字化、信息化時代,這么大規模的數據庫以及以后可能誕生的更大規模的數據庫的數據管理問題將會是以后對數據處理的一個重要關注點。眾多科技工作者共同關注的焦點集中在了如何從這些大型數據庫中發現有用的、信息、模式以及如何實現有效的數據處理方法。因而“數據挖掘”(Data Mining) 的新領域逐漸走進了人們的事業,并且在人們的關注和不斷研究下飛速發展,這是一個與統計學、人工智能、模式識別、機器學習、數據庫技術以及高性能并行計算等領域都有很大相關的新學科,正是計算機學科的一個研究重點。
1 數據挖掘的一般過程
數據挖掘一般分為如下四個步驟(圖1)。
1.1 數據預處理
收集和凈化來自各種數據源或數據倉庫的信息,并加以存儲, 一般存于數據倉庫中。
1.2 模型搜索
利用數據挖掘在數據庫中匹配模型,這個搜索過程可以由系統自動執行,自下而上搜索原始數據以發現它們之間的某種聯系;也可以進行用戶交互,由分析人員發問,自頂向下尋找以驗證假設的正確性。一個問題的搜索過程可能用到許多模型,如神經網絡、基于規則的系統(決策樹)、機器學習、基于實例的推理等。
1.3 評價輸出結果
一般來說,數據挖掘的搜索過程需要反復多次,當分析人員評價輸出結果后,它們可能會形成一些新的問題,或者要求對某一方面作更精細的查詢,通過反復的搜索過程即可滿足分析人員的這種需求。
1.4 生成報告
知識的發現過程可以由數據清理、數據集成、數據選擇、數據變換、數據挖掘、模式評估和知識表示等幾個步驟組成。數據挖掘可以與用戶或知識庫交互,把用戶關心的模式提交給廣大用戶,或作為新的知識存放在知識庫中。
2 數據挖掘應用
2.1 數據挖掘在實現網站用戶偏好度的應用
數據挖掘就是從大量的數據中發現隱含的規律性的內容,解決數據的應用質量問題。使數據能夠被更加高效的利用,對無用的數據加以摒棄,是數據挖掘技術最主要的實現形式,也是其最重要的應用方式。傳統的數據庫中的數據相對于Web的數據而言,其結構性很強,是完全結構化的數據,而半結構化則是Web上的數據最大特點。因而,面向單個數據倉庫的數據挖掘較之面向Web的數據挖掘比要簡單許多。據統計,網站上的絕大部分內容對絕大部分用戶來說是無用的信息。事實是對于某個特定用戶來說,其關心的內容僅是網站上極小部分的內容,而網站上提供的更多的內容對于這個用戶來說是其不感興趣的,并且過多的信息往往會掩蓋有用的信息,使得用戶的查詢效率降低,并且對于網站也不是一件利事。
對于Web數據挖掘技術而言,半結構化數據源模型和半結構化數據模型的查詢與集成問題是應當首要解決的問題。解決Web上的異構數據的集成與查詢問題,有一個模型來清晰地描述Web上的數據是很必要的。因此,針對數據半結構化的Web數據的特點,尋找一個半結構化的數據模型至關重要。并且除此定義一個半結構化數據模型之外,一種半結構化模型抽取技術(自動地從現有數據中抽取半結構化模型的技術)也是應當提出的。因而半結構化模型和半結構化數據模型抽取技術是面向Web的數據挖掘實現的重要前提。
用戶瀏覽網站上的內容時,他會被很的多因素影響,網頁的外觀,信息標題,網頁鏈接以及個人的興趣和習慣等等。我們可以設定合理的假設,建立他們之間的模型,利用以上提到的方法解決用戶偏好度的問題。
2.2 數據挖掘在在線考試系統方面的應用
數據挖掘在在線考試系統方面的應用最主要體現在題庫的構建,下面分別介紹題庫的構建中數據挖掘的應用情況。
在設計數據庫方面,數據庫主要由題庫、答案庫和答案關鍵字庫構成,題型庫又涵括科目、題號、題型、題目、難度、分值等字段;答案庫中包含科目、題號、分值、答案以及在同一題中有不同答案時應提供的不同答案序號等字段;答案關鍵字庫中有題號、答案序號、權重和答案關鍵字。此后在將答案錄入答案庫。對于客觀題而言,僅僅需要錄入唯一的答案;但對于主觀題而言,則需要盡量給出多個參考答案并將每個答案的關鍵字及其所對應的權值、答案序號輸入答案關鍵字庫。
通常有兩類數據挖掘方法:①統計型,應用概率分析、相關性、聚類分析和判別分析等技術得以實現;②通過人工智能中的機器學習,經過訓練以及學習輸入大量的樣品集,以得出需要的模式或參數。由于每一種方法都根據其特點都有其優勢以及相應的引用領域,最后結果的質量和效果將受到數據挖掘技術選擇的影響,采用多種技術結合的方法,其各自的優勢可以達到互補的要求,從而實現最佳配置。下面介紹了兩種數據挖掘方法: ①決策樹算法:為每個問題的答案構造一個二叉樹,每個分支或者是一個新的決策點,或者是一個葉子節點。在沿著決策樹從上到下的遍歷過程中,對每個問題的不同回答導致不同的分支,最后到達一個葉子節點,每個葉子節點都會對應確定的權值,通過對權值的計算判定得分;②模糊論方法:利用模糊集合理論,對實際問題進行模糊判斷、模糊決策、模糊模式識別、模糊簇聚分析。由于主觀題答案很靈活,答案不可能完全匹配,采用此方法將考生答案與答案庫中的答案進行對照,以確定答案的正確度,從而更客觀準確地評定主觀題分數。
2.3 數據挖掘在網絡入侵檢測系統方面的應用
入侵檢測就是通過運用一些分析方法對從各種渠道獲得的反映網絡狀況和網絡行為的數據進行分析、提煉,再根據分析結果對這些數據進行評價,從而能夠識別出正常和異常的數據或者對潛在的新型入侵做出預測,以保證網絡的安全運行。
基于分布式數據挖掘的入侵檢測系統要對一個網段上的信息進行全面而細致的監測,同時在網絡上多個點進行數據采集,如網關和特別需要保護的服務器等。整個系統構成分為本地分類器、規則學習模塊和集中分類器三塊基本構件。本地分類器負責對從網絡上各個點采集到的數據通過預處理模塊去除掉無效數據,并將原始數據處理成為以后進行數據挖掘算法可識別的格式,以實現對數據的初步檢測和處理。本地分類器有2個輸出:一個輸出為分類數據,用于提交給規則學習模塊,另外一個為數據摘要,用于提交給集中分類器。規則學習模塊負責對標記過的分類數據進行深層次的數據挖掘,從而學習到新的知識。學習到的知識被直接錄入到規則庫中,這樣保證了規則庫可以根據網上的變化可以隨時達到更新的需求。另外一種方式是通過規則學習模塊實現人工訓練系統,從而實現升級規則庫的需求。最后將分布式數據挖掘的結果形成數據摘要發送給集中分類器,由集中分類器對各點數據摘要進行匯集,從而做出綜合判斷,達到有效地檢測協同攻擊的效果,最后將檢測結果提交給決策模塊。
3 結束語
數據挖掘技術是人工智能學科的一個重要分支,也是現代計算機科學的一個研究重點。現在基于數據挖掘技術的科研可以說是碩果累累,自從人工智能這個概念被提出來之后,其發展一直是計算機學科的熱門而且其分支廣而泛,都在不同的領域發揮著十分重要的作用。相信在計算機研究人員的不斷努力下數據挖掘會在更多的方面服務人們,并且期待著新的理論的提出。
參考文獻:
[1] 何克抗.建立題庫的理論[M].長沙:國防科技大學出版社,1995.
[2] 劉波,段麗艷.一個基于Internet的通用題庫系統的設計與實現[J].華南師范大學學報:自然科學版,2000(1):39-44.
[3] 王實,高文.數據挖掘中的聚類方法[J].計算機科學,2000,27(4):42-45.
數據挖掘技術范文第3篇
隨著科技的進一步發展，已經帶動著各大領域的創新和發展。而我國在近年來，城市信息化的普及也在不斷推進，網絡技術的改革和發展也顯得格外重要。而特別很多企業對于自身的信息和數據儲存、共享以及處理都格外注重，要求技術本身要包含安全性、便捷性以及可靠性。，而是在大數據提出后，數據挖掘技術已經成為了一種新的主流技術，而研究數據挖掘技術的理念、方法以及應用領域，將對我國工程施工領域的未來帶來更多的機遇和挑戰。
關鍵詞：
大數據時代數據挖掘技術分析和研究運用數據挖掘技術，也被稱為數字處理技術，顧名思義，就是對于目前各大企業的內部數據，進行整理、調整、挖掘實施以及評估等一系列處理操作，其主要的目標是保證全局數據都能夠得到充分的優化。而大數據則是區分于以往抽樣調查的方法，而是對于全局數據進行分析，從而保證分析的全面以及完成。而大數據技術也包含4個優點，即高數量、高速度、多元化以及高價值。而筆者將通過本文，就大數據時代的數據挖掘技術與應用進行分析和探討。
1相關概念的簡介
1.1大數據的概念關于大數據的理念提出，可以追溯到麥肯錫研究院于2011年的《大數據:創新、競爭和生產力的下一個新領域》，其中闡述的觀念就涵蓋數據方面，即數據已經融入到了人們的日常生活中，也是生產運作的一個重要因素。而大數據的運用，對于消費以及生產水平都是一種有效的提升提升，根據美國曾經的《大數據研究和發展倡議》資料，截至2011年一年，全球總的數據就增加了1.8ZB,而進行人均計算，相當于每個人都具有至少200GB的數據資源，而且這一數據還在呈現出日益增長的趨勢，根據統計計算，這一數值將會按照約為50%/年的速度增長。
1.2數據挖掘作為一個新型學科，數據挖掘技術源于20世紀的80年代，那時其效用與目前存在本質差異，科學家最初研究大數據，主要是用于一些人工智能技術的開發。簡而言之，技術層面上，數據挖掘就是一個對數據進行發掘創新的過程，即要求目標數據具有隱蔽性、挖掘價值以及挖掘潛力，而且需要操作者在一堆冗雜的、隨機的、模糊的數據庫中進行挖掘；而對于商業層面上來說，數據挖掘就是在一些大量的數據信息中獲得規律以及價值信息，從而為決策提供重要的知識憑據。
2數據挖掘的研究手段
對于數據挖掘而言，不同的研究手段將是其開展的重要基礎，而研究手段的決定，主要需要依靠科學的計算為依據，分析和對比數據中存在的一些不為人知的規則，然后通過研究手段的改變去應付不同的問題，對于實際操作來說，就是針對不同的數據找出不同的解決方法，而常見數據挖掘的研究手段主要可以分為四類，即聚類研究、分類和預測以及關聯研究。
2.1聚類研究將抽選的數據或者對象的庫進行類似“分類”的聚類劃分，然后再將其中的相同或者相近的數據劃分為一個組類，由此建立起多個組類開展研究的過程。整個過程突出的是一種無知識基礎、無監督管控的學習過程。而整個過程由于分類研究有本質的差異，因為聚類研究在事先根本無法得到目標的重要屬性數據，而這種分析方法主要可以用于多個區域，例如心理、統計、醫藥、銷售以及數據識別等，而根據其隸屬度的取值，有能將其分為兩種研究方法，即硬聚類與模糊聚類，對于前者來說，就是將目標按照影響標準進行劃分，即目標如果屬于某類，必定不屬于其他類；而對于后者來說，主要取決與隸屬度的取值不同。而劃分過程可能會將目標劃分入多個聚類中。此外聚類的計算方法也能分為多種，即包含密度算法、層次算法、劃分算法、網格算法以及模型算法等等。
2.2分類與估測對于分類與數值估測來說，都是屬于是問題預測方式，其中前者要求估測各個類中的標號，這些標號都是分散且無規律的，而估測方法可以采用函數模型，要求模型類型為連續值函數。分類估測作為數據挖掘的起始工作，主要需要反應已經獲知的訓練數據庫的特點，從而根據以上基礎完成其中對每一類的情況以及特點完成相應的分類操作，而整個操作也是受到督促的，對于一般的分類算法可以有決策樹、粗糙集、貝葉斯、遺傳等算法，而估測主要是基于分類以及回歸基礎，估測數據將來的動向，即包含局勢外推、時間序列以及回歸分析幾類。
2.3關聯研究關聯研究是源于自然生物間微妙的關系，而某事情的發生和發展也會引發連鎖的事情發展，也就類似所謂“蝴蝶效應”的定義。而關聯研究的研究目標即是研究物與物之間的微妙關系，包含一些依賴關系等等，從而找出其中的規則，基于規則，分析將來的動向。以購物為例，分析購物者的心理規律以及習慣，可以從他們對于購物的一系列表現，例如購物籃的物品類型、放置規律、購物消費理念、購物環境需求等等，而掌握這些規律，足以讓一個銷售企業獲得巨大的消費市場以及商機。
3大數據時代的數據挖掘的運用
3.1數據準備準備流程需要依附于研究者已經建立起長期且豐富數據資源的數據庫，而根據這些無規則的原始數據進行相應的挖掘前的準備的工作，例如數據的處理、擇取、清除、推敲以及轉變，作為基礎的流程，數據準備操作在整個流程中起到重要的基礎作用。
3.2數據挖掘開展數據挖掘操作，需要根據挖掘對象的情況擇選最優的計算方法，從而獲取其中的規律性，例如對應采用決策樹算法、分類算法、神經網絡算法以及Apriori算法等。
3.3數據挖掘的模式評估研究模式評估的對象主要是通過數據挖掘處理過程數據，而評估流程是了解、研究且取得其中數據的規則，然后對數據進行轉變“翻譯”成通俗易懂的語言，供人們去研究和思考。
3.4數據挖掘的知識應用知識應用是數據挖掘的最后一步，通常知識運用就是一種現實運用的過程，通過數據準備、挖掘、研究評估，最后將結果數據或者規律用于現實中，從而體現數據的本身的價值，這就是知識應用的內涵。
4大數據時代的數據挖掘的運用
4.1市場營銷方面市場營銷行業已經是目前數據挖掘采用最多的行業，數據挖掘的作用主要體現在的對于消費者群體的消費習慣以及行為進行解析，從而改變銷售方法，提升產品的銷售量，此外，除了一些購物消費以外，數據挖掘技術以及拓展到了各大金融行業，例如保險行業、銀行行業以及電子商務行業等等。例如：在市場營銷方面，采用數據挖掘中的聚類研究，即客戶一系列無規則、無意識的行為數據，對他們進行識別，即根據客戶的忠誠度、消費意識進行分類，幫助企業尋找其中的潛在客戶以及固定客戶群。
4.2數據挖掘的科學分析科學本身就是一個尋找規律、發現規律以及利用規律的過程，而且任何科學研究都是需要基于數據作為基礎，所以數據挖掘對于科學領域也具有重要的意義和價值，特別是針對一些未知的事物、領域或者知識，通過數據挖掘可以有效展示數據規則。例如對于太空行星的分析，遺傳基因DNA的數據以及遺傳規律等。
4.3制造業與其他行業不同，制造業運用數據挖掘的目的主要是產品質量檢查方面，例如研究產品的數據，找出其中規則。分析整體生產流程，解析其中過程，找出影響生產質量以及效率的問題，然后通過對這些問題進行解決，提升企業經濟效益。對于制造業而言，數據挖掘運用主要體現在決策方面，即首先通過數據篩選，獲取有用的知識和數據，然后采用決策樹算法，統計決策，然后選擇其中正確的決策，即像根據目前產品的流行情況，預測目前生產產品的受歡迎度，然后決策生產的時間以及周期。
4.4教育方面對于教育行業來說，最重要的除了教師的教學方法以外，學生的學習情況、心理動向以及教學評估都是十分重要的，采用數據挖掘技術，則可以有效將這些數據通過分類、篩選以及處理，得出有效的數據規則，供學校教學改革時進行參考。例如：教學質量評估數據挖掘模塊的開發，即將教學質量相關的項目通過QSLSevrer進行整合和存儲，例如教學準備、教學內容、教學方式以及教學態度等，最后學生可以進行自行瀏覽并且完成評估，而評估結果則會上傳系統進行最后通過數據挖掘，篩選其中有用的信息，再通過Apr1ori算法挖掘其中關聯規律。
5結語
雖然數據挖掘技術不是一項新興的技術，但是其還具有較大的研究價值與運用前景，特別是在特殊領域的運用，對于一系列數據進行科學冗雜的處理，然后分析其中規則價值，可以有效提升各大行業的經濟效益。
參考文獻
[1]趙倩倩,程國建,冀乾宇,戎騰學.大數據崛起與數據挖掘芻議[J].電腦知識與技術,2014,11(33):7831-7833.
[2]韓英.淺析大數據時代的數據挖掘與精細管理[J].成都航空職業技術學院學報,2013,12(04):63-71.
數據挖掘技術范文第4篇
關鍵詞：數據挖掘；決策算法；遺傳算法；近鄰算法
中圖分類號：TP301 文獻標識碼：A 文章編號：1674-7712 （2013） 04-0065-01
一、數據挖掘概念及技術
數據挖掘就是又譯為資料探勘、數據采礦。它是數據庫知識發現（英語：Knowledge-DiscoveryinDatabases，簡稱：KDD）中的一個步驟。數據挖掘一般是指從大量的數據中自動搜索隱藏于其中的有著特殊關系性（屬于Associationrulelearning）的信息的過程。數據挖掘通常與計算機科學有關，并通過統計、在線分析處理、情報檢索、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方法來實現上述目標。其實實質是一種透過數理模式來分析企業內儲存的大量資料，以找出不同的客戶或市場劃分，分析出消費者喜好和行為的方法。其方法如下：
（一）人工神經網絡：數據挖掘中使用最為廣泛的技術，神經網絡的數據挖掘方法就是通過模仿人的神經系統來反復訓練學習數據集，從待分析的數據中發現用于預測和分類的模式。神經元網絡適用于結果比可理解性更重要的分類和預測的復雜情況，可用于聚類、關聯、演變分析和離散點分析。
（二）決策樹歸納算法：從關系數據庫中提取關聯規則是主要的數據挖掘方法之一，挖掘關聯是通過搜索系統中的所有事物，并從中找到出現條件概率較高的模式，適合于探測式知識的發現，廣泛用于醫學、制造和生產、金融分析、天文學和分子生物學。
（三）遺傳算法：分類和預測是數據分析的兩種重要形式，可以用于提取描述重要數據類的模型或預測未來的數據趨勢。主要方法包括：決策樹，判定樹、貝葉斯法、BP神經網絡算法、遺傳算法、粗糙集、模糊集等。預測方法有經典的統計方法、神經網絡和機器學習等。
（四）近鄰算法。是對差異和極端特例的描述，揭示事物偏離常規的異常現象，如標準類外的特例、數據聚類外的離群值等。所有這方面知識都可以在不同的概念層次上被發現，并隨著概念層次的提升，從微觀到宏觀，以滿足不同用戶不同層次決策的需要。
（五）規則推導：屬于無指導學習。對象應該根據最大化類的相似性、最小化類的相似性的原則進行聚類或分組。
（六）復雜類型的數據挖掘：是數據挖掘技術的當前一個重要的研究領域，極大提升了CRM數據分析能力的深度和廣度，主要包括：多媒體數據挖掘、文本挖掘和web挖掘等。
二、數據挖掘的實施
數據挖掘研究具有廣泛的應用前景，它可以應用于決策支持系統，也可以應用于數據庫管理系統，現在關鍵問題是如何實施，以下談論數據挖掘步驟如下：
（一）理解數據和數據的來源（understanding）。
（二）獲取相關知識與技術（acquisition）。
（三）整合與檢查數據（integrationandchecking）。
（四）去除錯誤或不一致的數據（datacleaning）。
（五）建立模型和假設（modelandhypothesisdevelopment）。
（六）實際數據挖掘工作（datamining）。
（七）測試和驗證挖掘結果（testingandverification）。
（八）解釋和應用（interpretationanduse）。
由上述步驟可看出，數據挖掘牽涉了大量的準備工作與規劃工作，事實上許多專家都認為整套數據挖掘的過程中，有80%的時間和精力是花費在數據預處理階段，其中包括數據的凈化、數據格式轉換、變量整合，以及數據表的鏈接。可見，在進行數據挖掘技術的分析之前，還有許多準備工作要完成。
三、數據挖掘應用現狀和存在的問題
數據挖掘所有處理的問題就是在龐大的數據庫中找出有價值的隱藏事件，并且加以分析，獲取有意義的消息，歸納出有用的結構，作為企業決策的依據。在零售業中商家從顧客購買商品發現一定的關系，提供打折購物卷等；保險金融行業利用數據挖掘可以辨別出欺詐行為；在企業中，半導體生產和測試過程差生大量數據，可以分析提高產品質量；可以電子商務網站進行分析，識別用戶的行為模式，優化網站，提供個性化服務。當前引用最廣的領域包括：數據庫營銷、交叉分析的市場分析行為，客戶流失性分析、客戶信用記分、欺詐發現、客戶群體區分。
目前面臨的問題：（1）數據挖掘的基本問題是數據的數量和維數，數據結構非常復雜。（2）面對龐大的數據，現有的統計方法等都遇到了問題。（3）面對海量數據，對數據變化的情況匯總分析做出考量和評價。（4）對于各種不同的模型應用，其應用效果進行有效的評價。（5）如何對互聯網等非標準數據進行分析。（6）數據挖掘過程中必須保證涉及到了數據安全性和隱私性，加強防護措施。（7）數據挖掘結果必須和專業知識結合。
四、數據挖掘未來發展的前景
數據挖掘基于關系模式、DBMS系統、SQL查詢等語言的方法理論為基礎，涉及多學科技術的集成，包括數據庫和數據倉庫技術、統計學高性能計算、模式識別、神經網絡、、機器學習、數據可視化、信息檢索、圖像與信號處理以及空間或時間數據分析。有專門用于知識發現的數據挖掘語言；尋求數據挖掘中的可視化方法；在英特網上建立數據挖掘服務器并與數據庫服務器配合，實現數據挖掘；加強對非結構化的數據挖掘如文本、圖形視屏、圖像、聲音乃至于多媒體數據挖掘技術。交互發現、提供交互、個性化服務；能夠自動完成知識的維護和更新。
參考文獻：
數據挖掘技術范文第5篇
關鍵詞 數據挖掘；關聯規則；典型關聯；Apriori算法
中圖分類號：TP311 文獻標識碼：A 文章編號：1671-7597（2014）15-0030-03
當今社會人們對計算機應用提出了更高要求，如今人們慢慢的意識到關系數據庫有很多缺點和限制，這種問題又推動了數據庫在更深領域上的研究。當前專家們對數據庫的研究內容主要是把數據庫技術與其他技術相結合，然后應用到特定領域中，這種研究現在已經取得了驕人的成績。
1 數據挖掘技術
1.1 數據挖掘概念
從數據挖掘的本質上說它是一種具有更高商業價值的新型信息處理技術，數據挖掘技術的作用是對數據的應用來說的，其目的是使人們從低層次的聯機查詢過渡到對數據決策支持分析預測上，從而成為更高層次的應用。
1.2 數據挖掘技術的分類
關于數據挖掘針對其挖掘的對象，大致的可以做出以下分類，具體分為時態數據庫、異質數據庫、文本數據源、關系數據庫面向對象數據庫（Object-Oriented Database）、空間數據庫、遺產數據庫、多媒體數據庫以及web等比較具有針對性的挖掘對象。針對數據挖掘的方法大致的可以歸納為：計算機學習法、數理統計法、信息聚類分析法、遺傳算法Genetic Algorithm、神經網絡Neural Network探索性分析法、不確定性推理和近似推理法、數據分析法、證據理論和元模式法、數據集成方法、當代數學分析法等。
根據數據挖掘技術的知識類型可以分為：廣義范圍的知識挖掘、差異范圍的知識挖掘、關聯范圍的知識挖掘、預測范圍的知識挖掘等。
1.3 數據挖掘的應用分析
根據麻省理工學院內部數據整理其科技評論雜志對數據挖掘技術的應用分析提出了10大新興的科學技術數據挖掘能夠在未來5年對人類的生產生活帶來重大影響。根據種種數據分析所表明的問題我們不難發現數據挖掘技術面向實際應用方面不是一時的，隨著時代的發展社會信息化進程不斷加劇各行業的業務操作也隨之逐漸向現代化流程轉變，這一轉變促使企業在處理業務時產生大量的業務信息數據。對于一般地企業內部的業務信息數據來說，其主要是由企業進行商業運作而產生的數據，這些數據的量一般比較少。這是都是企業為了獲得市場分析而進行收集的，關于此類的數據挖掘的應用終將成為企業進行高層次數據分析，為行政決策提供技術支持的骨干技術。
1.4 數據挖掘技術和方法
1）統計方法。統計就是查找事物的數量或規律，數據挖掘技術中使用統計方法主要目的就是從事物的數量上來推斷其規律，通常都是在事物的數據上來找線索，然后根據這些線索進行假設，然后根據這些假設去驗證其可行性，這種方法最大的優點就是精確性。
2）模糊集。模糊集顧名思義就是不清楚，沒有針對性。模糊集的數據處理分為兩個方面一個方面是不完整的數據，另一個方面就是不確定的數據。模糊數據主要處理這兩種數據，在這兩種數據的處理上要比以往的數據處理更加方便有效。
3）支持向量機。向量機就是一些數學理論，支持向量機就是建立在某些數學理論上的結構風險。它主要的思想就是在一個高空的多維空間中找一個超平面，利用這個超平面把這兩類進行隔開，這樣就可以保證最小分類的錯誤率。它的一個很重要的優點就是可以處理一些線性問題。
4）規則歸納。規則的歸納就是對數據進行相關的統計，其主要反映數據項中的一些屬性和集合，其中用的最多的歸納算法就是AQ法，它是歸納法中比較典型的，數據挖掘技術是目前計算機信息技術領域比較前言的研究方向，數據挖掘技術可以從數據庫中找出一些潛在的、位置的信息和知識。
2 時態約束關聯規則挖掘問題及算法
2.1 聚焦挖掘任務，提高挖掘效率
數據挖掘理論最初的研究側重點是模型的建立以及算法的設計。隨著應用于不同的場合，得出的結果證明單純而又孤立的挖掘工具效果并不理想。傳統的數據挖掘項目中，會進行詳盡而反復的調研分析，并根據用戶的需求制定細致的任務計劃，最終的結果卻并不理想，不能得到想要的結果。在算法中，如果想要得到用戶的挖掘目標，除了算法之外，還需要有特定的實現機制，使得我們的挖掘計劃能夠轉變成對一個系統工作的控制，這樣才能使得挖掘項目能有期望的結果。這樣的約束，不需要局限于某一個挖掘數據的階段，在任何階段都可以實現。而這樣的算法機制，也是交互式數據挖掘算法的基本形式，通過這樣的過程，來達到更好以及快速地完成挖掘任務。
2.2 保證挖掘的精確性
從數據挖掘的算法也可以看出，結果具有不可預測性，而正因此，對于算法運行的過程中，遇到的問題也是難以把握的，所以算法還需要加上反饋機制，通過這樣的反饋，來進行驗證結果并修正算法中的數據，如果這個過程中，挖掘到的數據是正確的，但也未必是用戶所側重的，所以數據挖掘的結果不僅要具有邏輯上的正確性，還要能夠滿足用戶的主觀偏好；也就是既要準確，還要可信且符合用戶需求。而約束就是這樣實現的，通過約束發現算法中的問題并及時校正算法，以最終能夠滿足各項需求。
2.3 控制系統的使用規模
數據挖掘算法的實現過程容易陷入一個誤區，只側重由一個系統處理所出現的問題，而忽略了對于控制系統的規模大小的考慮，這樣的結果就是適得其反，問題并不會得到很好地解決。而約束數據挖掘的原理在于，系統的增量式擴充得到實現，確定了用戶的需求和目標之后，通過約束參數的形式，來實現對一些有待解決的問題的驗證，而這些數值的確定，可以通過實驗的交互式輸入實現，以找到較優值。而這樣的約束過程，可以在數據挖掘的不同階段加以實現；而在數據的預處理過程中，設置的約束個數既要能夠保證挖掘的最終結果，又要注意保持數據的規模；在數據挖掘的過程中，對于整個項目的細分之后的子目標，也可以加上約束，以能夠快速達到約束的目的；當然也可以對不同類型的問題加以不同的約束條件，以更好地解決問題；尤其是對于層級較多或者維度較高的數據，可以選擇合適的約束來達到問題的轉化或者簡化。對于約束類型，時態約束下的關聯規則指的是，一次數據庫掃描挖掘算法，可以在一定程度上，減少I/O的個數，但是在數據量不斷上升的過程中，對于計算機內存的占用也越來越大，而且是線性地增加，所以怎樣很好地控制ISS的容量變得很有必要，而且這樣也能夠一定程度上減少對CPU的占用。為了這個問題的有效改善，我們使用了兩種方法，一個是有效地約束時態數據庫，用戶所不感興趣的時間范圍內的信息去除；二是待處理的數據要進行分批處理，經過一定的數據結構進入內存，這樣有效地將數據進行組織。而對于沒有重疊部分的時區，可以生成獨立的關聯規則，減少了對計算機硬件資源的占用，而且很好地改善了精確度
問題。
3 數據分割下的挖掘問題及算法
對于理論基礎比較成熟的算法―Apriori算法，研究的側重點已經變為效率問題，人們也提出了各種的改進算法，本文選區幾種比較有代表性的加以介紹。
3.1 減少事務的個數
這樣的原理在于，當需要處理的事務不包含長度為k的大項集，那么也一定不包含長度為k+1的大項集。在算法處理的過程中，就可以將這樣的事務濾去，在下輪掃描過程中，就可以不需要那么多的事務集。
3.2 基于劃分的方法
這類算法比較典型的是頻繁項目生成算法，該算法原理在于：把數據庫分解成邏輯上互不交叉的部分，而每次只需要單獨考慮一個分塊，在這樣的分塊中，研究怎樣能夠發掘頻繁項目集；而對于怎樣將數據進入存儲中，可以把需要處理的分塊放入計算機內存中，這樣有利于算法的并行處理，數據量相對于不分塊前減少，提高了數據挖掘的速度。
3.3 基于hash的方法
在上述的發現頻繁項目集的算法中，有人提出了改進算法，基于雜（hash）技術產生頻繁項目集。而這也是他們在實驗基礎上提出的，因為實驗中，他們發現頻繁項目集的產生過程中，計算量主要集中在2-頻繁項目集上，他們通過雜湊技術來對這個問題加以解決，把需要掃描的項目分發于不同的Hash桶，而對于每對項目來說，最多只可能在一個特定的桶內，然后通過實驗分析，可以有效地降低了候選集的產生。
3.4 基于采樣的方法
基于抽樣技術的產生頻繁項目集的算法的原理在于：通過對數據庫進行抽樣，產生一些可能成立的規則，然后通過數據庫的未被抽樣數據，進行檢驗，這些關聯規則是否有效。其實這個算法本身相對比較容易實現，并且能夠極大地減少數據挖掘過程中所付出的I/O代價，而不利的地方在于，抽樣數據的隨機性以及由此帶來的結果的偏差比較大。抽樣原理是統計學常用方法，雖然其得到的結果精確性可能并不盡人意；如果能被運用恰當的話，可以在精度符合要求的情況下使得挖掘效率大大地提高。
3.5 盡量減少數據庫的掃面次數
早在1997年，Brin等一些研究人員就提出了一種用來減少數據庫掃面次數的算法，這種算法實際上就是通過下層分析方法來提前處理。換句話說，當我們正在運行k-項集時，如果發現（k+1）-項集有極大可能會是頻繁項目集，那么我們就直接將兩者進行并行運算，進而得出（k+1）-項集支持度。這樣的做法能夠在很多程度上降低數據庫掃描次數，從而在運行效率上要優于Apriori算法。
3.6 并行挖掘
數據分布技術的出現使得我們可以對數據子集進行深層次挖掘，而且在不同子集之間我們還可以開展并行計算。多層次關聯規則挖掘就是并行挖掘中的關鍵技術之一，所謂多層次關聯規則可以用上圖來進行描述。在很多事務數據庫中，某些項所隱含的概念有很多層次。
4 案例分析
這里我們以《天道》項目為例進行流失用戶預警分析，通過其8、9兩個月的相關數據來判斷12月《天道》所有登陸用戶的流失可能性和對應的流失概率。
序號 名稱
1 單月總在線時長onlinetime
2 單月總登陸次數times
3 賬戶累計登陸總時長totalonlinetime
4 首登時間firstlogintime
5 月充值金額
6 當前等級playerlevel
7 陣營
8 游戲幣總額
注：如若條件允許，能加入玩家的當前經驗，玩家的游戲社交屬性值，活躍度，及玩家的客服記錄，玩家的來源廣告媒體等信息將會使此模型的研究更有價值。
模型評估是運用Clementine的分析節點對已建立的客戶流失預測模型進行精確性分析，評價指標為對未經分類處理的測試數據進行正確分類的。準確率，即“預測正確率= 正確預測個數/測試樣本數×100%”。通過分析計算我們可以明確的看出（如下圖所示），訓練樣本的精確度為81.42%，測試樣本的精確度為81.46%，此模型的精確度已較理想，不過我們還可以通過增加樣本容量（取三個月的游戲玩家信息，或者半年的游戲玩家信息），調整模型中的參數來提高模型的正確率。
基于上述分析，我們建立模型并分析：
分析結果顯示：
1）3890
2）onlinetime>220363，樣本權重為9%，流失275個，比例為7%，雖然比例較小，但這個部分的賬戶應是非常有價值的用戶，若采取個性化的服務，應會帶來更大的價值。
3）796
4）796
5）0
6）88
5 結論
數據挖掘技術與關聯規則挖掘算法所包含的內容有很多，本文只是簡單介紹了其中較為重要的一部分。在今后的工作中，筆者將繼續致力于該領域的研究工作，以期能夠獲得更多有價值的研究成果。
參考文獻
[1]孟海東，李丹丹，吳鵬飛.基于數據場的量化關聯規則挖掘方法設計[J].計算機與現代化，2013（01）：8-11.
[2]陸新慧，吳陳，楊習貝.空間關聯規則挖掘技術的研究及應用[J].計算機技術與發展，2013（05）：26-29，33.
