大數(shù)據(jù)時代統(tǒng)計(jì)學(xué)發(fā)展研究

前言：本站為你精心整理了大數(shù)據(jù)時代統(tǒng)計(jì)學(xué)發(fā)展研究范文，希望能為你的創(chuàng)作提供參考價值，我們的客服老師可以幫助你提供個性化的參考范文，歡迎咨詢。

統(tǒng)計(jì)學(xué)在現(xiàn)實(shí)的生活中應(yīng)用十分廣泛，以至于如今很多人把統(tǒng)計(jì)學(xué)的范圍擴(kuò)展為用數(shù)據(jù)表示的現(xiàn)象。在如今的經(jīng)濟(jì)發(fā)展中一些金融分析師會利用一系列的數(shù)據(jù)對客戶提供咨詢服務(wù)，證券分析師可以利用數(shù)據(jù)來分析股市的信息，然后對股市的行情進(jìn)行預(yù)測。在與我們息息相關(guān)的農(nóng)業(yè)領(lǐng)域，水稻的產(chǎn)量以及有機(jī)物的培養(yǎng)環(huán)境都可以利用數(shù)據(jù)進(jìn)行探究。以上都是與我們相關(guān)的實(shí)例，這些實(shí)例都是與統(tǒng)計(jì)學(xué)分不開的，這些實(shí)例都是統(tǒng)計(jì)學(xué)中的應(yīng)用實(shí)例。總之統(tǒng)計(jì)學(xué)的運(yùn)用可以貫穿各行各業(yè)。統(tǒng)計(jì)學(xué)的發(fā)展與大數(shù)據(jù)之間有著很密切的關(guān)系。如今隨著信息時代的發(fā)展，很多信息都是利用數(shù)字來進(jìn)行表述的，因此可以看出來數(shù)據(jù)其實(shí)就是信息的載體，也是數(shù)據(jù)學(xué)分析的對象，如今的統(tǒng)計(jì)學(xué)工作實(shí)際就是收集數(shù)據(jù)、整理數(shù)據(jù)、分析數(shù)據(jù)、解釋數(shù)據(jù)。如果沒有數(shù)據(jù)統(tǒng)計(jì)學(xué)就像植物失去土壤一樣難以存在，同樣離開了統(tǒng)計(jì)學(xué)以后，數(shù)據(jù)就會顯得沒有意義。數(shù)據(jù)在如今的大環(huán)境下變得越來越廣泛，其增長也是漫無邊際的。隨著社會的不斷發(fā)展，以及信息時代的不斷進(jìn)步，人們開始意識到了數(shù)據(jù)的重要性。目前最為實(shí)用的數(shù)據(jù)很多，不但可以提高生產(chǎn)力的發(fā)展水平，還能夠利用數(shù)據(jù)的分析來解決國家的民生問題，因此這種大數(shù)據(jù)下的統(tǒng)計(jì)學(xué)發(fā)展十分重要。

一、大數(shù)據(jù)時代的內(nèi)涵及其意義

(一)大數(shù)據(jù)時代的內(nèi)涵

大數(shù)據(jù)其實(shí)就是一個大樣本和高維便利的數(shù)據(jù)集合，針對一些樣本的問題，利用統(tǒng)計(jì)學(xué)原理進(jìn)行抽樣、分析，來達(dá)到所需要的精度，但是對于一些維數(shù)高的問題需要運(yùn)用統(tǒng)計(jì)學(xué)原理進(jìn)行選擇降維、壓縮、分解。從另一種角度講大數(shù)據(jù)包含很多方面，它是多領(lǐng)域的數(shù)據(jù)綜合，其中包含自然科學(xué)、人文科學(xué)等一系列的混合數(shù)據(jù)，各個學(xué)科之間進(jìn)行融會貫通，相互穿插。一些傳統(tǒng)的統(tǒng)計(jì)學(xué)方法只適合分析單個計(jì)算機(jī)的數(shù)據(jù)存儲，然而目前的大數(shù)據(jù)環(huán)境下改變了這一現(xiàn)象。如今大數(shù)據(jù)環(huán)境下包括了數(shù)據(jù)流環(huán)境、磁盤存儲環(huán)境、分布存儲環(huán)境、多線條環(huán)境等。目前大數(shù)據(jù)環(huán)境下最主要的目的就是把數(shù)據(jù)轉(zhuǎn)變?yōu)槿藗內(nèi)菀锥玫闹R，來探索數(shù)據(jù)產(chǎn)生的源頭和機(jī)制，從而制定相應(yīng)的對策。由于要把信息轉(zhuǎn)變?yōu)橹R需要一個漫長的時間，因此如今有很多人搜集當(dāng)今社會的大量的數(shù)據(jù)存放在相應(yīng)的存儲器中，甚至有些人并不知道如何去分析所搜集的數(shù)據(jù)，但是他們把這些數(shù)據(jù)當(dāng)成一段發(fā)展的歷史，把如今高速發(fā)展的過程記錄下來，供以后應(yīng)用。

(二)大數(shù)據(jù)時代給社會帶來的變革

如今大數(shù)據(jù)環(huán)境下給人們帶來了很大的變革，目前各行各業(yè)的勞動者們都開始利用研究問題來驅(qū)動搜集數(shù)據(jù)，利用搜集來的數(shù)據(jù)進(jìn)行分析來解決問題。因此以這種發(fā)展的趨勢可以看出，在以后人們會慢慢地利用搜集數(shù)據(jù)來驅(qū)動問題的解決，就像我們出門查天氣、查交通一樣，未來的勞動者們會通過大數(shù)據(jù)的分析來決策一些研究性的問題。現(xiàn)在國內(nèi)外很多統(tǒng)計(jì)學(xué)專家、甚至一些大學(xué)教授都開始利用計(jì)算機(jī)中相應(yīng)的軟件來搜索、分析一些研究性成果。在古希臘哲學(xué)家是百科全書式的人物，在文藝復(fù)興時期開始細(xì)化了一些單一科學(xué)的科學(xué)家。如今大數(shù)據(jù)時代勢必會再次產(chǎn)生百科全書式的人物，大數(shù)據(jù)將慢慢地減弱專家在各個領(lǐng)域的影響，甚至導(dǎo)致專家的消亡，比如，現(xiàn)在很多統(tǒng)計(jì)學(xué)家、物理學(xué)家、計(jì)算機(jī)專家等開始利用他們敏銳的數(shù)據(jù)處理和分析能力進(jìn)入生命科學(xué)界，在以后假如我們有成千上萬本書和它的外文譯本，即使我們不懂外文也能夠通過一些翻譯軟件進(jìn)行翻譯，把它翻譯成我們懂得的語言，大數(shù)據(jù)中包含很多數(shù)據(jù)集，為我們以后的生活提供很大的便利。

二、大數(shù)據(jù)的研究動向、信息問題

(一)研究動向

目前美國一些機(jī)構(gòu)開始提出了大數(shù)據(jù)環(huán)境下的一些挑戰(zhàn)性的問題，即處理高度分布的數(shù)據(jù)資源，追蹤數(shù)據(jù)的來源以及核實(shí)數(shù)據(jù)、處理樣本等。他們開始把數(shù)據(jù)處理的方式進(jìn)行改進(jìn)，開發(fā)并行和分布式的算法。我國也十分重視大數(shù)據(jù)科學(xué)的發(fā)展，國家多次組織召開會議探討大數(shù)據(jù)科學(xué)發(fā)展的前景，并且設(shè)立了大數(shù)據(jù)專項(xiàng)研究計(jì)劃。國家自然科學(xué)基金的一些專項(xiàng)科學(xué)項(xiàng)目開始設(shè)立，在業(yè)界以及一些咨詢公司都在尋找大數(shù)據(jù)合作的機(jī)會。大數(shù)據(jù)的分析需要多個領(lǐng)域進(jìn)行結(jié)合，已經(jīng)不是單一的一個科學(xué)領(lǐng)域，統(tǒng)計(jì)學(xué)家不但要認(rèn)真研究計(jì)算機(jī)的實(shí)時決策還要把計(jì)算機(jī)與統(tǒng)計(jì)學(xué)的相關(guān)知識進(jìn)行緊密的結(jié)合。相反計(jì)算機(jī)專家也要時刻了解統(tǒng)計(jì)學(xué)的相關(guān)知識。

(二)大數(shù)據(jù)的信息問題

隨著大數(shù)據(jù)信息時代的到來，人們也不斷地對大數(shù)據(jù)進(jìn)行探究。由于大數(shù)據(jù)中不只是包含一種數(shù)據(jù)，它是很多數(shù)據(jù)的一個集合體。為了能夠把搜集到了各個方面的數(shù)據(jù)融合起來，必須對數(shù)據(jù)的來源以及數(shù)據(jù)的獲取方式進(jìn)行探究，利用這些探究的結(jié)果來進(jìn)行數(shù)據(jù)的分析。如今數(shù)據(jù)的來源一般都是多方面、多渠道的，難免會產(chǎn)生較大的誤差，這樣也就產(chǎn)生了一些問題，比如數(shù)據(jù)搜集的準(zhǔn)則與決策不相符，甚至有些數(shù)據(jù)根本不是原始搜集的數(shù)據(jù)，而是經(jīng)過分析推斷而來的數(shù)據(jù)，這種數(shù)據(jù)更會產(chǎn)生較大的誤差。由于數(shù)據(jù)的量是非常大的，然而并不是數(shù)據(jù)量越大所包含的信息就越多，如果所獲的數(shù)據(jù)中含有一些偏差較大的信息，就會破壞原始的數(shù)據(jù)，因此從這一方面我們應(yīng)該意識到在數(shù)據(jù)的搜集過程中應(yīng)該避免得到一些破壞性的信息。在大數(shù)據(jù)時代中會產(chǎn)生一些缺失的數(shù)據(jù)，數(shù)據(jù)的缺失難免會對數(shù)據(jù)的分析產(chǎn)生影響，不同的研究搜集的數(shù)據(jù)會有一些重疊的部分，比如經(jīng)濟(jì)、社會、保險、醫(yī)學(xué)等研究的問題不同，搜集的變量和集合不相同，但是他們肯定會有一些共同用處的數(shù)據(jù)。在對數(shù)據(jù)進(jìn)行分析時，其中有2種數(shù)據(jù)需要進(jìn)行具體的分析，一類是觀察的數(shù)據(jù)，一類是試驗(yàn)的數(shù)據(jù)，這兩種數(shù)據(jù)包含兩種不同的信息，這樣依然會導(dǎo)致一些人對數(shù)據(jù)的認(rèn)知錯誤。由于數(shù)據(jù)的本身是有一定的范圍的，數(shù)據(jù)搜集以后就已經(jīng)確定了它的這一屬性，因此如果想需要范圍以外的含義就必須進(jìn)行推斷。

三、大數(shù)據(jù)的處理、抽樣與分析

(一)數(shù)據(jù)的預(yù)處理

大數(shù)據(jù)環(huán)境下對數(shù)據(jù)的處理包括很多方面，比如，數(shù)據(jù)清洗、數(shù)據(jù)矯正、數(shù)據(jù)填補(bǔ)等，其中數(shù)據(jù)矯正是一種非常有效的數(shù)據(jù)處理方式，它可以大大減少系統(tǒng)的誤差。如今互聯(lián)網(wǎng)領(lǐng)域中數(shù)據(jù)的獲取是非常復(fù)雜的，在大量的、復(fù)雜的數(shù)據(jù)進(jìn)行分析時難免會產(chǎn)生一些差異性，為了盡可能地使得這些數(shù)據(jù)不產(chǎn)生偏倚性，就必須利用計(jì)算機(jī)來對這些數(shù)據(jù)進(jìn)行矯正。矯正的方法就是把一些從互聯(lián)網(wǎng)上搜集的數(shù)據(jù)作為一些補(bǔ)充的資源進(jìn)行更新，這種更新速度要快，而且是實(shí)時的更新。

(二)大數(shù)據(jù)的分析與整合

在對大數(shù)據(jù)分析時，針對一些高維的問題需要進(jìn)行降維、分解。還要探究一些壓縮數(shù)據(jù)的方法，經(jīng)過壓縮的數(shù)據(jù)可以直接進(jìn)行傳輸和操作。這一系列的過程除了可以用常規(guī)的方法以外還可以利用一些數(shù)據(jù)的實(shí)時分析以及一些先進(jìn)的算法進(jìn)行操作。考慮計(jì)算機(jī)內(nèi)存和外存的數(shù)據(jù)傳送問題、分布數(shù)據(jù)和并行計(jì)算的方法。如何無信息損失或無統(tǒng)計(jì)信息損失地分解大數(shù)據(jù)集，獨(dú)立并行地在分布計(jì)算機(jī)環(huán)境進(jìn)行推斷，各個計(jì)算機(jī)的中間計(jì)算結(jié)果能相互聯(lián)系溝通，構(gòu)造全局統(tǒng)計(jì)結(jié)果。研究多個數(shù)據(jù)資源的融合算法，研究利用數(shù)據(jù)流尋找模型變化時間點(diǎn)的動態(tài)變化模型。

四、結(jié)束語

在一個新的事物到來以后勢必會對社會的發(fā)展帶來一定的沖擊，會慢慢地把一些傳統(tǒng)的關(guān)鍵和技術(shù)進(jìn)行淹沒，比如，數(shù)碼相機(jī)的出現(xiàn)取代了傳統(tǒng)的膠片相機(jī)，使得影像業(yè)幾乎消亡。在大數(shù)據(jù)環(huán)境下將會對傳統(tǒng)的統(tǒng)計(jì)學(xué)進(jìn)行嚴(yán)格的考驗(yàn)，統(tǒng)計(jì)學(xué)會不會像以往的哲學(xué)那樣，只有一些歷史的光環(huán)，而不再作為人們分析和利用大數(shù)據(jù)的資源。目前來看很多的學(xué)科都開始慢慢地涌入大數(shù)據(jù)時代，如果統(tǒng)計(jì)學(xué)的發(fā)展不進(jìn)行改革的話也會慢慢的被邊緣化。目前統(tǒng)計(jì)學(xué)的主要的目標(biāo)就是通過大范圍的獲取數(shù)據(jù)，然后利用計(jì)算機(jī)對獲取的數(shù)據(jù)進(jìn)行分析，來發(fā)現(xiàn)真理，統(tǒng)計(jì)的方法和理論有過高的要求，在大數(shù)據(jù)的環(huán)境下存在各種隨機(jī)和非隨機(jī)的誤差，根本無法滿足這些要求。大數(shù)據(jù)已經(jīng)給統(tǒng)計(jì)學(xué)帶來了很大的機(jī)遇，我們不但要洞察到這種機(jī)遇，還要看到現(xiàn)在的統(tǒng)計(jì)學(xué)中的一些基本的分析方法已經(jīng)不能滿足現(xiàn)在的數(shù)據(jù)分析，如今一些分布式的大數(shù)據(jù)已經(jīng)給統(tǒng)計(jì)學(xué)帶來了很大的挑戰(zhàn)，由此看來一些統(tǒng)計(jì)學(xué)家要積極應(yīng)對目前的這種現(xiàn)狀，不應(yīng)該把傳統(tǒng)的數(shù)據(jù)環(huán)境作為目前研究的目的，必須積極地去學(xué)習(xí)新生的事物，只有這樣才能面對未來的挑戰(zhàn)有一席之地。

作者：彭先萌 單位：湖北工業(yè)職業(yè)技術(shù)學(xué)院