當(dāng)今,信息技術(shù)為人類步入智能社會(huì)開啟了大門,帶動(dòng)了互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、電子商務(wù)、現(xiàn)代物流、網(wǎng)絡(luò)金融等現(xiàn)代服務(wù)業(yè)發(fā)展,催生了車聯(lián)網(wǎng)、智能電網(wǎng)、新能源、智能交通、智能城市、高端裝備制造等新興產(chǎn)業(yè)發(fā)展.現(xiàn)代信息技術(shù)正成為各行各業(yè)運(yùn)營(yíng)和發(fā)展的引擎.但這個(gè)引擎正面臨著大數(shù)據(jù)這個(gè)巨大的考驗(yàn).各種業(yè)務(wù)數(shù)據(jù)正以幾何級(jí)數(shù)的形式爆發(fā),其格式、收集、儲(chǔ)存、檢索、分析、應(yīng)用等諸多問(wèn)題,不再能以傳統(tǒng)的信息處理技術(shù)加以解決,對(duì)人類實(shí)現(xiàn)數(shù)字社會(huì)、網(wǎng)絡(luò)社會(huì)和智能社會(huì)帶來(lái)了極大的障礙.大數(shù)據(jù)處理技術(shù)就應(yīng)用而生了。
大數(shù)據(jù)處理技術(shù)在具體的應(yīng)用方面,可以為國(guó)家支柱企業(yè)的數(shù)據(jù)分析和處理提供技術(shù)和平臺(tái)支持,為企業(yè)進(jìn)行數(shù)據(jù)分析、處理、挖掘,提取出重要的信息和知識(shí),再轉(zhuǎn)化為有用的模型,應(yīng)用到研究、生產(chǎn)、運(yùn)營(yíng)和銷售過(guò)程中.同時(shí),國(guó)家大力倡導(dǎo)“智慧城市”建設(shè),在城市化與信息化融合等背景下,圍繞改善民生、增強(qiáng)企業(yè)競(jìng)爭(zhēng)力、促進(jìn)城市可持續(xù)發(fā)展等關(guān)注點(diǎn),綜合利用物聯(lián)網(wǎng)、云計(jì)算等信息技術(shù)手段,結(jié)合城市現(xiàn)有信息化基礎(chǔ),融合先進(jìn)的城市運(yùn)營(yíng)服務(wù)理念,建立廣泛覆蓋和深度互聯(lián)的城市信息網(wǎng)絡(luò),對(duì)城市的資源、環(huán)境、基礎(chǔ)設(shè)施、產(chǎn)業(yè)等多方面要素進(jìn)行全面感知,并整合構(gòu)建協(xié)同共享的城市信息平臺(tái),對(duì)信息進(jìn)行智能處理利用,從而為城市運(yùn)行和資源配置提供智能響應(yīng)控制,為政府社會(huì)管理和公共服務(wù)提供智能決策依據(jù)及手段,為企業(yè)和個(gè)人提供智能信息資源及開放式信息應(yīng)用平臺(tái)的綜合性區(qū)域信息化發(fā)展過(guò)程.
數(shù)據(jù)無(wú)疑是新型信息技術(shù)服務(wù)和科學(xué)研究的基石,而大數(shù)據(jù)處理技術(shù)理所當(dāng)然地成為當(dāng)今信息技術(shù)發(fā)展的核心熱點(diǎn),大數(shù)據(jù)處理技術(shù)的蓬勃發(fā)展也預(yù)示著又一次信息技術(shù)革命的到來(lái).另一方面,隨著國(guó)家經(jīng)濟(jì)結(jié)構(gòu)調(diào)整、產(chǎn)業(yè)升級(jí)的不斷深化,信息處理技術(shù)的作用將日益凸顯,而大數(shù)據(jù)處理技術(shù)無(wú)疑將成為在國(guó)民經(jīng)濟(jì)支柱業(yè)信息化建設(shè)中實(shí)現(xiàn)核心技術(shù)的彎道追趕、跟隨發(fā)展、應(yīng)用突破、減少錯(cuò)誤的最佳突破點(diǎn).
大數(shù)據(jù)因?yàn)樗N(yùn)含的潛在價(jià)值,正在成為企業(yè)的隱形“金礦”.隨著生產(chǎn)、運(yùn)營(yíng)、管理、監(jiān)控、銷售、客服等各個(gè)環(huán)節(jié)的數(shù)據(jù)不斷累積和增長(zhǎng),以及用戶數(shù)的不斷上升,通過(guò)從龐大的數(shù)據(jù)中分析出相關(guān)模式以及趨勢(shì),可以實(shí)現(xiàn)高效管理、精準(zhǔn)營(yíng)銷,成為企業(yè)打開這一“金礦”的鑰匙.然而傳統(tǒng)的IT基礎(chǔ)架構(gòu)和數(shù)據(jù)管理分析方法已經(jīng)不能適應(yīng)大數(shù)據(jù)的快速增長(zhǎng).大數(shù)據(jù)的爆發(fā)是我們?cè)谛畔⒒蜕鐣?huì)發(fā)展中遇到的棘手問(wèn)題,需要我們采用新的數(shù)據(jù)管理模式,研究和發(fā)展新一代的信息技術(shù)才能解決.
北京理工大學(xué)大數(shù)據(jù)搜索與挖掘?qū)嶒?yàn)室張華平主任研發(fā)的NLPIR大數(shù)據(jù)語(yǔ)義智能分析技術(shù)是滿足大數(shù)據(jù)挖掘?qū)φZ(yǔ)法、詞法和語(yǔ)義的綜合應(yīng)用。NLPIR大數(shù)據(jù)語(yǔ)義智能分析平臺(tái)是根據(jù)中文數(shù)據(jù)挖掘的綜合需求,融合了網(wǎng)絡(luò)精準(zhǔn)采集、自然語(yǔ)言理解、文本挖掘和語(yǔ)義搜索的研究成果,并針對(duì)互聯(lián)網(wǎng)內(nèi)容處理的全技術(shù)鏈條的共享開發(fā)平臺(tái)。
NLPIR大數(shù)據(jù)語(yǔ)義智能分析平臺(tái)主要有精準(zhǔn)采集、文檔轉(zhuǎn)化、新詞發(fā)現(xiàn)、批量分詞、語(yǔ)言統(tǒng)計(jì)、文本聚類、文本分類、摘要實(shí)體、智能過(guò)濾、情感分析、文檔去重、全文檢索、編碼轉(zhuǎn)換等十余項(xiàng)功能模塊,平臺(tái)提供了客戶端工具,云服務(wù)與二次開發(fā)接口等多種產(chǎn)品使用形式。各個(gè)中間件API可以無(wú)縫地融合到客戶的各類復(fù)雜應(yīng)用系統(tǒng)之中,可兼容Windows,Linux, Android,Maemo5, FreeBSD等不同操作系統(tǒng)平臺(tái),可以供Java,Python,C,C#等各類開發(fā)語(yǔ)言使用。
在現(xiàn)今社會(huì),數(shù)據(jù)挖掘技術(shù)已經(jīng)可以被應(yīng)用與所有的領(lǐng)域和行業(yè)中。在人們生活里的各個(gè)方面幾乎都可以用到數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)不但給我們的日常生活帶來(lái)了巨大的改變和影響,并且這種影響還深深的改變著我們的生活方式。在各個(gè)領(lǐng)域的應(yīng)用也會(huì)越來(lái)越廣泛和深入,相關(guān)的研究也會(huì)越來(lái)越全面和深入,綜合應(yīng)用數(shù)據(jù)挖掘技術(shù)和人工智能技術(shù),為各個(gè)行業(yè)提供更多幫助。