基于大數據挖掘的行業知識服務研究

　　摘要：[目的/意義]近年來大數據技術和產業快速發展，將技術與行業內容知識相結合對行業服務創新具有重大意義。[方法/過程]在調研學術研究與實踐進展基礎上，構建了基于大數據挖掘的行業知識服務層次模型，并立足行業知識服務現狀對基于大數據挖掘的行業知識服務發展策略進行探討。[結果/結論]基于大數據挖掘可以從專家發現、創新支持、市場信息和行業管理支持方面深化行業知識服務，其實現模型可以分為基礎設施層、數據資源層、數據治理層、數據挖掘層、服務功能層五個層次。為發展基于大數據挖掘的行業知識服務，需要重點推進行業大數據建設的跨組織協同機制構建、跨語言行業大數據資源建設與挖掘以及開放化的行業知識服務平臺構建。

　　關鍵詞：行業大數據;大數據挖掘;行業知識服務;發展機制

　　互聯網+環境下大數據技術和產業的發展，其在知識服務領域的應用也受到了普遍關注，推動著知識服務領域的深刻變革�；�于大數據的服務創新主要從兩個方面開展，一是基于用戶大數據提升服務的個性化、精準化水平，從用戶與資源匹配角度優化用戶體驗;二是通過大數據挖掘分析，獲得更多新的知識，從資源供給角度優化用戶體驗。

　　以圖情機構為主體的知識服務中，這兩個方面的研究與實踐探索都在積極開展，并取得一定成效[1-5];但在行業知識服務領域，盡管也有一些機構開展了實踐探索和理論研究，但總體來說仍然不夠充分、系統，未能結合行業資源特點和用戶需求進行服務功能的全面創新�；�于此，本文擬圍繞基于大數據挖掘的行業知識服務實現模型和發展策略進行探討，從而為基于行業大數據的服務創新研究與實踐提供參考。

　　大數據論文范例：大數據視角下移動互聯網的汽車營銷策略分析

　　1相關研究與實踐

　　大數據環境的形成為知識服務創新提供了新的契機，立足大數據環境的行業知識服務理論創新與實踐探索也受到了學界和業界的廣泛關注，并取得了初步研究與實踐成果。

　　1.1理論研究

　　理論研究方面，大數據環境下的行業知識服務創新主要圍繞關鍵技術研究、服務平臺構建、服務模式創新等主題進行。關鍵技術研究中，唐明偉、蘇新寧等根據大數據計算的特點以及相應的方法，從總體架構、功能及實現方法等方面構建了基于大數據的情報分析框架，探討了不同行業應用該框架的一些細則問題[6];高偉等以數據源構建、數據采集、數據集成、數據分析和數據服務為主線構建了情報分析方法和技術體系[7];化柏林針對科技信息大數據，構建了以多源異構融合技術、用戶畫像與需求探測技術、屬性計算與情景計算技術、知識抽取與本體構建技術等為主體關鍵技術體系[8]。

　　除了技術框架體系外，還有一些研究針對具體的技術問題提出了解決方案，包括大數據環境下的專利分析技術[9-10]、基于新聞大數據的行業熱點監測技術[11]、面向用戶評論大數據的情感計算技術[12-13]等。行業服務平臺構建方面，胡昌平和張晶從分析產業鏈中的跨行業知識需求入手，構建了面向我國工業體系中各主要行業的集成服務平臺整體框架[14];李嘉璐在分析大數據環境下行業高校圖書館為母體行業企業提供大數據相關情報服務可行性的基礎上，構建了基于大數據的行業情報服務平臺模型[15]。行業知識服務模式研究方面，李麗梅和吳新年提出基于大數據的產業競爭情報服務模式需要能夠精準捕獲并滿足個性化定制需求、重視多源動態情報、強化實時高效互通機制、依托新型技術創新供給方式、全社會廣泛參與[16]。

　　王學東等提出了平臺自助式信息服務模式和企業聯盟知識推薦服務模式兩種面向戰略性新興產業提供個性化服務模式，并認為其有助于滿足產業發展過程中不同的知識需求[17];熊回香等認為大數據環境下戰略性新興產業服務平臺需融合公共信息平臺、信息交易平臺和信息論壇三大部分，并進而提出戰略性新興產業知識服務可以按照共性化、個性化和特色化三種模式開展[18]。

　　孫立和焦微玲通過分析工業大數據驅動下知識發現與知識服務面臨的挑戰與企業具體需求，構建市場供需對接切入模型[19];陳銳等分析了大數據對生物醫學知識服務流程中數據來源、數據采集、存儲、組織、分析及可視化呈現等各環節的影響，并從觀念、內容、技術、人才、制度和合作模式6方面對生物醫學知識服務如何適應大數據的時代發展要求提出建議[20]。1.2實踐探索基于大數據的行業服務實踐探索方面，國內部分行業服務平臺立足各自的產業特點和積累的大數據資源進行了初步探索，較具有代表性的包括以下幾個平臺。

　�、僦圃鞆妵�公共信息服務平臺(http://www.iipsp.cn/)。其在采集物聯網、云計算、人工智能等行業大數據的基礎上，面向用戶提供基于大數據挖掘的行業知名品牌關注度、喜好度、價值認可度、負面敏感度監測，行業熱點話題監測，基于專利的技術預警服務。②交通行業知識服務系統(https://transport.ckcest.cn/main)。其在全面采集科技項目、科技文獻、工程建設信息、統計數據、儀器設備、科研平臺等交通行業大數據基礎上，向用戶提供領域專家、團隊發現、技術演化分析服務。③中國水泥網(http://www.ccement.com/)。其在全面采集水泥行業大數據基礎上，面向行業用戶提供水泥市場信心指數、價格、庫容、運轉率、產銷、產能、成本等水泥信息的監測與走勢預測，水泥地圖可視化展示服務。

　　總體來說，圍繞基于大數據的行業知識服務理論研究具有現實性，所取得的理論成果對行業實踐開展具有參考意義;同時，已有少量行業信息服務機構開始了基于大數據挖掘的行業服務創新探索，一定程度上改善了行業用戶的服務使用體驗。然而，行業實踐應用仍處于初期，大數據的價值發揮仍不夠充分;相關理論研究多是將大數據作為背景要素進行平臺架構、服務模式探討，專門基于大數據挖掘的行業知識服務研究仍不夠系統、深入�；�于此，本文擬從大數據挖掘的行業知識服務模型出發，探索基于大數據挖掘的行業知識服務創新的系統思路，進而提出后續發展策略。

　　2基于大數據挖掘的行業知識服務分層結構

　　基于大數據挖掘的行業知識服務創新的實質在于，全面采集行業政策、市場、技術、產品、企業、客戶等相關的大數據資源，進行挖掘分析，發現大數據背后的規律性知識和隱藏知識，并以多種模式向用戶提供服務，滿足其無法通過既有行業信息資源得到滿足的需求。

　　為達成這一目標，從實施角度出發，除了具備行業大數據資源和大數據挖掘工具、算法外，還需要找到合適的應用場景和需求痛點，開展服務模式創新。同時，行業大數據資源的采集、存儲、加工、挖掘等都離不開軟硬件基礎設施的支撐。根據這一認識，基于大數據挖掘的行業知識服務模型可以分為5個層次：基礎設施層、數據資源層、數據治理層、數據挖掘層、服務功能層。

　　其中，基礎設施層負責提供基于大數據挖掘的行業知識服務系統運行所需的軟硬件設施，數據資源層是行業大數據建設的信息源，數據治理層負責行業大數據的采集、預處理、組織與存儲，數據挖掘層則立足需求進行行業大數據挖掘分析，生成服務所需的知識信息，服務功能層負責對接用戶，并提供多樣化的行業知識服務。

　　2.1基礎設施層

　　行業大數據的采集、存儲、組織、管理、挖掘分析需要軟硬件基礎設施提供穩固支撐。高性能、高帶寬、高可靠、大緩存的硬件基礎設施是行業大數據資源建設與挖掘分析的物質前提，主要包括存儲設備、計算設備、網絡設備。軟件基礎設施主要包括云計算基礎平臺、大數據基礎平臺和機器學習基礎平臺，其中云計算基礎平臺主要用于滿足行業大數據大數據采集、組織與挖掘分析中的存儲、計算資源配置、管理需求;大數據基礎平臺則主要用于搭建支撐行業大數據采集、分布式存儲、分布式計算及高性能服務的基礎支撐平臺，保障數據安全及數據處理與服務的效率、安全性。

　　機器學習基礎平臺則用于為大數據挖掘分析提供支撐，提升大數據挖掘算法研發、運行的效率，確保數據挖掘分析的效果。軟件基礎設施建設，需要選用工業級驗證的、開放成熟的基礎技術工具，如Hadoop，MapReduce，Spark等大數據基礎平臺，AmazonMachineLearning(AML)，AzureMLStudio，TensorFlow，PyTorch，百度飛槳，modelarts等機器學習基礎平臺，并需要注重不同類型工具間的協調性。

　　2.2資源采集層

　　為全面獲取行業相關的大數據資源，需要建立覆蓋全面、系統可靠的大數據信息源體系，包括文獻數據庫、電商網站、網絡社區、社交網絡、新聞網站、政府網站、企業官網、大數據提供商等。其中，文獻數據庫可以提供學術論文、專利、標準、科技成果、報告等文獻信息，是技術信息獲取的重要渠道。

　　電商網站可以提供產品信息、銷售渠道信息、銷售狀況信息、客戶評論信息等產品、市場相關信息;網絡社區、社交網絡、新聞網站可以提供行業從業人員和客戶、社會公眾對行業的討論和新聞報道信息，對了解行業熱點、輿情、口碑非常重要;政府既掌握了大量的政策信息，也是行業、企業信息的重要擁有者，合理利用政府渠道可以采集到很多行業重要信息，如宏觀環境信息、行業統計信息、價格信息、行政許可信息、企業信用信息等;企業官網上則常常匯聚了與企業相關的產品、技術、市場等重要信息。

　　隨著大數據的價值得到越來越多的認可，市場上也涌現了一批以大數據采集、建設為主要業務的機構，如上海合合信息科技發展有限公司收錄了2.3億工商主體的大數據信息，此類機構常常能夠采集到更為全面、系統的行業大數據信息，成為其他渠道的重要補充。

　　大數據資源采集中，需要結合數據源特點選用合適的采集方式，如網絡抓取、購買、交換共享、印本加工等，從而初步形成包括文獻大數據、電商大數據、社交大數據、媒體大數據、政策大數據、企業大數據在內的行業大數據體系。值得指出的是，隨著產業競爭的全球化，為適應國際國內雙循環的新環境，需要關注跨語言資源的采集問題;同時，行業大數據資源建設是個復雜的系統工程，為降低實施難度，行業信息服務機構需要解決與外部相關機構的協同問題。

　　2.3數據治理層

　　鑒于行業大數據的來源非常廣泛，數據異構、質量參差不齊的問題較為嚴重，因此需要綜合采取多種手段進行治理，實現行業大數據的質量提升和增值。該層次的核心功能包括：①數據標準管理，即結合行業數據特點和應用需求，建立系統、完善的行業大數據標準體系，包括元數據標準、數據模型標準、主數據和參考數據標準、數據質量標準等，為數據組織與規范化提供支持;②大數據質量控制與提升，即對通過各種途徑獲取的行業大數據進行預處理，剔除錯誤數據、作弊數據、異常數據、重復數據，有效處理存在缺失值的數據、格式不規范的數據，進行多來源數據的集成、融合，保證行業大數據的完整性、可信性、規范性。

　�、鄞髷祿�組織，即按照元數據著錄要求進行大數據內容特征和外部特征的提取、揭示，挖掘、識別數據間的關聯關系;④大數據存儲與索引，即采用分布式處理技術進行行業大數據的存儲與索引，為后續的高效加工處理奠定基礎;⑤大數據安全管理，即綜合采用數據脫敏、數據加密、訪問控制等安全技術手段，確保數據在存儲與流動過程中的安全。

　　3基于大數據挖掘的行業知識服務發展策略

　　為推進基于大數據挖掘的行業知識服務健康發展，行業信息服務機構需要加強跨組織協調工作，以實現行業大數據的全面、系統采集，并保障大數據質量;突破跨語言行業大數據處理技術，適應全球化環境下行業大數據多語種分布的基本現實;構建開放化的行業知識服務平臺，實現基于大數據挖掘的服務應用供給側改革，全面滿足行業用戶的知識需求。

　　4結束語

　　當前，利用大數據深化行業知識服務已經成為行業信息服務機構關注的焦點問題。用好大數據，將能夠形成行業信息服務新的增長點，鞏固和提升行業信息服務機構在產業創新、發展中的重要地位。圍繞這一問題，本文探討了基于大數據挖掘實現行業知識服務創新的理論模型，構建了基于大數據挖掘的行業知識服務功能體系，并提出了深入推進基于大數據挖掘的行業知識服務創新發展策略。未來行業信息服務機構應更加注重基于大數據的行業知識服務實踐探索，建立健全行業大數據建設機制，突破行業大數據挖掘分析關鍵技術，開展資源驅動的知識服務模式創新，將行業知識服務推向新的發展階段，更好地支撐行業知識創新、市場運營、行業管理。

　　參考文獻：

　　[1]羅圣梅敖小爽江鐵成面向大數據環境的高校圖書館學科化服務研究[J].大學圖書館學報,2020,38(5):128.

　　[2]蒲科大數據驅動下圖書館服務模式的創新路徑與價值增值研究[J].國家圖書館學刊,2020,29(4):6574.

　　[3]雷潔趙瑞雪李思經鮮國建寇遠濤知識圖譜驅動的科研檔案大數據管理系統構建研究[J].數字圖書館論壇,2020(2):1927.

　　[4]曹樹金劉慧云王連喜大數據驅動的圖書館精準服務研究[J].大學圖書館學報,2019,37(4):5460.

　　[5]龐娜錢力段美珍大數據環境下科技信息精準搜索服務探析[J].情報科學,2020,38(7):6976.

　　[6]唐明偉蘇新寧肖連杰面向大數據的情報分析框架[J].情報學報,2018,37(5):467476.

　　[7]高偉薛夢瑤于成成面向大數據的情報分析方法和技術體系研究[J].情報理論與實踐,2019,42(12):4348，35.

　　作者：胡潛，李夢婷,黃家娥

轉載請注明來自發表學術論文網：http://www.cnzjbx.cn/jjlw/26449.html