大數據管理論文(2)
大數據管理論文篇二
大數據與政府數據管理
摘要：21世紀是數據信息大發(fā)展的時代，2011年5月，在“云計劃相遇大數據”為主題的EMC World 2011會議中，EMC拋出了大數據的概念。本文從詳細介紹大數據入手，分析了政府數據管理中不利于大數據應用的問題，并提出了一定的解決辦法，以期推進我國政府管理的大數據建設。
關鍵詞：政府數據管理 大數據 信息化建設
1.大數據的概念
目前，國內外沒有統(tǒng)一的大數據概念，一般是指大小已經超出了傳統(tǒng)意義，一般的軟件工具難以捕捉、存儲、管理和分析的數據。“大數據”之“大”并不僅僅在于其“容量之大”，而是指在大規(guī)模數據的基礎上可以做的事情，而這些事情在小規(guī)模數據的基礎上是無法實現的。大數據通過對海量數據進行整理、分析，獲得有巨大價值的產品，或深刻的洞見，最終形成變革之力。
大數據擁有四大特征：
第一，大量(Volume)。2012年、2013年產生數據量總和是人類有歷史以來到2011年產生數據量的總和，兩年的數據量等于一萬年的總和，這個數據規(guī)模為1.8ZB。這表明互聯網時代的社交網絡、電子商務與移動通信把人類帶入了一個以“PB”乃至“EB”為單位的新時代。
第二，多樣(Variety)。大數據有網絡數據、企事業(yè)單位數據、政府數據，有網絡數據自媒體數據(比如社交網絡、博客、微博等)，有日志數據(比如搜索引擎，大家上網等等都會留下很多足跡)，還有富媒體數據(視頻、音頻等等)，相對于以往便于存儲的以文本為主的結構化數據，非結構化數據越來越多，這些多類型的數據對數據的處理能力提出了更高要求。
第三，價值(Value)。被稱為“大數據時代預言家”的牛津大學網絡學院互聯網研究所治理與管理專業(yè)教授維克托・邁爾-舍恩伯格說：“大數據的核心就是預測，不是要教機器像人一樣思考，而是要把數學計算運用到海量數據上，來預測事情發(fā)生的可能性”。預測，作為大數據的核心力量，早已被多次證明。2009年，Google曾用大數據分析5000萬條美國人頻繁檢索的詞匯，將之和美國疾病中心在2003-2008年間季節(jié)性流感傳播時期的數據進行比較，準確預測當年的流感趨勢，甚至可以具體到特定的地區(qū)和州。
第四，高速(Velocity)。1秒定律，這是大數據區(qū)分于傳統(tǒng)數據挖掘的最顯著特征。根據IDC的“數字宇宙”的報告，預計到2020年，全球數據使用量將達到35.2ZB。在如此海量的數據面前，處理數據的效率就是企業(yè)的生命。
簡單地說，大量化、多樣化、快速化以及價值密度低就是“大數據”的顯著特征，或者說，只有具備這些特點的數據，才是大數據。
2.政府數據管理三部曲
黨的報告首次提出“四化同步”戰(zhàn)略，將信息化提升到國家戰(zhàn)略高度，如果地方政府、各部門采取“鴕鳥政策 ”，不去了解虛擬世界，不會運用移動互聯網信息技術，不懂得大數據概念。這樣既不符合中央要求，也不符合時代的要求，只能讓我們在時代發(fā)展中步步落伍。
哈佛大學商學院達文波特說：大數據及其分析，將會在未來10年改變幾乎每一個行業(yè)的業(yè)務功能。任何一個組織，如果早一點著手大數據的工作，就可以獲得明顯的競爭優(yōu)勢。數據被視為科學的度量，知識的來源;沒有數據，無論是學術研究，還是政策的制定，都將寸步難行。那么作為政府部門該如何進行數據管理呢?
2.1數據收集
我國是一個人口大國，也是互聯網大國、手機大國，但很可惜，卻是一個大數據小國?！?ldquo;大數據”》的作者徐子沛認為，這是因為我們收集數據的意識比較差。在技術層面，我們與美國等國家差距并不大。但由于缺乏“大數據”意識，很多數據得不到收集和存儲，也就無法有效利用。政府部門在運用大數據時首要任務就是建立收集網絡，收集大數據。根據麥肯錫的數據，我國2010年新增的數據量約為250拍，不及日本的400拍、歐洲的2000拍，與美國的3500拍更是相去甚遠。
我國才剛剛開始試水大數據戰(zhàn)略，可借鑒國外收集、管理、利用數據的先進經驗，改進政府的決策，提高工作效率。而美國在這方面已經形成了一套完整的規(guī)范，值得學習。
比如美國的交通安全管理局作為美國聯邦政府最早大規(guī)模收集數據部門之一，在1966年起就開始在全國范圍內收集交通事故記錄雖然一起交通事故的數據可能是無序的，一年的數據、一個地區(qū)的數據也無章可循，但隨著跨年度、跨地區(qū)的數據的累積和增多，群體的行為規(guī)律就會浮出水面，可以通過挖掘這些數據，制定合理政策，避免交通事故的發(fā)生率。
數據源主要是收集三種類型的數據：
業(yè)務管理數據：以基層上報、被動接收下級部門和各類社會組織數據。我國衛(wèi)生部在2006年制定了第一套最小標準數據集。而美國現在的很多行業(yè)都有著這樣的統(tǒng)一“最小數據集”，2011年美國已擁有1萬多個這樣的系統(tǒng)。
民意社情數據：投入人力、財力主動收集單個公民或組織數據。我國國家統(tǒng)計局于2006年正式成立了社情民意調查中心，并于2013年11月，與百度、阿里巴巴、卓創(chuàng)資訊等11家企業(yè)簽訂了大數據戰(zhàn)略合作框架協(xié)議。2014年初，與卓創(chuàng)資訊聯合發(fā)布流通領域重要生產資料價格，這被視為擁抱大數據的重要舉措。
物理環(huán)境數據：以傳感器自動采集自然環(huán)境、動植物、物體數據。對此數據的采集，我國更是落后，直到2010年物聯網的技術開始在鐵道部、交通部得到應用。
2.2 數據分析
進入大數據時代之后，個人的社會行為很多都被數字化，如個人網上瀏覽記錄、消費記錄，通話記錄等等，這些數據足以勾畫出一個人的主要社會活動圖像，并由這些活動圖像對個人的行為特征進行分析。大數據的意義不在于龐大的數據信息，而在于對其中有意義的數據進行專業(yè)化處理，只有通過分析才能獲取很多智能的、深入的、有價值的信息。例如，生活在美國明尼蘇達州的一位父親與15歲的女兒購物后。回家發(fā)現商品中被加入了很多針對嬰兒孕婦商品的廣告，怒氣沖沖地跑到超市投訴。兩周后，父親向經理道歉，這時他才知道自己女兒已經懷孕近兩個月。而超市就是通過數據分析公司根據她女兒近期所有購物數據預測出該顧客懷孕，這就是大數據洞察人的方式。 分析的首要前提是讓看起來不相關的數據真正地關聯起來。其次，讓這些不會說話的“盲數據”活起來。只有這樣才可以及時掌握社會經濟發(fā)展、公共服務職能運行狀況，才能為政府科學決策和提升執(zhí)政能力提供很好的支撐保障。比如城市化的進展給我們帶來了現代化生活的同時，也帶來了諸如環(huán)境的污染、交通的堵塞、能耗的增加等等很多問題。在過去因為城市的設置過于復雜，要解決這些問題很難。但是今天，傳感器技術的發(fā)展和云計算的成熟，產生了大量的大數據，社交媒體數據、氣象數據、交通數據、地圖數據等等，如果我們使用得當的話，這些大數據就能引導我們發(fā)現問題，并進一步解決問題。比如空氣質量問題，我們就可以通過收集空氣質量監(jiān)測站的關于氣象條件的數據加上交通數據、人口、餐廳、公園等等數據，建立一個地方的數據庫和這個地方空氣質量的模型，這樣我們就可以算出這個地方任何一個角落的空氣質量。我們就知道我們什么時候可以出來散步，什么時候小孩子可以出來玩，同時這也是進一步解決空氣污染的前奏。
我國經過20多年的電子政務建設，政府的管理信息系統(tǒng)及數據的采集處理幾乎覆蓋各業(yè)務部門和主要公共服務，政府掌握著大量的、關鍵的數據，那些沉睡在檔案袋、文件夾中的數據，有著無比巨大的價值，能產生驚人的效用。比如，某導航公司將上海公開的2萬多條地理位置信息用于地圖編制與更新，服務了上億用戶。
但是，這些數據應用是極少一部分，政府掌握的絕大多數數據處于休眠狀態(tài)，如何讓這些“盲數據”發(fā)揮出活力，是“大數據”時代我國政府面臨的關鍵問題。而我國現有的政府部門的數據猶如一個個信息孤島，數據缺乏統(tǒng)一的格式，數據交換缺乏統(tǒng)一的標準和平臺。不用說跨部門之間的信息交換，即便是同一部委，不同業(yè)務部門的數據交換也存在障礙。盡管我國為了提升電子政務發(fā)展水平，實施了“十二金”工程，但數據孤島在我國當前政府部門的信息化系統(tǒng)之間是一種普遍現象，這從國際上公認衡量各國信息化發(fā)展水平的全球電子政務發(fā)展指數(EGDI)上面也能體現。近十年，我國EGDI排名先升后降，從2003年第74位升至2005年第57位，2012年跌至第78位。
不過互聯網和移動互聯的普及，已經在形成一種態(tài)勢倒逼政府的科學決策，更是對政府執(zhí)政能力的考驗。我們不能確定這股數據浪潮究竟何時會給政府的數據應用帶來根本性的改變，但我們已經看見這種趨勢已經在漸漸形成。對于政府部門而言，為了迎接以數據分析為支撐的科學決策的到來，我國先后制定了多項政策，《“十二五”國家戰(zhàn)略性新興產業(yè)發(fā)展規(guī)劃》中，“智能海量數據處理相關軟件研發(fā)和產業(yè)化”(大數據技術)被列為重點發(fā)展技術方向之一。此外，我國發(fā)展大數據的產業(yè)環(huán)境也日漸成熟。2013年8月14日，國務院發(fā)布《關于促進信息消費擴大內需的若干意見》(以下簡稱意見)，賦予信息消費拉動經濟增長的重要使命。隨后緊接著推出的“寬帶中國”戰(zhàn)略，更是為大數據發(fā)展提供了良好的基礎網絡環(huán)境。當然在管理上，在人才上，在法律上，在產業(yè)支撐環(huán)境方面等等，我國政府還有太多的課要補，從認識到“大數據能產生價值”，到實現了“從大數據中找到價值”，再到“有效使用大數據產生的價值”，這是一條漫長的道路。
2.3數據發(fā)布
2007年4月耶魯大學法學院教授丹尼爾・埃斯蒂，曾分析過信息開放對美國政府改革的重要性：
“盡管信息時代的技術進步已經徹底改變了商業(yè)領域和體育運動領域的決策過程，但聯邦政府對這些技術的應用還僅僅處在一個開始的階段。要實施‘數據驅動的決策方法’，不僅要使用新的技術、還要改變目前的決策過程。一旦打破這些障礙，將從中獲益：政府將更有效率、更加開放、更加負責，引導政府前進的將是‘基于實證的事實’，而不是‘意識形態(tài)’，也不是利益集團在決策過程中施加的影響。”
2.3.1政府部門通過對數據的發(fā)布接受社會監(jiān)督。美國著名的大法官路易斯.布蘭代斯有一句名言：“陽光是最好的防腐劑。” 面對公共信息，奧巴馬在簽署第二份總統(tǒng)備忘錄《信息自由法》時強調，“當我們有所懷疑的時候，公開是第一選擇。我們不能因為公開可能導致我們的官員陷于難堪的境地，或者會暴露我們的錯誤和失敗，或者因為莫名的擔心和害怕，而把信息打上‘保密’的標簽”?？梢哉f這份備忘錄的簽署，不僅在美國聯邦政府的各部門刮起了“透明和開放”的旋風，而且波及全世界很多國家。政府數據的發(fā)布在一定程度上可以制約權力濫用，如果把政府公權力的行使由個別人、少數人知情變?yōu)槎鄶等酥椋湍芤?guī)范行政行為，消除暗箱操作，把腐敗的發(fā)生率降到最低。唯有此才能做到“權為民所用、情為民所系、利為民所謀”。近年來，我國教育部實現網上招生錄取，錄取信息網上查閱。政府部門“三公”經費的公開等等，都有效防止了腐敗現象的發(fā)生。
2.3.2鼓勵民間介入。在網上發(fā)布數據，將會吸引一大批對這個問題感興趣的各界人士參與到政策制定的過程中來，將會使所有的問題都無所遁形，更多的問題將被發(fā)現，更多的細節(jié)將被討論，更好的方案將會被激發(fā)。據介紹，美國聯邦政府建立了“Data.Gov”網站，開放一些公共數據并鼓勵挖掘。截至2011年12月，該網站共有3721項原始數據、386429項地理數據、1570個數據可視化應用。人們可以從這些數據中找出空氣質量與工廠數量、胖子數量與快餐店多寡等關聯。這對經濟、環(huán)保等領域的研究有著非凡的意義。
2.3.3推動政策復制。通過發(fā)布這些數據，一項具體政策的執(zhí)行效果能夠被量化，各省之間很方便進行“事實對比”，新的政策如果有效，很容易在全國范圍內被接受、復制并推廣，形成一種良性的“政策競爭”氛圍?！?ldquo;大數據”》有一個這樣的案例，1980年開始，美國個別州開始實施駕駛人員必須佩戴安全帶的規(guī)定，但隨后收集到的數據卻表明，實施同樣規(guī)定的州，死亡率的下降幅度卻各不相同。這個數據之差引發(fā)了聯邦政府對全國的執(zhí)行情況進行檢查和對比。后來發(fā)現，效果明顯的州，警察有權力隨時截停車輛、檢查司乘人員是否佩戴了安全帶，而效果不明顯的州，僅僅規(guī)定警察只能在以其他理由截停車輛時順便檢查車上的人員是否佩戴了安全帶。這個發(fā)現，后來引發(fā)了多個州執(zhí)法方式的改變。
2.3.4提高管理能力。通過數據整合和運用提高管理能力，是目前世界各國的通用做法。在西班牙首都馬德里，整合警察、消防、醫(yī)療系統(tǒng)，使救援時間大同度縮短;在新加坡，智能交通綜合信息管理平臺在預測交通流速和流量方面有高達85%的準確率。在美國，加州大學的人類學和數學家共同建立了犯罪活動預測平臺。在不增加警力的情況下，洛杉磯的財產犯案率和盜竊案件分別下降了12%和16%。
中國工程院信息與電子學部主任、中國計算機學會理事長李國杰院士的課題組，提出我國政府開放數據的六項原則：
開放原則：政府信息資源以共享為原則，不共享為例外。注意開放與保護隱私的平衡。
保障安全原則：根據安全等級確定數據共享的范圍。
價值導向原則：開放的政務數據資源應具有經濟價值和社會價值，共享的目的是促進數據資源的利用。
質量保障原則：內容完整可信，數據格式方便使用，內容及時更新。
責權利統(tǒng)一原則：政務數據擁有部門承擔數據開放的責任，依法明確可開放數據的范圍。用戶對下載后數據的使用行為負責。
數字連續(xù)性原則：被開放的政務數據資源應維護其數字連續(xù)性，可檢索、可呈現、可理解、可被發(fā)現，保證可持續(xù)再用。
在某市《政府信息資源共享管理辦法》中，寫到“行政機關未經提供信息的行政機關同意，不得擅自向社會發(fā)布和公開所獲取的共享信息”。如果是無條件開放的數據，為什么不能再公開。對于“無附加條件共享”的政府數據，應實行“非限制即共享的原則”。盡管有識之士已經意識到大數據的競爭力和戰(zhàn)略性，但數據財富尚未形成全民意識，我國應迎頭趕上“大數據”這一時代潮流。
參考文獻：
[1]麥肯錫全球研究所.大數據：創(chuàng)新、競爭和提高生產率的下一個新領域[R].美國：麥肯錫咨詢公司，2011
[2]李國杰.大數據時代的國家治理體系和治理能力[J]， 大數據文摘2014(2)28
[3]涂子沛.大數據：正在到來的數據革命[M].桂林：廣西師范大學出版社，2012
看了“大數據管理論文”的人還看：
3.大數據學術論文