-
當前位置:首頁 > 創(chuàng)意學院 > 技術 > 專題列表 > 正文
1970s: 超大規(guī)模數據庫 (VLDB)【GB=10^9字節(jié)】
21世紀初:海量數據(massive data)【TB=10^12字節(jié)】
2008年:Big data 【PB=10^15字節(jié)】
現在實際的數據量已經達到:ZB=10^3EB=10^6PB=10^21字節(jié)
一個新單位:1YB=10^3ZB=10^24字節(jié)
第一個提出大數據概念的公司(大數據公司)
大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關于第一個提出大數據概念的公司的問題,以下是小編對此問題的歸納整理,讓我們一起來看看吧。
開始之前先推薦一個非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關鍵詞,就能返回你想要的內容,越精準,寫出的就越詳細,有微信小程序端、在線網頁版、PC客戶端
創(chuàng)意嶺作為行業(yè)內優(yōu)秀的企業(yè),服務客戶遍布全球各地,如需了解SEO相關業(yè)務請撥打電話175-8598-2043,或添加微信:1454722008
本文目錄:
一、簡述什么是大數據時代
在我們還沒有弄明白什么是云計算,什么是物聯網的時候,大數據時代來了。大數據時代帶來的變革影響著我們生活和工作的方方面面。那么,什么是大數據時代?我們舉例說明!
“大數據時代”首次被提出
最早提出“大數據時代”到來的是全球知名咨詢公司麥肯錫。 2011年5月,全球知名咨詢公司麥肯錫(McKinsey&Company)肯錫全球研究院(MGI)發(fā)布了一份報告--《大數據:創(chuàng)新、競爭和生產力的下一個新領域》,大數據開始備受關注,這也是專業(yè)機構第一次全方面的介紹和展望大數據。報告指出,大數據已經滲透到當今每一個行業(yè)和業(yè)務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈余浪潮的到來。
報告還提到,“大數據”源于數據生產和收集的能力和速度的大幅提升--由于越來越多的人、設備和傳感器通過數字網絡連接起來,產生、傳送、分享和訪問數據的能力也得到徹底變革。
大數據在物理學、生物學、環(huán)境生態(tài)學等領域以及軍事、金融、通訊等行業(yè)存在已有時日,卻因為近年來互聯網和信息行業(yè)的發(fā)展而引起人們關注。進入2012年,大數據(bigdata)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,并命名與之相關的技術發(fā)展與創(chuàng)新。
舉個實際生活中的例子,大約20年前,亞馬遜剛成立時,杰夫·貝索斯讓50個書評員來為他賣書,他意識到不僅僅可以請人來寫書評,還可以用數據技術來提供圖書推薦。起初他使用的是小數據,不是大數據,把客戶進行分類,比如說有人對中國旅游或者是對園藝感興趣,系統會自動提供推薦。他的同事告訴他,剛剛開始使用這個數據推薦時,使用體驗并不好;在進一步分析后,亞馬遜決定不對人進行分類,而是對用戶的需求分類。這個做法做法非常成功,以至于到今天,推薦系統為亞馬遜帶去30%的銷售收入。
什么是大數據時代?我們再通俗一點講,就是在不影響你隱私的前提下,讓你的生活很便捷。例如我要去北京出差,我忙完手里的事情,樓下已經有專車在等候送我去機場,專車根據大數據實時路況選了一條最優(yōu)方案把我準點送達機場,下飛機的時候,車子已經在等我,并且把我送到了我比較喜歡而且價位適合的賓館,到了賓館,我喜歡的美食已經準備妥當,房間溫度已經達到最佳,浴室水溫已經正好合適,我喜歡的美人已經在床上寬衣解帶等候寵幸……
大數據時代就是能夠根據我實時產生的數據來不斷給我匹配我想要的東西,讓生活超級便捷。
二、大數據概念是在哪一年由誰首次提出的
大數據(big data),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具,在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的資訊。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法(抽樣調查)這樣捷徑,而采用所有數據進行分析處理。
于“大數據”(Big data)研究機構Gartner給出了這樣的定義。“大數據”是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產。
麥肯錫全球研究所給出的定義是:一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合,具有海量的數據規(guī)模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。
大數據技術的戰(zhàn)略意義不在于掌握龐大的數據信息,而在于對這些含有意義的數據進行專業(yè)化處理。換而言之,如果把大數據比作一種產業(yè),那么這種產業(yè)實現盈利的關鍵,在于提高對數據的“加工能力”,通過“加工”實現數據的“增值”。
從技術上看,大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理,必須采用分布式架構。它的特色在于對海量數據進行分布式數據挖掘。但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。
隨著云時代的來臨,大數據(Big data)也吸引了越來越多的關注。分析師團隊認為,大數據(Big data)通常用來形容一個公司創(chuàng)造的大量非結構化數據和半結構化數據,這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。
大數據需要特殊的技術,以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術,包括大規(guī)模并行處理(MPP)數據庫、數據挖掘、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。
資料參考百度百科大數據
三、大數據時代的產生背景
可按照時間點劃分大數據的發(fā)展歷程。
大數據時代發(fā)展的具體歷程如下:
2005年Hadoop項目誕生。 Hadoop其最初只是雅虎公司用來解決網頁搜索問題的一個項目,后來因其技術的高效性,被Apache Software Foundation公司引入并成為開源應用。
Hadoop本身不是一個產品,而是由多個軟件產品組成的一個生態(tài)系統,這些軟件產品共同實現全面功能和靈活的大數據分析。從技術上看,Hadoop由兩項關鍵服務構成:采用Hadoop分布式文件系統(HDFS)的可靠數據存儲服務,以及利用一種叫做MapReduce技術的高性能并行數據處理服務。這兩項服務的共同目標是,提供一個使對結構化和復雜數據的快速、可靠分析變?yōu)楝F實的基礎。
2008年末,“大數據”得到部分美國知名計算機科學研究人員的認可,業(yè)界組織計算社區(qū)聯盟 (Computing Community Consortium),發(fā)表了一份有影響力的白皮書《大數據計算:在商務、科學和社會領域創(chuàng)建革命性突破》。它使人們的思維不僅局限于數據處理的機器,并提出:大數據真正重要的是新用途和新見解,而非數據本身。此組織可以說是最早提出大數據概念的機構。
2009年印度政府建立了用于身份識別管理的生物識別數據庫,聯合國全球脈沖項目已研究了對如何利用手機和社交網站的數據源來分析預測從螺旋價格到疾病爆發(fā)之類的問題。同年,美國政府通過啟動http://Data.gov網站的方式進一步開放了數據的大門,這個網站向公眾提供各種各樣的政府數據。該網站的超過4.45萬量數據集被用于保證一些網站和智能手機應用程序來跟蹤從航班到產品召回再到特定區(qū)域內失業(yè)率的信息,這一行動激發(fā)了從肯尼亞到英國范圍內的政府們相繼推出類似舉措。
2009年,歐洲一些領先的研究型圖書館和科技信息研究機構建立了伙伴關系致力于改善在互聯網上獲取科學數據的簡易性。
2010年2月,肯尼斯庫克爾在《經濟學人》上發(fā)表了長達14頁的大數據專題報告《數據,無所不在的數據》。庫克爾在報告中提到:“世界上有著無法想象的巨量數字信息,并以極快的速度增長。從經濟界到科學界,從政府部門到藝術領域,很多方面都已經感受到了這種巨量信息的影響。科學家和計算機工程師已經為這個現象創(chuàng)造了一個新詞匯:“大數據”。庫克爾也因此成為最早洞見大數據時代趨勢的數據科學家之一。
2011年2月,IBM的沃森超級計算機每秒可掃描并分析4TB(約2億頁文字量)的數據量,并在美國著名智力競賽電視節(jié)目《危險邊緣》“Jeopardy”上擊敗兩名人類選手而奪冠。后來紐約時報認為這一刻為一個“大數據計算的勝利?!?相繼在同年5月,全球知名咨詢公司麥肯錫(McKinsey&Company)肯錫全球研究院(MGI)發(fā)布了一份報告——《大數據:創(chuàng)新、競爭和生產力的下一個新領域》,大數據開始備受關注,這也是專業(yè)機構第一次全方面的介紹和展望大數據。報告指出,大數據已經滲透到當今每一個行業(yè)和業(yè)務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈余浪潮的到來。報告還提到,“大數據”源于數據生產和收集的能力和速度的大幅提升——由于越來越多的人、設備和傳感器通過數字網絡連接起來,產生、傳送、分享和訪問數據的能力也得到徹底變革。
2011年12 月,工信部發(fā)布的物聯網十二五規(guī)劃上,把信息處理技術作為4 項關鍵技術創(chuàng)新工程之一被提出來,其中包括了海量數據存儲、數據挖掘、圖像視頻智能分析,這都是大數據的重要組成部分。
2012年1月份,瑞士達沃斯召開的世界經濟論壇上,大數據是主題之一,會上發(fā)布的報告《大數據,大影響》(Big Data, Big Impact) 宣稱,數據已經成為一種新的經濟資產類別,就像貨幣或黃金一樣。
2012年3月,美國奧巴馬政府在白宮網站發(fā)布了《大數據研究和發(fā)展倡議》,這一倡議標志著大數據已經成為重要的時代特征。2012年3月22日,奧巴馬政府宣布2億美元投資大數據領域,是大數據技術從商業(yè)行為上升到國家科技戰(zhàn)略的分水嶺,在次日的電話會議中,政府對數據的定義“未來的新石油”,大數據技術領域的競爭,事關國家安全和未來。并表示,國家層面的競爭力將部分體現為一國擁有數據的規(guī)模、活性以及解釋、運用的能力;國家數字主權體現對數據的占有和控制。數字主權將是繼邊防、海防、空防之后,另一個大國博弈的空間。
2012年4月,美國軟件公司Splunk于19日在納斯達克成功上市,成為第一家上市的大數據處理公司。鑒于美國經濟持續(xù)低靡、股市持續(xù)震蕩的大背景,Splunk首日的突出交易表現尤其令人們印象深刻,首日即暴漲了一倍多。Splunk是一家領先的提供大數據監(jiān)測和分析服務的軟件提供商,成立于2003年。Splunk成功上市促進了資本市場對大數據的關注,同時也促使IT廠商加快大數據布局。2012年7月,聯合國在紐約發(fā)布了一份關于大數據政務的白皮書,總結了各國政府如何利用大數據更好地服務和保護人民。這份白皮書舉例說明在一個數據生態(tài)系統中,個人、公共部門和私人部門各自的角色、動機和需求:例如通過對價格關注和更好服務的渴望,個人提供數據和眾包信息,并對隱私和退出權力提出需求;公共部門出于改善服務,提升效益的目的,提供了諸如統計數據、設備信息,健康指標,及稅務和消費信息等,并對隱私和退出權力提出需求;私人部門出于提升客戶認知和預測趨勢目的,提供匯總數據、消費和使用信息,并對敏感數據所有權和商業(yè)模式更加關注。白皮書還指出,人們如今可以使用的極大豐富的數據資源,包括舊數據和新數據,來對社會人口進行前所未有的實時分析。聯合國還以愛爾蘭和美國的社交網絡活躍度增長可以作為失業(yè)率上升的早期征兆為例,表明政府如果能合理分析所掌握的數據資源,將能“與數俱進”,快速應變。在這一年的7月,為挖掘大數據的價值,阿里巴巴集團在管理層設立“首席數據官”一職,負責全面推進“數據分享平臺”戰(zhàn)略,并推出大型的數據分享平臺——“聚石塔”,為天貓、淘寶平臺上的電商及電商服務商等提供數據云服務。隨后,阿里巴巴董事局主席馬云在2012年網商大會上發(fā)表演講,稱從2013年1月1日起將轉型重塑平臺、金融和數據三大業(yè)務。馬云強調:“假如我們有一個數據預報臺,就像為企業(yè)裝上了一個GPS和雷達,你們出海將會更有把握。”因此,阿里巴巴集團希望通過分享和挖掘海量數據,為國家和中小企業(yè)提供價值。此舉是國內企業(yè)最早把大數據提升到企業(yè)管理層高度的一次重大里程碑。阿里巴巴也是最早提出通過數據進行企業(yè)數據化運營的企業(yè)。
2014年4月,世界經濟論壇以“大數據的回報與風險”主題發(fā)布了《全球信息技術報告(第13版)》。報告認為,在未來幾年中針對各種信息通信技術的政策甚至會顯得更加重要。在接下來將對數據保密和網絡管制等議題展開積極討論。全球大數據產業(yè)的日趨活躍,技術演進和應用創(chuàng)新的加速發(fā)展,使各國政府逐漸認識到大數據在推動經濟發(fā)展、改善公共服務,增進人民福祉,乃至保障國家安全方面的重大意義。5月份,美國白宮發(fā)布了2014年全球“大數據”白皮書的研究報告《大數據:抓住機遇、守護價值》。報告鼓勵使用數據以推動社會進步,特別是在市場與現有的機構并未以其他方式來支持這種進步的領域;同時,也需要相應的框架、結構與研究,來幫助保護美國人對于保護個人隱私、確保公平或是防止歧視的堅定信仰。2014年,“大數據”首次出現在當年的《政府工作報告》中。《報告》中指出,要設立新興產業(yè)創(chuàng)業(yè)創(chuàng)新平臺,在大數據等方面趕超先進,引領未來產業(yè)發(fā)展?!按髷祿毙闯蔀閲鴥葻嶙h詞匯。
2015年,國務正式印發(fā)《促進大數據發(fā)展行動綱要》,《綱要》明確,推動大數據發(fā)展和應用,在未來5至10年打造精準治理、多方協作的社會治理新模式,建立運行平穩(wěn)、安全高效的經濟運行新機制,構建以人為本、惠及全民的民生服務新體系,開啟大眾創(chuàng)業(yè)、萬眾創(chuàng)新的創(chuàng)新驅動新格局,培育高端智能、新興繁榮的產業(yè)發(fā)展新生態(tài)。標志著大數據正式上升這國家戰(zhàn)略。
2016年,大數據“十三五”規(guī)劃將出臺,《規(guī)劃》已征求了專家意見,并進行了集中討論和修改?!兑?guī)劃》涉及的內容包括,推動大數據在工業(yè)研發(fā)、制造、產業(yè)鏈全流程各環(huán)節(jié)的應用;支持服務業(yè)利用大數據建立品牌、精準營銷和定制服務等。
大數據的技術:
1. Hadoop
Hadoop誕生于2005年,其最初只是雅虎公司用來解決網頁搜索問題的一個項目,后來因其技術的高效性,被Apache Software Foundation公司引入并成為開源應用。Hadoop本身不是一個產品,而是由多個軟件產品組成的一個生態(tài)系統, 這些軟件產品共同實現全面功能和靈活的大數據分析。從技術上看,Hadoop由兩項關鍵服務構成:采用Hadoop分布式文件系統(HDFS)的可靠數據 存儲服務,以及利用一種叫做MapReduce技術的高性能并行數據處理服務。
2. Hive
Hive是一種建立在Hadoop文件系統上的數據倉庫架構,并能對存儲在HDFS中的數據進行分析和管理。它最初是應Facebook每天產生的海量新興社會網絡數據進行管理和機器學習的需求而產生和發(fā)展的。后來其他公司也開始使用和開發(fā)Apache Hive,例如Netflix、亞馬遜等。
3. Storm:
Storm是一個分布式計算框架,主要由Clojure編程語言編寫。最初是由Nathan Marz及其團隊創(chuàng)建于BackType,這家市場營銷情報企業(yè)于2011年被Twitter收購。之后Twitter將該項目轉為開源并推向GitHub平臺,最終Storm加入Apache孵化器計劃并于2014年9月正式成為Apache旗下的頂級項目之一。
四、數據發(fā)展的歷程
大數據的發(fā)展歷程
隨著計算機和網絡的發(fā)展,信息不斷“爆炸”:
2008年9月4日,《自然》(Nature)刊登了一個名為“Big Data”的專輯。2011年5月,美國著名咨詢公司麥肯錫(McKinsey)發(fā)布《大數據:創(chuàng)新、競爭和生產力的下一個前沿》的報告,首次提出了“大數據”概念,認為數據已經成為經濟社會發(fā)展的重要推動力。大數據指的是大小超出常規(guī)的數據庫工具獲取、存儲、管理和分析能力的數據集。
2013年3月29日,美國奧巴馬政府宣布推出“大數據研究和發(fā)展計劃”(Big Data Research and Development Initiative),有人將其比之為克林頓政府當年提出的“信息高速公路”計劃 。該計劃涉及美國國家科學基金會、衛(wèi)生研究院、能源部、國防部等6個聯邦政府部門,投資超兩億美元,研發(fā)收集、組織和分析大數據的工具及技術。2012年7月日本推出“新ICT戰(zhàn)略研究計劃”,在新一輪IT振興計劃中日本政府把大數據發(fā)展作為國家層面戰(zhàn)略提出。這是日本新啟動的2011年大地震一度擱置的政府ICT戰(zhàn)略研究。英國政府也宣稱投資6億英鎊科學資金,并計劃在未來兩年內在大數據和節(jié)能計算研究投資1.89億英鎊。政府把大量的資金投入到計算基礎設施,用以捕捉并分析通過開放式數據革命獲得的數據流,帶動企業(yè)投入更多的資金。
2012年3月,我國科技部發(fā)布的“十二五國家科技計劃信息技術領域2013年度備選項目征集指南”把大數據研究列在首位。中國分別舉辦了第一屆(2011年)和第二屆(2012年)“大數據世界論壇”。IT時代周刊等舉辦了“大數據2012論壇”,中國計算機學會舉辦了“CNCC2012大數據論壇”。國家科技部,863計劃信息技術領域2015年備選項目包括超級計算機、大數據、云計算、信息安全、第五代移動通信系統(5G)等。2015年8月31日,國務院正式印發(fā)《促進大數據發(fā)展行動綱要》。
以上就是關于第一個提出大數據概念的公司相關問題的回答。希望能幫到你,如有更多相關問題,您也可以聯系我們的客服進行咨詢,客服也會為您講解更多精彩的知識和內容。
推薦閱讀: