城鄉(xiāng)規(guī)劃大數(shù)據(jù)應(yīng)用基礎(chǔ)知識(shí)

2016-09-14 11:56:26         來源:規(guī)劃前沿觀察     瀏覽次數(shù):

  近十年來,隨著信息技術(shù)的迅速發(fā)展與移動(dòng)互聯(lián)網(wǎng)的廣泛普及,大數(shù)據(jù)技術(shù)的應(yīng)用與規(guī)劃行業(yè)的結(jié)合,為現(xiàn)代城鄉(xiāng)規(guī)劃發(fā)展帶來了前所未有的機(jī)遇和挑戰(zhàn)。鑒于新事物的特點(diǎn),規(guī)劃編制與管理者在實(shí)際的工作中常常遇到一些新概念、新方法及新應(yīng)用領(lǐng)域問題,本文擬從常用術(shù)語、數(shù)據(jù)來源以及數(shù)據(jù)處理三個(gè)方面進(jìn)行簡單介紹,希望能對實(shí)際工作者理解大數(shù)據(jù)在規(guī)劃領(lǐng)域的應(yīng)用有所幫助。

  △常用術(shù)語及含義

 ?。?)POI(PointOfInterest),興趣點(diǎn),是指各類地表設(shè)施的位置和屬性信息集合而成的地理空間數(shù)據(jù),每個(gè)POI一般包括名稱、類別、業(yè)務(wù)描述、經(jīng)緯度等方面信息,多來源于百度、高德、新浪等互聯(lián)網(wǎng)公司。

 ?。?)SoLoMo,Social-Location-Mobile的簡稱,即社交本地移動(dòng)。其中Social表示社交網(wǎng)絡(luò),用于幫助人們建立社交性的互聯(lián)網(wǎng)應(yīng)用服務(wù),比如微博、微信、Facebook等。Location表示基于位置的服務(wù),獲取個(gè)體的空間位置和行為,實(shí)現(xiàn)各類與位置相關(guān)的業(yè)務(wù),比如微博、微信中的實(shí)時(shí)位置。Mobile,表示以平板電腦和智能手機(jī)等為代表的移動(dòng)互聯(lián)網(wǎng)應(yīng)用,是實(shí)時(shí)、動(dòng)態(tài)跟蹤用戶行為的基礎(chǔ)。

 ?。?)API(ApplicationProgrammingInterface),應(yīng)用程序編程接口,開放的API使開發(fā)人員不用訪問源代碼或者理解內(nèi)部工作機(jī)制的細(xì)節(jié),就可以高效地調(diào)用該程序的相應(yīng)功能。

  (4)OSM(OpenStreetMap),開源街道地圖,是一個(gè)內(nèi)容自由且所有人可編輯的地圖。OSM數(shù)據(jù)開源,可自由下載使用,拓展了規(guī)劃師的矢量空間數(shù)據(jù)來源,如城市道路網(wǎng)等。

 ?。?)手機(jī)數(shù)據(jù),包括信令數(shù)據(jù)和話單數(shù)據(jù),基本原理是手機(jī)信號(hào)需要定時(shí)和最近的通信基站發(fā)生聯(lián)系,且通信基站是空間固定的且具有經(jīng)緯度坐標(biāo)。信令數(shù)據(jù),依托運(yùn)營商建立的信令監(jiān)測平臺(tái),記錄手機(jī)匿名ID、事件類別、時(shí)間、基站編號(hào)等信息;話單數(shù)據(jù),依托運(yùn)營商建立的計(jì)費(fèi)系統(tǒng),記錄手機(jī)匿名ID、計(jì)費(fèi)有關(guān)的通話、短信事件信息、發(fā)生時(shí)間、基站編號(hào)等信息。

  (6)數(shù)據(jù)庫,當(dāng)數(shù)據(jù)量過大,為了準(zhǔn)確、快捷、人性化的管理所有數(shù)據(jù),就需要用到數(shù)據(jù)庫,可分為關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫。關(guān)系型數(shù)據(jù)是指把所有數(shù)據(jù)通過二維表格的形式表示出來,比如Oracle、MicrosoftSQLServer和MySQL等數(shù)據(jù)庫軟件;非關(guān)系型數(shù)據(jù)庫(NoSQL=NotOnlySQL),意即“不僅僅是SQL”,用于超大規(guī)模文檔等數(shù)據(jù)的存儲(chǔ),NoSQL數(shù)據(jù)庫軟件有MongoDB、CouchDB等,谷歌和Facebook每天萬億比特[1]的用戶數(shù)據(jù)即是采用NoSQL數(shù)據(jù)庫存儲(chǔ)的。

 ?。?)云計(jì)算(CloudComputing),把分散在世界各地的高性能計(jì)算機(jī)連接起來構(gòu)成具有強(qiáng)大計(jì)算處理能力的資源池,用戶可按需付費(fèi)、按需使用,是處理大數(shù)據(jù)的未來發(fā)展趨勢。Hadoop作為當(dāng)前常用的基礎(chǔ)云計(jì)算平臺(tái),是一個(gè)開源的分布式系統(tǒng)基礎(chǔ)框架,適合大數(shù)據(jù)集的高速運(yùn)算與存儲(chǔ),目前已廣泛應(yīng)用于包括Facebook、Twitter和Yahoo!等公司。

  △城鄉(xiāng)規(guī)劃中大數(shù)據(jù)來源主要包括互聯(lián)網(wǎng)和智慧設(shè)施數(shù)據(jù)

 ?。?)互聯(lián)網(wǎng)數(shù)據(jù),包括導(dǎo)航地圖類POI(百度地圖、高德地圖等)、大眾點(diǎn)評(píng)類POI、微博數(shù)據(jù)(新浪微博POI、簽到數(shù)據(jù))、游記文本數(shù)據(jù)(攜程網(wǎng)、螞蜂窩、去哪兒網(wǎng)、同程網(wǎng)和藝龍網(wǎng)等旅游網(wǎng)站)、人口熱圖數(shù)據(jù)(百度熱力圖、騰訊熱力圖等)、房價(jià)數(shù)據(jù)(鏈家、搜房網(wǎng)、安居客等)和企業(yè)基礎(chǔ)數(shù)據(jù)(龍信企業(yè)數(shù)據(jù))等。

 ?。?)智慧設(shè)施數(shù)據(jù),包括公交刷卡、出租車GPS、智能水電氣表、手機(jī)數(shù)據(jù)(含手機(jī)信令、手機(jī)話單、手機(jī)上網(wǎng))等。

  △城鄉(xiāng)規(guī)劃中大數(shù)據(jù)常用技術(shù)處理方法主要包括數(shù)據(jù)獲取和數(shù)據(jù)分析兩個(gè)方面

 ?。?)數(shù)據(jù)獲取方法:一是對于大眾點(diǎn)評(píng)類POI數(shù)據(jù)、游記文本數(shù)據(jù)、人口熱圖數(shù)據(jù)和房價(jià)數(shù)據(jù)等,可以通過網(wǎng)絡(luò)爬蟲的方式獲取。網(wǎng)絡(luò)爬蟲,又稱網(wǎng)頁蜘蛛,指的是程序員基于python、Java等計(jì)算機(jī)語言編寫程序或腳本,能夠自動(dòng)地訪問互聯(lián)網(wǎng)并將網(wǎng)站內(nèi)容下載下來。另外,有些網(wǎng)站數(shù)據(jù)由于規(guī)律性較強(qiáng),也可通過成熟的爬取軟件(如火車頭、八爪魚)獲取。二是對于導(dǎo)航類地圖POI數(shù)據(jù)(百度地圖POI、高德地圖POI等)和微博數(shù)據(jù)(新浪微博POI和簽到數(shù)據(jù))等,必須通過編程調(diào)用官方開放的API接口獲取。三是智慧設(shè)施數(shù)據(jù)通過相關(guān)部門或官方開放網(wǎng)站獲取。

 ?。?)數(shù)據(jù)分析方法:一是數(shù)據(jù)預(yù)處理,比如數(shù)據(jù)清洗、數(shù)據(jù)變換等。其中,數(shù)據(jù)清洗是按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”,發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤;數(shù)據(jù)變換即把原始數(shù)據(jù)轉(zhuǎn)換成適合數(shù)據(jù)分析的形式,比如多種坐標(biāo)系的統(tǒng)一,通常獲取的數(shù)據(jù)為火星坐標(biāo)系(GCJ-02)、百度坐標(biāo)系(BD-09)、地球坐標(biāo)系(WGS84)等,在具體的數(shù)據(jù)分析過程中,需要進(jìn)行坐標(biāo)轉(zhuǎn)換統(tǒng)一至相同的空間平臺(tái)。二是數(shù)據(jù)挖掘,將數(shù)據(jù)提煉為信息和價(jià)值的提升過程,主要包括統(tǒng)計(jì)分析、模式識(shí)別、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等處理方法,通過研究算法、確定模型、編寫程序等方式,從大量數(shù)據(jù)中探索隱藏其中的信息、規(guī)律、分布特征等。

編輯:lianqi

凡注明“風(fēng)景園林網(wǎng)”的所有文章、項(xiàng)目案例等內(nèi)容,版權(quán)歸屬本網(wǎng),未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)者,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來源:風(fēng)景園林網(wǎng)”。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。

相關(guān)閱讀

鄉(xiāng)村規(guī)劃師的人才困局:有情懷缺歸屬感

  原本城市才有的規(guī)劃工作,8年前就走進(jìn)了成都的鄉(xiāng)村。今年4月,成都第八批鄉(xiāng)村規(guī)劃師開始招募了。【詳細(xì)】

素描在設(shè)計(jì)表現(xiàn)中的應(yīng)用

  不管是紀(jì)實(shí)性的攝影還是創(chuàng)作性的攝影,攝影師都要學(xué)會(huì)組織畫面。新聞攝影的選材在于角度和距離,而策劃性的攝影在于組織人物和道具。速寫也是這樣的。畫家的眼睛不是照相機(jī)的鏡頭而是像一個(gè)調(diào)度員,選取合適的、對應(yīng)【詳細(xì)】

摩拜大數(shù)據(jù):開啟城市規(guī)劃新想象

  為城市統(tǒng)籌規(guī)劃提供依據(jù)【詳細(xì)】