Big Data大數據的獲利模式：圖解．案例．策略．實戰

分析現狀還不夠，預測未來更重要！

　　與其相信一個人的直覺，不如相信數千萬人的資料——
　　從圖解、案例，到策略與實戰，
　　一本書，徹底解讀大數據！

　　Facebook、Google、Amazon，
　　以及GREE、瑞可利（Recruit）等知名企業都在用的資料淘金術！

　　懂得找出資料的價值、萃取可用的資訊，
　　就能將大數據轉化為商業智慧（BI）；
　　嗅出趨勢、解決問題、創造商機，
　　進而創造「偶然的幸運」（serendipity），
　　正是大數據帶領企業持續前進的動力！

　　連上Facebook頁面，出現推薦「你可能認識的朋友……」的建議，妳因此而找到失聯已久國中同學。

　　到amazon.com網站購書，你看到「買這本書的人也買了這些書……」的清單，也正好是自己想讀的書。

　　只要打一個字，Google就出現「您是不是要查……」的資訊，正確預測到你想找的關鍵字。

　　事實上，這些「偶然的幸運」（Serendipity），都和善用大數據（Big Data，亦稱巨量資料、海量資料）有關。

　　上述的企業提供你需要的資料、精準預測到你的下一步，其實並非魔法、也不是憑空而來。這些企業將大數據轉化為商業智慧（BI，Business Intelligence），不僅分析現狀，更懂得預測未來。

　　大數據是「二十一世紀的新石油」，也是繼資料挖掘（data mining）、雲端運算、社群網站之後，最受矚目的趨勢。如何將龐雜的巨量資料理出脈絡、找到關聯、發掘價值，找出商機，成為決勝關鍵。

　　本書作者城田真琴，是野村總合研究所（簡稱野村總研）高級研究員，也是大數據領域的權威專家。在日本，野村總研被稱為最有影響力的民間智庫，作者以野村總研獨家調查的第一手資料為基礎，介紹Zynga、Centrica、Catalina Marketing等歐美企業，以及小松（KOMATSU）、瑞可利（Recruit）、GREE等日本企業如何應用大數據的實際案例。

　　一本書，讓你認清楚資料（data）、資訊（information）與情報（intelligence）的不同，不僅要看得到、看得懂，還要能用得出來，進而找到真正的商機所在！

作者簡介

城田真琴（Makoto SHIROTA）

　　野村總合研究所（NRI，Nomura Research Institute）創新開發部高級研究員、IT分析師，日本政府「智慧雲端運算研究會」智庫成員。負責高端技術趨勢調查研究、供應商戰略分析、國內外企業IT應用調查，專業領域為雲端運算、商務分析、M2M、IoT等。著作包括：《雲端運算的衝擊》、《你不可不知的雲端運算常識與非常識》、《2012年版IT年鑒》等。

譯者簡介

鐘慧真（前言、一至四章）

　　「上輩子」是軟體工程師，國立清華大學電機工程研究所畢業，曾任職於飛利浦半導體與宏達電。目前是從事日翻中筆譯的家庭主婦，定居於日本長野縣。譯作《不執著的生活工作術》（經濟新潮社出版）。

　　部落格：【黛博拉看日本】deborahjong.wordpress.com/。

梁世英（五至八章、謝詞）

　　日本一橋大學商學研究所碩士，專長財務金融，目前為專職日文譯者。譯作包括《這樣圖解就對了！》《鍛鍊你的策略腦》《想像的力量》《Facilitation引導學》（以上均由經濟新潮社出版）等。

【導讀】
　創造「偶然的幸運」（serendipity），正是巨量資料技術不斷前進的動力（台灣野村總研諮詢顧問股份有限公司副總經理　陳志仁）

【推薦序】
　當商業智慧隱藏在雲深不知處（國立交通大學經營管理研究所教授　楊千）
　Big Data, Big Intelligence：從資料、資訊到情報（和沛科技股份有限公司總經理　翟本喬）
　當巨量資料與社會脈絡交集（英國開放知識基金會地區大使　徐子涵 Schee）
　Data、Data、Data：我們活在廣袤的資料流中（資深部落客　鄭緯筌Vista）
　老大哥在看著你：Big Data□ Big Brother□（英商巴克萊銀行台北分行董事總經理　劉奕成）

前言

★第一章　什麼是巨量資料
　資料洪流（The Data deluge）
　巨量資料的3V特性 
　廣義的巨量資料
　為什麼到現在巨量資料才受到眾人的矚目？（1）巨量資料的民主化 
　為什麼到現在巨量資料才受到眾人的矚目？（2）硬體性價比的提升與軟體技術的進化
　為什麼到現在巨量資料才受到眾人的矚目？（3）雲端的普及
　從「分析過去」到「預測未來」　商業智慧與巨量資料的交會 
　從點（交易資料）到線（互動資料）的分析 
　巨量資料分析的起源  
　本章重點整理

★第二章　支撐巨量資料的技術
　人才短缺   
　什麼是Hadoop  
　與日俱增的套件  
　眾多套件版本並存的原因 
　NoSQL資料庫   
　創投也對Hadoop、NoSQL開發企業投以熱切的目光 
　巨量資料時代的資料處理基礎
　備受矚目的分析資料庫  
　串流資料（即時資料）處理    
　自行開發串流資料處理技術的網路公司 
　機器學習、統計分析等    
　自然語言處理、其它     
　本章重點整理

★第三章　以巨量資料為核心競爭力的企業　歐美企業篇
　快速成長之網路公司的巨量資料運用技巧 
　eBay：每天產生50 TB的資料   
　  (1)遠超乎想像的巨量資料產生速度
　　(2)eBay的資料分析基礎
　Zynga：披著遊戲開發商外皮的資料分析公司  
　　(1)社群遊戲經濟的重要指標
(2)提升病毒係數的機制
(3)遊戲其實是資料驅動營運
(4)三次點擊原則
　Centrica：藉由引進智慧電表分析能源消耗模式  
　　(1)英國電費、瓦斯費收費的實際狀況
　　(2)引進智慧電表後的影響
　卡特琳娜行銷集團：以「收銀台優待券」設計顧客的消費行為 
　　(1)儲存了超過一億人份的消費紀錄
　　(2)預測顧客的消費行為，帶動門市買氣
　本章重點整理

★第四章　以巨量資料為核心競爭力的企業　日本企業篇
　日本國內也開始運用巨量資料    
　小松（KOMATSU）：日本運用巨量資料的先驅   
　瑞可利（Recruit）：徹底運用Hadoop資料分析，成功改造企業文化
　　(1)幾乎全公司上下都用Hadoop
　　(2)支撐瑞可利巨量資料分析的Hadoop基礎
　　(3)成功的祕訣在於組織體制
　　(4)對於瑞可利而言，Hadoop的「真正價值」究竟是什麼？
　GREE：資料驅動型營運方式是快速成長的原動力 
　　(1)與其相信一人的判斷，不如相信數千萬人的資料
　　(2)資料驅動型營運方式的根基來自對於日誌資料的執著
　　(3)具備多種技能的專業人士齊聚一堂
　　(4)將溝通不良減至最少的團隊體制
　日本麥當勞：在現實世界實現一對一行銷 （One-To-One Marketing） 
　　(1)劃時代優待券背後的周全準備
　　(2)把焦點集中在做為集點卡的行動電話與智慧型手機
本章重點整理

★第五章　巨量資料的運用模式★
　巨量資料的運用案例
(1)精準推薦商品或服務
(2)行為定位廣告
(3)運用地點資訊的行銷
(4)糾出盜刷
(5)顧客流失分析
(6)預測設備故障
(7)驗出異常
(8)改善服務
(9)預測路況
(10)預測電力需求
(11)預測感冒流行
(12)預測股市行情
(13)油資成本的最佳化
　巨量資料的運用模式分類
(1)個別優化×批次處理型
(2)個別優化×即時資訊型
(3)全體優化×批次處理型
(4)全體優化×即時資訊型
　巨量資料的運用深度
(1)掌握過去與現狀
(2)發現行為模式
(3)預測
(4)優化
【專欄】動態定價
　巨量資料運用的真正價值
　本章重點整理

★第六章　巨量資料時代的隱私權問題★
　隱私權與創新的兩難
　美國國會也表示關注
　製作網路個資檔案的是與非
　請勿追蹤（Do Not Track）
　消費者隱私權保護法案
　採用選擇性參與方式的歐盟
　資料保護綱領也進行修正
(1)引進「抹掉過去」的權利
(2)使用者尚未明確表示同意前，不得使用其個人資料
(3)制定資料可攜（Data Portability）的權利
(4)擴大說明責任
　日本的法令架構是《個人資訊保護法》加上分別針對各領域訂定的指導原則
　部分指導原則在提供資訊予第三人上採用選擇性參與方式
　日本政府的評估狀況
　以「資訊大航海計畫」為契機開始評估的經濟產業省
　由生活紀錄的角度進行議論的總務省
　線索就在與使用者的「對話」
　實體世界裡的行為追蹤
　本章重點整理

★第七章　開放資料時代的到來與資料市場的興盛★
　「活用外部公開資料」的選項
　風起雲湧的連結開放資料（LOD，Link Open Data）運動
　影響擴及開放式政府
　如雨後春筍般不斷出現的新創企業
　透過比賽促進資料運用
　落後一步的日本
　日本國內因三一一大地震而略有進展的開放資料使用
　資料市場的興盛
(1)Factual
(2)Windows Azure Marketplace
(3)Infochimps
(4)Public Data Sets on AWS
　商業模式各有不同
　熱絡的資料市場存在著不容忽視的課題
　本章重點整理

★第八章　面對巨量資料時代該有的準備★
　巨量資料時代的企業IT策略
　開始邁向資料分享的日本企業
(1)LAWSON×Yahoo
( 2)KDDI×樂天
(3)COOKPAD×ID’s
　擁有原創資料的好處
　供應商的新商機在提供「資料整合服務」
　誰能成為資料整合公司
　美國的支付服務業者明顯朝「資料整合公司」發展
(1)VISA
(2)PayPal
(3)美國運通
　讓原創資料搖身一變成為「貴重資料」的絕妙資料組合
　全世界對資料科學家的需求愈來愈高
　資料科學家需具備的技能
　資料科學家需具備的資質
(1)溝通能力
(2)創業家精神
(3)好奇心
　相關人才嚴重不足
　相關研究所開始設立
　鉅額資金流向巨量資料分析企業
　日本也開始對資料科學家展開搶人大戰
　最後的一道關卡－－組織體制與企業文化
　朝向資料驅動型企業邁進
　本章重點整理

謝詞
參考文獻
圖表索引