Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略

01 本書介紹

02 開發環境
2.1 開發環境重要性
2.2 Linux 作業系統
2.3 Windows 作業系統
2.4 Mac 作業系統
2.5 Python 開發工具 VS Code

03 Docker
3.1 為什麼先介紹 Docker ？
3.2 什麼是 Docker ？
3.3 安裝 Docker
3.4 安裝 Docker-Compose

04 雲端
4.1 為什麼要用雲端？

05 資料收集
5.1 Python 環境設置
5.2 爬蟲
5.3 資料庫架設
5.4 上傳資料到資料庫
5.5 分散式爬蟲
5.6 定時爬蟲

06 資料提供—RESTful API 設計
6.1 什麼是 API ？
6.2 輕量 API --- Flask
6.3 高效能 API --- FastAPI

07 容器管理工具 Docker
7.1 為什麼要用 Docker
7.2 建立第一個Docker image--Dockerfile
7.3 發布 Docker image
7.4 雲端部屬
7.5 Docker Swarm
7.6 部屬服務

08 自動化測試
8.1 單元測試 Unit Test

09 CICD 持續性整合、部屬
9.1 什麼是 CICD ？
9.2 CI 持續性整合
9.3 Gitlab-CI、以爬蟲專案為例
9.4 Gitlab-CI，建立 Docker image
9.5 Gitlab-CI，部屬新版本
9.6 Gitlab-CI、以 API 專案為例
9.7 總結

10 API 服務網址
10.1 為什麼需要網址？
10.2 No-IP 免費的網址申請
10.3 Let's Encrypt 免費的 SSL 憑證
10.4 Traefik
10.5 API 結合 Traefik
10.6 總結

11 視覺化工具
11.1 什麼是視覺化？
11.2 Redash
11.3 Redash 帳號設定
11.4 資料庫連接
11.5 匯入資料
11.6 製作第一個圖表
11.7 第一個 Dashboard
11.8 設定下拉式選單
11.9 其他 BI 工具
A 結論

 

作者簡介



林子軒

　　Sam，目前任職 17 Live 資料工程師。擅長資料工程、資料分析，希望對 Python 社群、大數據領域，提供一份心力。

　　經歷
　　●    17 Live 資料工程師。
　　●    曾任職永豐金證券，軟體工程師。
　　●    曾於 Open UP Summit 2019，擔任 Speaker。
　　●    曾任職 tripresso，資料工程師。
　　●    東華研究所，應用數學碩士。

　　FinMind
　　●    github.com/FinMind/FinMind
　　●    finmindtrade.com/

　　個人 Github
　　●    github.com/linsamtw

　　Email
　　●    samlin266118@gmail.com

　　如對本書有疑問，歡迎寄信到以上信箱。

　　筆者除了本書內容外，Github 上也有寫文章介紹，兩篇 kaggle 競賽經驗，分別是生產線分析、庫存需求預設，如對以上有興趣，也可寄信到以上信箱。