高效率資料爬蟲組合包

Abola Lee

比全端工程師還屌的全能工程師

喜歡資料,喜歡工作
喜歡參與,喜歡分享
喜歡演算法,喜歡統計學
喜歡開放的服務,喜歡開源的軟體

開發,就是要充滿熱情阿,不然要幹嘛

資料蒐集不是什麼高深技術,但占據資料科學家70%以上的時間,減少蒐集開發時間,是很好的投資。開發一支爬蟲大至涵蓋,資料源、傳輸、前置處理、儲存;當然最重要的,還有負責養蟲的自動化排程。

主要與您分享相關的JAVA套件,在爬蟲程式中如何應用;以及養蟲心得,特別是與政府開放資料的苦戰。

1. 本場次為中文