Apache Kafka: A high-throughput distributed messaging system

14:10 - 14:55

popcorny

cacaFly 聖洋科技
Director

從學生時代(十年前)就熱愛 Java 技術,然而為五斗米閃到腰跑去 IC Design House 寫 C。這幾年重新拾起 Java 技術,繼續另外一個閃到腰的旅程。最近因為工作的需求,也開始研究廣告技術,並且接觸到許多Big Data以及雲端技術,並且也接觸了一些Machine Learning的東西。喜歡研究技術,解決問題。空閒時間喜歡打開Coursera看看一些有趣的課程,能夠把理論的東西使用在實際問題是最大的樂趣。

隨著大數據的需求,資料的產生流動儲存處理已經越分越細。早期的 RDBMS 已經無法達到需求,而因此出現了 NoSQL 來解決更大資料量的問題。至於傳統的 Message Queue System 也漸漸無法達到大數據的需求,Apache Kafka 也試著解決 Message 在超大數據的需求。Kafka 可以視為新的 Message Queue Solution,或者更像 Activity Logging System,目標是達到快速、分散式、持續性、延展性等特色。為了這些特性,其中有許多設計上的巧思也值得去關注。所以在這次分享中,除了介紹 Kafka 功能以外,也會針對內部設計做更進一步的介紹。