[聚會 #3 – 記錄] Apache Mesos and Apache Spark – by Tim Chen and Chu-Cheng Hsieh

謝謝大家上禮拜六的參加,以下是上禮拜 meetup 紀錄。

Modern Techniques in Big Data Science

Chu-Cheng Hsieh 的 talk 是我看過把大資料分析(與工具)講得最淺顯易懂的,不僅輕鬆帶過 map/reduce/flat 等基礎的 map/reduce 概念,從過去的 hadoop,pig,到現在的 Spark,鉅細彌遺地講述了這些工具演化的歷史原因,還透露了他面試的問題以及回答的技巧(疑!?),請想要複習的朋友,服用以下的影片紀錄 + 投影片:

影片

投影片

 

Note: Yelp 有自己出品的 mrjob (https://github.com/Yelp/mrjob),完全是 python based 的,有興趣可以玩玩看。

 

Introduction to Apache Mesos

如果你的 data center 的單位還是 VM ,你怎麼處理有些 VM 的 usage 只有 2% (只裝了一個測試用的 MySQL)的浪費?如果你的 data center 每季成長的幅度是 3 萬台,你怎麼設計這個複雜的管理系統,讓所有需要計算資源的工程師,都順利拿到資源?Mesos 就用 linux container 的方式刻出一個完美的 data center OS。

Note: Unplugged 以後,Tim 還分享了她如何從身為 Apache 專案 PMC 中,拿到很多創投贊助意願,以及 entrepreneur in residence 的機會。

影片

投影片

 

Side Projects

Ming 的三個 Side Project ,歡迎有興趣的人參加:

  1. pinemango https://pinemango.com/
  2. 教授百分百 http://bravoprofessor.com
  3. CouchMED https://couchmed.com/

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s