謝謝大家上禮拜六的參加,以下是上禮拜 meetup 紀錄。
Modern Techniques in Big Data Science
Chu-Cheng Hsieh 的 talk 是我看過把大資料分析(與工具)講得最淺顯易懂的,不僅輕鬆帶過 map/reduce/flat 等基礎的 map/reduce 概念,從過去的 hadoop,pig,到現在的 Spark,鉅細彌遺地講述了這些工具演化的歷史原因,還透露了他面試的問題以及回答的技巧(疑!?),請想要複習的朋友,服用以下的影片紀錄 + 投影片:
影片
投影片
Note: Yelp 有自己出品的 mrjob (https://github.com/Yelp/mrjob),完全是 python based 的,有興趣可以玩玩看。
Introduction to Apache Mesos
如果你的 data center 的單位還是 VM ,你怎麼處理有些 VM 的 usage 只有 2% (只裝了一個測試用的 MySQL)的浪費?如果你的 data center 每季成長的幅度是 3 萬台,你怎麼設計這個複雜的管理系統,讓所有需要計算資源的工程師,都順利拿到資源?Mesos 就用 linux container 的方式刻出一個完美的 data center OS。
Note: Unplugged 以後,Tim 還分享了她如何從身為 Apache 專案 PMC 中,拿到很多創投贊助意願,以及 entrepreneur in residence 的機會。
影片
投影片
Side Projects
Ming 的三個 Side Project ,歡迎有興趣的人參加: