讀古今文學網 > 機器學習實戰 > 15.7 你真的需要MapReduce嗎? >

15.7 你真的需要MapReduce嗎?

不需要知道你是誰,我可以說,你很可能並不需要使用MapReduce和Hadoop,因為單機的處理能力已經足夠強大。這些大數據的工具是Google、Yelp和Facebook等公司開發的,世界上能有多少這樣的公司?

充分利用已有資源可以節省時間和精力。如果你的作業花費了太多的時間,先問問自己:代碼是否能用更有效率的語言編寫(如C或者Java)?如果語言已經足夠有效率,那麼代碼是否經過了充分的優化?影響處理速度的系統瓶頸在哪裡,是內存還是處理器?或許你不知道這些問題的答案,找一些人做些咨詢或討論將非常有益。

大多數人意識不到單台機器上可以做多少數字運算。如果沒有大數據的問題,一般不需要用到MapReduce和Hadoop。但對MapReduce和Hadoop稍作瞭解,在面臨大數據的問題時知道它們能做些什麼,還是很棒的一件事情。