為理解機器學習的高級話題，需要瞭解一些線性代數的知識。如果想把算法從學術論文上搬下來用代碼實現，或者研究本書之外的算法，很可能需要對線性代數有基本的理解。假設讀者有過這方面的知識，但是由於過去一段時間需要回顧這方面的知識，那麼本附錄可以提供線性代數的簡單入門或者補習。如果讀者沒有學過線性代數，那麼我建議在大學選修這門課，或者讀完一本自學教材，或者通過視頻來學習。互聯網上有很多免費輔導視頻1，還有很多一學期課程的免費錄像可供學習2。讀者可能聽說過「數學不是一種僅供觀賞的學科」這一說法，事實確實如此。只有自己親身通過例子求解才能強化基於書本或視頻的學習效果。
1. Gilbert Strang有些報告可以免費觀看，地址為http://www.youtube.com/watch?v=ZK3O402wf1c。也可以通過地址http://ocw.mit.edu/courses/mathematics/18-06-linear-algebraspring-2010/獲得相關課程材料。他的報告給出了線性代數的重點內容，理解起來也不難。另外，他的計算科學的研究生課程也非常不錯，地址為http://www.youtube.com/watch?v=CgfkEUOFAj0。
2. 據說Kahn Academy的網站上給出了很多線性代數的學習視頻，地址為http://www.khanacademy.org/#linear-algebra。
接下來首先討論線性代數中矩陣這一基本構件。然後介紹矩陣上的一些基本運算，包括矩陣求逆。再接著介紹機器學習中常用的向量范數概念。最後介紹矩陣求導運算。