The bitter lesson

來源

OpenAI員工Jason Wei^[1]分享了他一天的行程，其中提到了早上必讀的經典”The bitter lesson“^[2]。這時我好奇了，什麼神奇的文章會讓一位天才科學家每天都拜讀一遍呢？

介紹

The bitter lesson介紹了兩個重要的論點

1. 通用演算法（DL & RL）相當強大，尤其是搜索與學習
   （根據摩爾定律以及Nvidia的平行運算，算力會持續增長）
2. 應提供一個讓AI探索的元方法，而不是使用人們的猜想解決任務

比如在電腦視覺中，早期方法包含了人類的認知，認為視覺是為了搜索邊緣、廣義圓柱體或SIFT特徵。但是現在這些都被深度學習取代了，使用卷積以及不變性的概念就可以得到更好的結果。

想法

在我們專題使用的Depth-Anything^[3]模型中，有著相似的概念。Depth-Anything模型絕佳的結果來源於非常大量的資料集（六千兩百萬張未標記的照片）訓練，而不是新穎的模型架構。

或許人們總有一天要意識到，人的大腦不是萬能的，還有很多事情我們想不到，也無法想像。雖然承認自己的不足是一件痛苦的事，但這時交給機器才是更好的選擇。