2023年10月,舊金山舉辦了首屆AI工程師峰會,來自全球的500位AI工程師齊聚,共同探討AI Engineer這一新興領域的未來。他們發現了AI工程師的數量正在快速的成長。
微軟、Google、Meta 和大型基金會模型實驗室已壟斷了稀缺的研究人才。基礎模型(Foundation Models)如大型語言模型(LLM)是稀缺資源,因其能夠進行少數樣本學習、上下文學習,甚至在未經訓練的情境中也能展現能力。由於研發這類模型的專業人才稀缺,目前全球大約只有5000名LLM研究人員,相較之下有約5000萬名軟件工程師。 GPU供應與運算資源短缺。OpenAI/微軟當然是第一個出手囤積GPU的大型公司,但美國已有多家的新創公司,透過他們的優勢,拉開了新一波的 GPU 軍備競賽的序幕。這說明了將造成更多GPU壟斷在少數人手上,運算資源對於整個市場將很長一段時間都是短缺的資源。 API軟體供應鏈的成形。微軟、谷歌和Meta等大型巨頭公司,深知人才和技術的供需壟斷的優勢,通過提供AI研究作為服務的API來滿足市場需求。API 線另一端的人工智慧工程師將有更多能力使用模型,而不是訓練模型。 大語言模型的飛速發展。在新的AI工程範疇中,相比傳統的機器學習工程流程,AI工程師可以利用大型語言模型(LLM)的即問即答功能來快速驗證和發展AI產品。這種方法不需事先進行大規模的數據收集和模型訓練,顯著降低了成本和時間,使產品開發流程更符合敏捷開發的精神。 資料來源:https://www.latent.space/p/ai-engineer