第二天早上起床,周昀感覺自己腰上有些酸痛。
“早知道昨天晚上不應該勉強的。”
為了保持一個健康的身體,周昀昨天晚上飯后休息了一會兒跑步去了。
一下跑了五公里,也許是太久沒跑了,昨天還沒什么感覺,現在起床,那叫一個酸爽。
昨天買的顯示器已經到了,吃了個早飯,就把顯示器取了回來。
看著27寸的大屏幕,周昀滿意地點點頭。
“這才對嘛。”
昨天鄧永華已經把服務器的賬號密碼發給自己了。
先是下了個Termius,雖然Windows有自帶的SSH連接工具,不過他更習慣Termius,主要是界面看上去比較舒服,年輕人嘛,總是喜歡炫酷一點的界面。
一頓操作之后,成功連接上了服務器。
服務器用的Linux系統,一般都是沒有GUI也就是圖形界面的,主要目的是為了減少資源的消耗,而且安全性也更高。
一開始用肯定會覺得有些別扭,但是用習慣了之后就會發現。
在科研領域,Linux比Windows方便太多了。
在自己電腦上搜索了一下Anaconda官網,找到最新版本的下載鏈接,然后直接用wget在服務器上開始下載。
Anaconda是AI領域最常用也可以說是必備的工具。
這服務器的網速還挺快,沒一會兒就下好了。
接下來的流程就很固定了。
創建虛擬環境,安裝pytorch,安裝各種需要用到的包。
光是裝環境,他就弄了一個上午。
順便抽空看了一下服務器狀態,果然,八張80G的H100,一共640G顯存,雖然不止他一個人用,但是也剩下一半多,肯定是夠用了。
AgileEdge的流程他心里早就想清楚了,寫代碼那就是水到渠成的事情。
而且現在都有AI輔助,核心框架一共幾千行代碼寫起來都不需要一個小時。
再加上自己檢查,調試。
下午五點鐘就搞完了核心框架的所有代碼,這種速度放在幾年前,那是根本不敢想的。
而寫代碼只能說是整個科研過程中最為簡單的一個步驟了。
接下來才是折磨的開始。
跑實驗——>調BUG,這種枯燥的循環過程才是真正讓人感覺心累的環節。
周昀在網上找了一個參數量在100B左右的大模型,本來他是打算找個幾十B的就差不多了。
誰知道導師這么給力,資源多了,他也不那么扣扣嗖嗖了。
AgileEdge的主要作用就是將大模型壓縮成小模型然后放到邊緣設備里。
因為是全自動的AI框架,所以其操作流程非常的傻瓜。
只要將邊緣設備連接到電腦,程序就會自動檢測其硬件的具體參數,然后經過AgileEdge的壓縮,不斷地優化模型,最終形成一個能運行的模型文件。
邊緣設備周昀暫時就找了一臺老的智能機,內存只有32G,將手機插上數據線。
運行程序。
一個進度條出現在屏幕下方。
【預計時間:17h】
“就知道?!?/p>
只要涉及到大模型,實驗的時間就不會短,不過十幾個小時也算快了,前世周昀曾經一個實驗跑了兩周,主要就是當時的服務器實在太垃圾了。
三天后,周五。
經過幾天的實驗,周昀的AgileEdge算是初步能用,但是距離他預想的性能,還有一些差距。
而且不同的大模型之間,壓縮后的性能也存在較大的差距。
他的想法是在模型壓縮的同時,性能不變,但是現在看來,模型壓縮,性能就一定會變差,這看上去似乎是一個無解的問題。
周昀能保證,自己的AgileEdge框架是沒有問題的,不然也不可能實現模型壓縮,那么有問題只可能是模型本身。
大模型本身特殊的架構,限制了其參數的數量。
簡單來說就是,無論如何壓縮,其總是會存在一個下限,而周昀要做的就是突破這個下限。
這就不得不對模型本身進行修改。
“看來之前還是想簡單了。”
智能化修改大模型架構,又是一個不小的工程,就這個研究,都夠發一篇A會了。
就在周昀思考的時候,群里彈出一條消息。
【點擊入會】
要開組會了。
入會后,周昀第一時間就是先把自己閉麥。
等人到齊之后,組會開始。
其實線上的總共就三個人,其他人都是線下會議室的,也就是還沒入學的新生才有線上組會這個待遇了。
“聽得到嗎?”鄧永華的聲音響起。
“可以。”×3
“先給大家介紹一下,這三位是咱們組新加入的同學,分別是周昀、邵詩、常承軒,大家平時有空可以多多交流。
閑話不多說,咱們開始吧,邱彥,你先來?”
接下來就是漫長的三個鐘頭。
在一個組里,大家的研究方向其實都不一定一樣,這也就導致了,其實很多人匯報,其他人都是聽不懂的,甚至老師也不一定了解你的研究方向。
這也是為什么周昀非常討厭組會的原因。
不想聽加上聽不懂,還要硬控他三個小時,能喜歡的起來嗎?
而且還是忍受老師時不時的“奇葩提問”。
比如:你的研究方向我不懂,但是我想問一下你的創新點是什么。
這種問題就很容易讓人紅溫,但誰讓對方是你導師呢。
你就必須得和顏悅色的給他解釋。
不過鄧永華倒是還好,以周昀三個鐘頭的觀察下來。
對于不懂的研究方向,他一般不輕易提問,而且他主要關心的是學生的科研進度,如果有進度而且研究方向他不熟悉,其實還是蠻輕松的。
但要是沒進度,再加上他又恰好懂你的研究方向。
那不好意思,一首涼涼送給你。
等到所有學姐學長都匯報完了之后,終于輪到周昀三人了。
“三位新同學,都有準備吧?要不周昀你先來?你上次的那個研究搞得怎么樣了?還是說你要匯報論文?”
鄧永華對周昀還是有些期待的,但是這么短的時間,想要有什么實質性的進度估計很難了。
“好的老師,那我就匯報一下我的科研進度?”
錢塘大學,會議室里。
坐在后排的幾個師兄相互看了看,最終看向邱彥。
“這師弟什么情況?”