本期為TechBeat人工智能社區(qū)第729期線上Talk。

北京時(shí)間11月27日(周三) 20:00，香港大學(xué)博士生吳太強(qiáng)的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是：權(quán)重視角下的大語言模型后訓(xùn)練過程，屆時(shí)將從權(quán)重的角度出發(fā)，探討后訓(xùn)練前后大語言模型權(quán)重的變化，并會(huì)進(jìn)一步介紹這種權(quán)重特性派生出的一系列的方法設(shè)計(jì)與重新思考。

Talk·信息

主題：權(quán)重視角下的大語言模型后訓(xùn)練過程

嘉賓：香港大學(xué) · 博士生 - 吳太強(qiáng)

時(shí)間：北京時(shí)間11月27日(周四) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

Talk·介紹

后訓(xùn)練作為激發(fā)大語言模型推理潛力的必要步驟，受到社區(qū)的廣泛關(guān)注。本次分享將從權(quán)重的角度出發(fā)，探討后訓(xùn)練前后大語言模型權(quán)重的變化。分析表明，權(quán)重視角下，后訓(xùn)練的更新量很小，且對(duì)幾乎不改變權(quán)重的有效秩，這些觀察與社區(qū)里后訓(xùn)練是一個(gè)很淺的過程這一結(jié)論相互印證。此外，本次講座也會(huì)介紹這種權(quán)重特性派生出的一系列的方法設(shè)計(jì)與重新思考。

Talk大綱

1. 背景：介紹模型的后訓(xùn)練主流做法，介紹權(quán)重視角分析的必要性

2. 動(dòng)機(jī)：從權(quán)重角度切入，加深對(duì)后訓(xùn)練的理解，啟發(fā)新的方法設(shè)計(jì)

3. 貢獻(xiàn)：本 talk 將分享權(quán)重視角下的諸多分析，介紹有關(guān)的應(yīng)用以及一些未來可能的改進(jìn)方向

4. 總結(jié)：希望大家更能多關(guān)注權(quán)重，權(quán)重是梯度的累積，也是特征的映射變換

Talk·預(yù)習(xí)資料

論文鏈接： https://arxiv.org/abs/2505.12716

論文鏈接： https://arxiv.org/abs/2509.23595

論文鏈接： https://arxiv.org/abs/2510.10977

Talk·提問交流

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call和問題，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

Talk·嘉賓介紹

吳太強(qiáng)???????????

香港大學(xué) · 博士生
???

吳太強(qiáng)，本科畢業(yè)于清華自動(dòng)化系，碩士畢業(yè)于清華深圳國(guó)際研究生院，師從楊余久教授。目前在香港大學(xué)電機(jī)電子工程系攻讀博士學(xué)位，主要研究方向是高效大語言模型，包括模型壓縮與參數(shù)高效微調(diào)。

曾在NAACL, EMNLP, WSDM, COLING 等頂會(huì)發(fā)表多篇一作論文，代表作有 MoSLoRA (Mixture-of-Subspaces in Low-Rank Adaptation) 和 Rethinking KL (Rethinking kullback-leibler divergence in knowledge distillation for large language models) 等。

個(gè)人主頁: https://www.techbeat.net/grzytrkj?id=9169 ????

-The End-

如果你也想成為講者

自薦 / 推薦

單人Talk | 團(tuán)隊(duì)專場(chǎng) | 錄播or直播 | 閉門交流

多種方式任你選擇！

推薦講者成功也有獎(jiǎng)勵(lì)哦~

關(guān)于TechBeat人工智能社區(qū)

TechBeat(www.techbeat.net)隸屬于將門創(chuàng)投，是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。

我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。

期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>

預(yù)約本期Talk