follow us

AING硬跡

6月30日，百度正式開源文心大模型4.5系列模型，這一系列模型涵蓋了多種參數(shù)配置，包括激活參數(shù)為47B和3B的混合專家（MoE）模型，以及稠密型模型0.3B 參數(shù)的設(shè)計(jì)，合計(jì)達(dá)到了十款不同的模型。用戶可以通過文心一言立即體驗(yàn)這一最新的開源技術(shù)。

文心 4.5 系列模型開源說明

文心4.5系列模型均使用飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署。在大語(yǔ)言模型的預(yù)訓(xùn)練中，模型FLOPs利用率（MFU）達(dá)到47%。實(shí)驗(yàn)結(jié)果顯示，該系列模型在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中達(dá)到SOTA水平，在指令遵循、世界知識(shí)記憶、視覺理解和多模態(tài)推理任務(wù)上效果尤為突出。

基于飛槳的文心大模型開發(fā)套件ERNIEKit為用戶提供預(yù)訓(xùn)練、全參精調(diào)（SFT）、直接偏好優(yōu)化（DPO）、參數(shù)高效精調(diào)與對(duì)齊（SFT-LoRA/DPO-LoRA）、訓(xùn)練感知量化（QAT）和訓(xùn)練后量化（PTQ）等大模型全流程開發(fā)支持。用戶能快速掌握精調(diào)、對(duì)齊等大模型全流程開發(fā)。

而基于飛槳的大模型高效部署套件FastDeploy，提供了一行代碼開箱即用的多硬件部署體驗(yàn)，使用接口兼容vLLM和OpenAI協(xié)議。針對(duì)旗艦?zāi)Ｐ吞峁┝水a(chǎn)業(yè)級(jí)多級(jí)負(fù)載均衡的PD分離部署方案，支持豐富的低比特量化推理、上下文緩存、投機(jī)解碼等加速技術(shù)，實(shí)現(xiàn)高性能、低門檻的多硬件推理部署。

此外，為方便社區(qū)開發(fā)者適配和拓展應(yīng)用場(chǎng)景，我們提供了文心大模型多種能力的技術(shù)實(shí)踐手冊(cè)，涵蓋對(duì)話、檢索增強(qiáng)、知識(shí)庫(kù)問答以及 SFT/DPO 模型微調(diào)示例，歡迎大家在星河社區(qū)應(yīng)用中心與精品項(xiàng)目中使用與探索！

星河社區(qū)項(xiàng)目大廳網(wǎng)址：https://aistudio.baidu.com/projectoverview

AING硬跡已全面接入文心大模型開源生態(tài)服務(wù)

AING硬跡作為AI硬件綜合服務(wù)平 臺(tái)，也已全面接入文心大模型開源生態(tài)服務(wù)，如果行業(yè)朋友有百度大模型需求，AING硬跡將攜手百度配合您的需求提供更多技術(shù)支持。

AING硬跡正在打造AI硬件社區(qū)，對(duì)加入社群感興趣的讀者，歡迎掃碼下方二維碼加入【AING硬跡產(chǎn)業(yè)交流群】。

AING硬跡

AING，取自“AI+ING”的縮寫，中文諧音“硬跡”，寓意著“人工智能正當(dāng)其時(shí)”，致力于追尋硬科技發(fā)展的足跡，不斷探索人工智能與智能硬件的深度融合。

未來，AING硬跡將不斷發(fā)布AI大模型技術(shù)、AI產(chǎn)業(yè)生態(tài)、AI硬件產(chǎn)品等行業(yè)資訊、發(fā)展趨勢(shì)與市場(chǎng)動(dòng)態(tài)，我們相信大多數(shù)硬件都值得用AI重做一遍，AING硬跡期望與AI大模型廠商、與AI硬件廠商共同成長(zhǎng)，迎接AI時(shí)代的來臨。

人工智能正當(dāng)時(shí)

一起追尋AI+硬件的足跡