TwelveLabs在AWS re:Invent上宣布，其迄今為止最復(fù)雜的視頻基礎(chǔ)模型Marengo 3.0正式上市。它不僅僅是看視頻，還會(huì)閱讀和聆聽，并捕捉場景節(jié)奏。該模型通過時(shí)間線跟蹤視頻內(nèi)的物體、運(yùn)動(dòng)、情感和事件?？蛻衄F(xiàn)在可以通過Amazon Bedrock和TwelveLabs使用它。

Marengo 3.0在企業(yè)級(jí)規(guī)模上提供類似人類的視頻理解

Marengo 3.0基于TwelveLabs多模態(tài)架構(gòu)，將視頻視為一個(gè)活生生的動(dòng)態(tài)系統(tǒng)，將音頻、文本、運(yùn)動(dòng)、視覺和上下文壓縮成可以大規(guī)模搜索、導(dǎo)航和理解的內(nèi)容。Marengo 3.0已準(zhǔn)備好投入生產(chǎn)，并可立即實(shí)現(xiàn)投資回報(bào)率。基于廣泛的測試，該模型將存儲(chǔ)成本降低了50%，索引性能提高了兩倍，并帶來了一系列其他好處，因此任何擁有視頻內(nèi)容存儲(chǔ)的人都可以充分利用他們的所有資產(chǎn)。

TwelveLabs首席執(zhí)行官兼聯(lián)合創(chuàng)始人Jae Lee表示：“視頻占數(shù)字化數(shù)據(jù)的90%，但這些數(shù)據(jù)在很大程度上是不可用的，因?yàn)槿祟愋枰L時(shí)間才能分解，機(jī)器也無法掌握和解釋視頻中發(fā)生的一切?！薄敖鉀Q這個(gè)問題一直是我們唯一的癡迷?，F(xiàn)在，Marengo 3.0打破了可能的極限。對(duì)于企業(yè)和開發(fā)人員來說，這是一個(gè)無與倫比的解決方案?！?/p>

更智能、更快、更精簡，實(shí)現(xiàn)真正的視頻理解

Marengo 3.0的發(fā)布使TwelveLabs成為視頻智能基礎(chǔ)設(shè)施領(lǐng)域的突破性領(lǐng)導(dǎo)者，其能力無人能及。與依賴逐幀分析或?qū)为?dú)的圖像和音頻模型拼接在一起的競爭對(duì)手不同，Marengo 3.0允許用戶以不同的方式觀看并理解視頻中的所有內(nèi)容。這甚至包括最復(fù)雜、移動(dòng)最快的片段。

現(xiàn)在，Marengo更擅長理解體育、媒體和娛樂、廣告視頻，以及政府和公共安全用例中發(fā)現(xiàn)的敏感視頻類型。Marengo 3.0提供：

原生視頻理解：Marengo 3.0不是根據(jù)圖像模型改編的。它提供了基礎(chǔ)模型級(jí)別的理解。

時(shí)空推理：新模型獨(dú)特地理解跨時(shí)間和空間的上下文。

體育情報(bào)：Marengo 3.0提供球隊(duì)、球員、球衣號(hào)碼和動(dòng)作跟蹤，使識(shí)別亮點(diǎn)比以往任何時(shí)候都更快、更容易。

組合多模式查詢：為了確保用戶始終找到他們需要的東西，Marengo 3.0使他們能夠在單個(gè)查詢中組合圖像和文本，以獲得更精細(xì)的結(jié)果。

生產(chǎn)經(jīng)濟(jì)：Marengo 3.0降低了50%的存儲(chǔ)成本，索引速度提高了2倍，同時(shí)創(chuàng)造了新的收入來源的潛力，幫助企業(yè)節(jié)省成本，同時(shí)提供了更多的增長機(jī)會(huì)。

企業(yè)應(yīng)用就緒：即使是最大的組織也很容易開始。Marengo 3.0已在Amazon Bedrock上發(fā)布，可在其當(dāng)前的AWS環(huán)境中快速安全地部署，也可直接通過TwelveLabs作為月度服務(wù)進(jìn)行部署。

憑借其API-first設(shè)計(jì)，Marengo 3.0提供了緊湊的嵌入和四小時(shí)視頻支持，比Marengo 2.7增加了兩倍。此外，它還支持36種語言的多語言。

AWS人工智能基礎(chǔ)設(shè)施副總裁Nishant Mehta表示：“TwelveLabs在視頻理解方面的工作正在改變整個(gè)行業(yè)管理其視頻功能的方式，為主要是手動(dòng)過程帶來前所未有的速度和效率?！薄袄^TwelveLabs之前的Marengo和Pegasus型號(hào)被廣泛采用后，我們很高興成為第一家通過亞馬遜Bedrock向客戶提供Marengo 3.0的云提供商?！?/p>

Marengo 3.0目前可通過TwelveLabs或Amazon Bedrock獲得，這是一種完全托管的服務(wù)，用于構(gòu)建和擴(kuò)展生成式AI應(yīng)用程序和代理。AWS是第一家提供Marengo 3.0訪問權(quán)限的云服務(wù)提供商。