上周在波士頓召開的Splunk Conf25大會(huì)上，Splunk及其母公司思科（Cisco）推出了思科數(shù)據(jù)經(jīng)緯（Data Fabric），這是一種新的架構(gòu)，旨在將機(jī)器數(shù)據(jù)轉(zhuǎn)化為人工智能的“可用燃料”。

該系統(tǒng)基于Splunk平臺(tái)，旨在使企業(yè)更容易、更低成本地收集、管理和分析來自服務(wù)器、網(wǎng)絡(luò)、應(yīng)用程序和邊緣設(shè)備的巨大機(jī)器數(shù)據(jù)流。如果得到有效利用，這些數(shù)據(jù)流可以成為從訓(xùn)練自定義AI模型到編排代理工作流程的所有內(nèi)容的原料。

公司高管將這一發(fā)布視為Splunk發(fā)展的下一步。思科總裁兼首席產(chǎn)品官Jeetu Patel稱機(jī)器數(shù)據(jù)是一座“金礦”，傳統(tǒng)上對(duì)于人工智能來說，激活機(jī)器數(shù)據(jù)過于繁瑣和昂貴。Patel表示，新結(jié)構(gòu)將Splunk在云數(shù)據(jù)分析中的原始角色擴(kuò)展到了人工智能時(shí)代，為企業(yè)提供了一種使用自己的專有機(jī)器數(shù)據(jù)構(gòu)建模型的方法。

分解功能

在發(fā)布時(shí)，思科和Splunk概述了數(shù)據(jù)結(jié)構(gòu)的幾個(gè)新組件，展示了該架構(gòu)在實(shí)踐中的工作方式。發(fā)布會(huì)上強(qiáng)調(diào)的功能包括：

時(shí)間序列基礎(chǔ)模型（TSFM）：支持高級(jí)模式分析和時(shí)態(tài)分析。對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行推理，實(shí)現(xiàn)高級(jí)異常檢測、預(yù)測和思科數(shù)據(jù)結(jié)構(gòu)中的自動(dòng)根本原因分析。它推動(dòng)主動(dòng)運(yùn)營，加速事件響應(yīng)，并將機(jī)器數(shù)據(jù)轉(zhuǎn)化為可操作的情報(bào)信息。

統(tǒng)一、智能的數(shù)據(jù)基礎(chǔ)：無縫地跨邊緣、云和內(nèi)部部署，包括SecOps、ITOps、DevOps和NetOps，轉(zhuǎn)化為實(shí)時(shí)、可操作的見解同時(shí)優(yōu)化成本和效率。

無邊界實(shí)時(shí)搜索和分析：無論數(shù)據(jù)位于何處，都可以立即搜索和分析數(shù)據(jù)，跨Amazon S3、Apache Iceberg、Delta Lake（帶Spark）、Snowflake以及Microsoft Azure，同時(shí)智能地將數(shù)據(jù)路由到最合適的存儲(chǔ)或分析引擎用于工作負(fù)載。

推動(dòng)人工智能創(chuàng)新：Splunk Machine Data Lake等獨(dú)特功能將提供為模型訓(xùn)練和企業(yè)分析提供持久的、人工智能就緒的基礎(chǔ)。連同Splunk AI Toolkit和MCP服務(wù)器，這些創(chuàng)新有助于將機(jī)器數(shù)據(jù)轉(zhuǎn)化為先進(jìn)人工智能能力的燃料來源。

全周期AI原生：在數(shù)據(jù)生命周期的每個(gè)階段（從輸入到輸出）提供內(nèi)置AI以及對(duì)自我修復(fù)操作的持續(xù)監(jiān)控——推動(dòng)前所未有的生產(chǎn)力，敏捷性和創(chuàng)新性。

靈活、開放的架構(gòu)：適應(yīng)任何具有開放標(biāo)準(zhǔn)、即插即用的環(huán)境。

集成和自助服務(wù)工具：廣泛推動(dòng)創(chuàng)新。

Splunk高級(jí)副總裁兼平臺(tái)總經(jīng)理Mangesh Pimpalkare稱：“思科Data Fabric的戰(zhàn)略愿景最終是幫助企業(yè)為人工智能時(shí)代提供統(tǒng)一的運(yùn)營解決方案?！边@意味著統(tǒng)一企業(yè)如何應(yīng)對(duì)跨安全、IT、DevOps和網(wǎng)絡(luò)團(tuán)隊(duì)的運(yùn)營挑戰(zhàn)。Pimpalkhare說，這些工作幾乎不可能用傳統(tǒng)的儀表板和查詢來管理。企業(yè)的復(fù)雜性，以及人工智能工具和機(jī)器數(shù)據(jù)的激增，使得解決問題變得被動(dòng)和緩慢。Data Fabric背后的愿景是翻轉(zhuǎn)該模型，使用在機(jī)器數(shù)據(jù)上訓(xùn)練的人工智能及早發(fā)現(xiàn)問題，并協(xié)助人類操作員更快地解決問題。

他解釋說，這與早期Splunk架構(gòu)的不同之處在于，它是人工智能優(yōu)先，而不是人類優(yōu)先。之前的迭代側(cè)重于通過減少查詢數(shù)量或?qū)⑵浞g成自然語言來提高人類工作流程的效率。相比之下，Data Fabric設(shè)想的人工智能代理可以主動(dòng)監(jiān)控企業(yè)系統(tǒng)，根據(jù)每個(gè)行業(yè)或組織的獨(dú)特模式進(jìn)行微調(diào)，并能夠在異常成為問題之前檢測到異常。這就是思科在談?wù)摗凹せ睢睓C(jī)器數(shù)據(jù)時(shí)的意思：從被動(dòng)的信息存儲(chǔ)轉(zhuǎn)向數(shù)據(jù)持續(xù)訓(xùn)練實(shí)時(shí)監(jiān)控和響應(yīng)模型的系統(tǒng)。

這種方法的核心是Splunk機(jī)器數(shù)據(jù)湖。與將所有內(nèi)容整合到一個(gè)物理存儲(chǔ)庫中的傳統(tǒng)數(shù)據(jù)湖不同，這是一個(gè)分布式數(shù)據(jù)湖，對(duì)機(jī)器數(shù)據(jù)進(jìn)行編目和連接。其中一些數(shù)據(jù)可能存儲(chǔ)在Splunk或Cisco中，但其中大部分存儲(chǔ)在客戶存儲(chǔ)庫或Snowflake和ServiceNow等系統(tǒng)中。通過聯(lián)合查詢并跨這些來源構(gòu)建知識(shí)圖譜，Splunk旨在讓人類操作員和人工智能代理能夠按需匯集所需的數(shù)據(jù)。

啟用此功能的是Splunk模型上下文協(xié)議（MCP）服務(wù)器，Pimpalkare將其描述為Splunk功能的自然語言接口。與過去的API非常相似，MCP為外部代理和應(yīng)用程序調(diào)用Splunk函數(shù)提供了一種標(biāo)準(zhǔn)化的方法。這不僅為Splunk自己的代理AI產(chǎn)品提供了動(dòng)力，還允許外部AI系統(tǒng)使用自然語言提示訪問Splunk平臺(tái)。

展望未來，Pimpalkhare認(rèn)為Data Fabric將朝著三個(gè)重要方向發(fā)展。首先，采用Apache Iceberg等開放標(biāo)準(zhǔn)和接口對(duì)于整個(gè)行業(yè)的互操作性至關(guān)重要。其次，他預(yù)計(jì)特定領(lǐng)域模型將興起，而不是巨大的通用基礎(chǔ)模型。最后，他強(qiáng)調(diào)了客戶微調(diào)的必要性：雖然Data Fabric提供了工具包，但企業(yè)需要根據(jù)其在金融、零售和媒體等領(lǐng)域的獨(dú)特需求進(jìn)行調(diào)整。

對(duì)于Pimpalkare來說，Data Fabric本身是思科和Splunk本周發(fā)布的最令人興奮的產(chǎn)品。他說：“如果我們把所有的精力都集中在一件事上，那就是Data Fabric，因?yàn)樗鼮樗锌捎^察性用例、所有安全用例驅(qū)動(dòng)了平臺(tái)效應(yīng)，并創(chuàng)造了一個(gè)自然的飛輪?！?/p>

時(shí)間序列數(shù)據(jù)的基礎(chǔ)模型

思科數(shù)據(jù)結(jié)構(gòu)最有趣的功能之一是它的時(shí)間序列基礎(chǔ)模型。機(jī)器數(shù)據(jù)通常以時(shí)間序列的形式出現(xiàn)，每分鐘或每秒收集一次指標(biāo)，有時(shí)跨越數(shù)月或數(shù)年。構(gòu)建一個(gè)基礎(chǔ)模型來解釋這些序列具有重要意義，因?yàn)樗试S人工智能捕捉復(fù)雜系統(tǒng)的節(jié)奏和相關(guān)性，就像大型語言模型捕捉人類文本的結(jié)構(gòu)一樣。

盡管LLM已經(jīng)席卷了世界，但它們并不總是每個(gè)用例的答案。機(jī)器數(shù)據(jù)需要一種不同的方法。LLM可以回答與IT相關(guān)的問題，因?yàn)樗麄円呀?jīng)接受了來自互聯(lián)網(wǎng)的日志式數(shù)據(jù)的訓(xùn)練，但他們?nèi)狈T和安全基礎(chǔ)設(shè)施系統(tǒng)隨時(shí)間推移的內(nèi)在模式或真實(shí)行為。 “這就是為什么我們認(rèn)為，對(duì)我們來說，有一個(gè)真正的領(lǐng)域特定模型來理解這些不同系統(tǒng)是如何工作的，尤其是這些系統(tǒng)是如何協(xié)同工作的，這一點(diǎn)很重要?！?/p>

將于今年晚些時(shí)候發(fā)布的時(shí)間序列基礎(chǔ)模型旨在捕捉這些內(nèi)在模式，重點(diǎn)關(guān)注系統(tǒng)和時(shí)間之間的相關(guān)性。該模型不是預(yù)測句子中的下一個(gè)單詞，而是學(xué)習(xí)預(yù)測一系列系統(tǒng)讀數(shù)中的下個(gè)點(diǎn)。通過將大量時(shí)間序列數(shù)據(jù)分解為可管理的片段，該模型生成了捕獲底層模式的嵌入。正如GPT預(yù)測最有可能的下一個(gè)令牌一樣，Splunk的模型學(xué)習(xí)預(yù)測下一段運(yùn)營數(shù)據(jù)。

但處理時(shí)間序列會(huì)帶來獨(dú)特的問題。在人類語言中，相同的單詞和規(guī)則不斷重復(fù)出現(xiàn)。與人類語言不同，機(jī)器數(shù)據(jù)既具有高度的重復(fù)性，又具有高度的不穩(wěn)定性。在模型正式發(fā)布之前很謹(jǐn)慎，沒有透露太多關(guān)于模型架構(gòu)的細(xì)節(jié)，但概述了團(tuán)隊(duì)在構(gòu)建模型時(shí)面臨的挑戰(zhàn)范圍。LLM通常在維基百科和書籍等相對(duì)穩(wěn)定和定義明確的數(shù)據(jù)上進(jìn)行訓(xùn)練，但機(jī)器數(shù)據(jù)沒有規(guī)范的參考集。系統(tǒng)指標(biāo)因工作負(fù)載而異，模式也在不斷變化?！皺C(jī)器一直在發(fā)明新的模式”，這使得確定時(shí)間序列數(shù)據(jù)的“語言”變得更加困難。例如，在溫度傳感器上訓(xùn)練的模型將看到一組與在網(wǎng)絡(luò)流量上訓(xùn)練的模式截然不同的模式，在不產(chǎn)生不穩(wěn)定預(yù)測的情況下調(diào)和這種多樣性可能很困難。

另一個(gè)障礙是缺乏標(biāo)記的數(shù)據(jù)集。語言模型可以利用精心策劃的知識(shí)來源，但時(shí)間序列模型必須篩選數(shù)十億個(gè)未標(biāo)記的原始信號(hào)。多樣性和規(guī)模的挑戰(zhàn)要求團(tuán)隊(duì)仔細(xì)考慮數(shù)據(jù)準(zhǔn)備，以及哪種架構(gòu)最適合這些問題。

核心方法是分層：“這幾乎就像一個(gè)分層模型，你學(xué)習(xí)一些局部結(jié)構(gòu)，然后你學(xué)習(xí)這些局部結(jié)構(gòu)中的一些可以拼接在一起得到更大的結(jié)構(gòu)，然后逐漸引入這種粒度和規(guī)模。這就是我們將一個(gè)相當(dāng)復(fù)雜的問題分解為更容易學(xué)習(xí)和處理的方法?！?/p>

盡管如此，這一過程在很大程度上依賴于數(shù)據(jù)工程。在訓(xùn)練開始之前，必須清理和組織原始機(jī)器數(shù)據(jù)，這是一項(xiàng)資源密集型和必不可少的工作。這一經(jīng)歷突顯了為什么思科Data Fabric是人工智能全景中的關(guān)鍵部分。如果Splunk自己的人工智能團(tuán)隊(duì)不得不如此深入地投資于為其基礎(chǔ)模型準(zhǔn)備數(shù)據(jù)，那么試圖在自己的專有數(shù)據(jù)上訓(xùn)練模型的企業(yè)將面臨同樣的障礙。通過在數(shù)據(jù)結(jié)構(gòu)中嵌入聯(lián)合、過濾和結(jié)構(gòu)工具，思科旨在為客戶提供管理這些挑戰(zhàn)的工具，而無需重新發(fā)明輪子。Splunk計(jì)劃在今年晚些時(shí)候發(fā)布其方法論，并將基礎(chǔ)模型納入AI工具包，以便客戶可以將相同的技術(shù)應(yīng)用于自己的機(jī)器數(shù)據(jù)。

Splunk作為人工智能的戰(zhàn)略支柱

在概述了Data Fabric背后的技術(shù)愿景后，公司高管轉(zhuǎn)向了更大的圖景：Splunk如何融入公司的未來戰(zhàn)略，以及自收購以來發(fā)生了什么變化。

思科于2024年3月正式收購Splunk。當(dāng)時(shí)，思科總裁兼首席產(chǎn)品官Jeetu Patel曾承諾不會(huì)“搞砸”Splunk，以回應(yīng)客戶對(duì)公司可能因新所有權(quán)而改變的擔(dān)憂。在一次新聞發(fā)布會(huì)上，Patel解釋了自收購Splunk以來，思科如何重塑其內(nèi)部結(jié)構(gòu)，以更好地滿足人工智能的需求。今年早些時(shí)候，該公司圍繞三個(gè)優(yōu)先事項(xiàng)重組了團(tuán)隊(duì)——人工智能就緒的數(shù)據(jù)、面向未來的工作場所和數(shù)字彈性——并將其產(chǎn)品工作整合到一個(gè)組織中。他說，目標(biāo)是消除團(tuán)隊(duì)之間的低效，確保數(shù)據(jù)和決策在整個(gè)公司內(nèi)快速流動(dòng)，使思科和Splunk能夠“以啟動(dòng)速度、大規(guī)模地發(fā)展”。

在簡報(bào)會(huì)上，Patel重申了公司對(duì)Splunk的承諾，并指出其技術(shù)有可能重新定義人工智能為市場增值的方式。

他說：“Splunk對(duì)思科的未來具有極其重要的戰(zhàn)略意義。我們將堅(jiān)定確保通過Splunk加快創(chuàng)新速度。”“你應(yīng)該期待我們有更高水平的創(chuàng)新。我們所做的一切都將以人工智能為先，我們要解決的問題是確保人工智能成為機(jī)器數(shù)據(jù)的準(zhǔn)備。”

與Ai時(shí)代前沿合作，將大門向更多普通用戶敞開！無論你是對(duì)新技術(shù)充滿好奇心的愛好者，還是希望提升自己技能的職場人士，這里都有適合你的課程和資源。