?
本期聽云大講堂給大家分享的內容是觀云平臺數據采集方案,將主要圍繞方案核心理念、業界現狀及第三方指標采集的統一性原則三點進行展開。

?

?

?

觀云數據治理的方案:核心理念

?

?

可觀測性數據主要是由:指標(Metrics)、追蹤(Trace)和日志(Logs)其他信號量組成的,數據治理的痛點在于,這些數據通常來自不同的源頭,不同的協議和數據格式,最終被存入隔離的各個系統中。

?

這導致了嚴重的“數據孤島”問題,使得運維和開發人員在故障排查和性能分析時,需要在多個看板間反復切換、進行人工的關聯分析,這樣的排查方式效率低下,且難以快速定位根因。

?

數據治理的核心目標,正是要打破這些數據孤島,通過統一的平臺、統一的規范對數據進行采集、加工和關聯,讓數據不再是離散的點,從而釋放其真正的價值。

?

?

?

?

業界現狀與觀云方案的差異化

?

?

目前業界的通用做法是:先接入,后治理。也就是將各類數據接入后,通過豐富的儀表盤(Dashboard)進行可視化查看。觀云采用的方案是?“采集即治理”。

從采集數據產生的源頭開始,通過統一探針(UniAgents)在采集數據時直接將基礎設施數據、APM的數據關聯在一起,從而完成關鍵數據的關聯。

這意味著,數據在上報之初就已經建立了內在的、準確的關聯關系,而非在事后再進行匹配和處理,極大地提升了后續關聯分析的效率和準確性。

?

為了實現數據集成,觀云平臺采集方案遵循兩大核心原則:

·?協議統一(Unified Protocol)
以 OpenTelemetry (OTel) 作為數據采集和傳輸的絕對標準協議。OTel是CNCF旗下公認的可觀測性事實標準。

·?語義統一(Unified Semantics)
描述相同業務屬性的字段,在不同數據源中保持一致的名稱和數據類型。這為了實現高質量關聯分析的基礎。

例如對于“主機IP”這一屬性不同數據源有不同的名稱,host.ip、host.address、instance_ip。

觀云采集器會在數據采集階段即進行標準化處理,將所有來源的該屬性統一映射為?host.ip。在后續進行故障排查和分析的時候,系統都能毫無歧義地進行精準關聯、檢索、分析。

?

?

?

?

強大的數據生態接入能力

?

?

聽云系統支持廣泛的默認數據源:Zabbix、Prometheus、阿里云、華為云等其他云廠商,并且可以通調用 API 和配置 SQL 查詢數據庫的方式獲取數據。
更多內容敬請關注【聽云大講堂】技術篇,下一期我們將為大家帶來基于可觀測性的應用安全態勢管理平臺的內容分享~

推薦閱讀

  • 隨著信息技術的飛速發展,企業對于信息系統的需求越來越高,信息系統已經成為企業運營的重要支撐。為了確保信息系統的高效穩定運行,企業需要建立一套完善的系統配置管理制度?。本文將從系統配置管理的定義、目的、內容、實施步驟等方面進行闡述,以期為企業構建高效穩定的信息系統環境提供參考。

    2024-01-18

  • 近日,成都核酸、東軟集團回應等詞條頻頻沖上熱搜,而多次的回應也被網友們戲稱為“甩鍋”行為,那么,成都核酸系統的崩潰究竟是誰的鍋呢?這要從成都市9月1日發布通知說起。

    2022-09-06