曜序智衡數據湖

數據基礎設施與治理平台

產品概述

ASTRIVERA DataLake

曜序智衡數據湖是自主研發的數據基礎設施,面向多市場、多來源、大規模歷史及增量數據的採集、處理、治理、存儲與發佈,構建具有一致數據標準、明確質量要求與完整來源記錄的數據資產體系。

平台通過統一的數據接入與處理架構,對不同供應商的數據進行標準化管理。圍繞證券身份、交易日曆、時間口徑、公司行動、數據覆蓋及歷史修訂建立一致的數據語義,使不同來源、不同時間範圍的數據能夠按照既定規則自動處理、關聯與使用。

內建的數據質量管理機制,對採集結果進行完整性、一致性、重復記錄、缺失區間及異常數值檢查,並結合數據來源、發佈時間與歷史覆蓋情況開展質量評估。原始記錄、處理結果及校驗依據得到分別保留,使數據質量能夠被持續檢查與復核。

數據資產管理貫穿從原始採集到正式發佈的全過程。 原始數據、標準化數據、衍生結果及發佈版本分別維護,並通過數據目錄、版本標識和來源血緣記錄,建立從原始輸入到最終數據產品的追溯關係。歷史數據的更新、修訂與重新發佈均保留相應版本關係,使既有研究能夠持續引用其原始數據依據。

平台提供數據資產檢索、覆蓋分析、版本選擇及受控發佈能力。研究與分析任務可根據市場、時間範圍、數據類型及適用要求獲取相應數據資源,為策略開發、模型訓練、歷史回測及其他獲准應用提供可靠的數據基礎。

在運行架構上,數據湖採用獨立部署、本地處理與受控外部數據接入相結合的方式。自動化任務管理機制支持持續採集、增量更新、數據校驗及發佈作業,並通過運行監控、存儲管理、數據遷移與異常恢復,維護數據資產在不同計算及存儲環境中的完整性、一致性與可用性。

跨平台部署。 支援 macOS、Windows 與 Linux 三大操作系統,可獨立運行於專業工作站及機構私有化環境,並根據部署需求配置數據存儲、計算資源與受控存取。

核心能力

  • 多市場與多來源數據接入
  • 大規模歷史及增量數據管理
  • 數據標準化與質量治理
  • 證券身份與時間語義管理
  • 數據資產目錄與覆蓋分析
  • 數據來源與血緣追蹤
  • 原始及衍生數據分層管理
  • 歷史版本與數據發佈
  • 自動化數據運維與任務恢復
  • 本地存儲與跨平台部署

返回產品目錄