內部探討美國聯合服務汽車協會三年來整頓龐大資料庫的努力

在爭取從大型語言模型技術中獲取價值的競賽中,企業不得不仔細審視其數據資產,並提出有關基礎設施的一些棘手問題。

對於許多公司而言,要實現乾淨的分析、數據安全和生成式人工智慧的投資回報率,就必須直接通過橫跨各個業務單位的大量客戶數據存儲。

大約三年前,當這家百年銀行和保險業巨頭聘請Ramnik Bajaj擔任資深副總裁兼首席數據和分析長時,美國全國服務人員協會(USAA)開始了大規模現代化數據資產的工作。

根據巴賈吉的說法,最終目標是”統一的數據環境”。他在擔任現職之前,曾在富國銀行擔任數據業務主管三年,並在德勤金融服務數據實踐部門擔任合夥人達二十年之久。

巴賈吉向CIO Dive表示:”當時有多個內部部署的數據倉庫和分析環境,我們的旅程是將所有這些轉移到雲端。”

在統一的雲端環境中,利害關係人可以在不複製數據或建立額外儲存庫的情況下執行分析。巴賈吉說:”數據已經與分析工具在一起了。”

企業級數據轉型需要前期投入大量時間和資源。根據雲端數據庫供應商Couchbase最近對IT主管的調查,今年數據資產現代化的平均價格將達到3,550萬美元。

對於依賴數據的保險和銀行公司而言,成本和風險甚至更高。

本月初,花旗銀行因數據缺陷而被罰款1.356億美元,其CEO珍.佛雷澤(Jane Fraser)形容這是由於”數十年來對風險和控制技術的投資不足”所造成。美國銀行CEO布賴恩.梅尼翁(Brian Moynihan)在1月的財報電話會議上表示,該行在過去十年投入數十億美元來現代化其數據系統。

遷移動機
要讓為期數年的遷移之旅持續推進,確實是一大挑戰。除了必須解決糾結的技術債務外,IT團隊還必須考慮在轉換過程中可能造成的營運中斷和對終端使用者的不便。

巴加吉運用”糖與鞭”的方式來維持現代化的動力,設定了明確的遷移期限,同時推出了更好的報告工具。USAA內部的數據與分析組織負責監督策略、制定管理政策和標準,並設定每年的遷移優先順序。

巴加吉表示:”我們為每個環境設定了一個淘汰日期,淘汰日期就是鞭子,而在雲端環境中可用的分析和報告工具就是糖果。”

為了加速遷移進度,巴加吉將工程流程集中化,同時將數據決策分散化。工程師在Snowflake的數據雲端內建立了通用的遷移管線和工具包,並讓業務單位自行選擇要遷移哪些數據集。

巴加吉說:”我們將工作從擁有這些數據資產和數據倉儲的各個團隊手中移走,告訴他們:’你們只需定義需要遷移到Snowflake數據雲端的內容,我們會撰寫ETL代碼來實際建立管線。'”

USAA表示,最近影響到AT&T和約100家其他客戶的Snowflake數據外洩事件並未對公司造成影響。

USAA的其中一項優先事項是建立一個核心客戶數據倉儲,並集中存取控制和管理。

巴加吉說:”我們可以從一個中央位置管理所有關於會員的核心數據。我們透過管理數據的政策和標準來定義,並與所有業務單位合作以實施這些標準和要求。”

當公司在Snowflake環境中漸入佳境時,其數據態勢也從防禦轉為進攻——從建立管理轉為獲得分析效益。

我們已將重心轉移至部署以人工智慧為基礎的解決方案,並從數據中獲取更多見解。巴賈吉說:「隨著我們的數據品質日益成熟,我們開始利用這些數據資產來協助會員。」