11月6日消息，今天阿里云宣布，小紅書(shū)技術(shù)團(tuán)隊(duì)近日完成了一項(xiàng)業(yè)界前所未有的壯舉，將業(yè)界最大數(shù)據(jù)湖0故障遷移至阿里云。
作為中國(guó)頭部互聯(lián)網(wǎng)公司之一，小紅書(shū)月活用戶(hù)已超過(guò)3億，其數(shù)據(jù)湖存儲(chǔ)了過(guò)去11年的所有原始數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
隨著業(yè)務(wù)的高速增長(zhǎng)，小紅書(shū)對(duì)在線處理數(shù)據(jù)的需求不斷增加，同時(shí)離線處理所積累的歷史問(wèn)題也提高了切換的難度。
2023年11月，小紅書(shū)共有1500人參與遷云項(xiàng)目——計(jì)劃一年內(nèi)，把小紅書(shū)的數(shù)據(jù)湖搬上阿里云，彼時(shí)即便是業(yè)界體量最大的案例，也遠(yuǎn)小于小紅書(shū)的本次遷移。
2024年5月，項(xiàng)目正式進(jìn)入雙跑階段，作為切換到正式環(huán)境前最后的測(cè)試，是穩(wěn)定性最大的保障。
在這一階段，團(tuán)隊(duì)需要解決的問(wèn)題數(shù)不勝數(shù)，每周平均新增500多個(gè)問(wèn)題。
在阿里云團(tuán)隊(duì)的全力保障下，小紅書(shū)技術(shù)團(tuán)隊(duì)順利完成了割接，沒(méi)有發(fā)生任何一個(gè)P2及以上故障。
2024年11月，小紅書(shū)遷云項(xiàng)目正式宣告結(jié)束，在沒(méi)有故障的情況下，遷移數(shù)據(jù)500PB，任務(wù)11萬(wàn)，參與人數(shù)1500人，涉及部門(mén)40多個(gè)。
