(つ`ω´)つ => Ubuntu 台灣社群: https://aws.amazon.com/tw/message/101925/ AWS us-east-1幾乎全滅，罪魁禍首竟然只是一個 DNS的race condition。 AWS剛為10月19號的世紀災難完成了RCA，起因是DynamoDB 的DNS自動化管理系統上演「左右互搏」，一個 Enactor（執行者）處理得太慢，另一個 Enactor不但搶先完成了新計畫，還順便叫了清潔工（cleanup process）來刪除舊資料。最扯的是，就在清潔工動手前一刻，那個跑得超慢的 Enactor 終於把手上的舊的plan寫了上去，直接覆蓋了正確的設定。於是這個被正在被使用的舊plan當成垃圾刪除，結果的 DNS 紀錄瞬間蒸發，變成一個空值。 DynamoDB一倒，依賴它的EC2管理系統跟著直接癱瘓，導致所有新的EC2實例啟動請求全部失敗。EC2 一死，NLB（網路負載平衡器）也跟著陪葬，因為新EC2網路沒搞定，Health Check大亂，NLB開始瘋狂踢掉健康的節點。最後就是你看到的，Lambda、EKS、ECS、Fargate，甚至連AWS管理控制台登入全都炸掉，整個 us-east-1 迎來集體崩潰，就造成了2025年最荒謬的雲端事故。轉自 https://www.threads.com/@brewbytes.ai/post/DQIsu92Efm_?xmt=AQF00QgkjofqDqJ4jU0opUyO8XYvBHOjvD4hrUOYu-AWsQ&slof=1 #68f9c84f6ea3dd5a1bed2d14

(つ`ω´)つ says to Ubuntu 台灣社群

https://aws.amazon.com/tw/message/101925/ AWS us-east-1幾乎全滅，罪魁禍首竟然只是一個 DNS的race condition。 AWS剛為10月19號的世紀災難完成了RCA，起因是DynamoDB 的DNS自動化管理系統上演「左右互搏」，一個 Enactor（執行者）處理得太慢，另一個 Enactor不但搶先完成了新計畫，還順便叫了清潔工（cleanup process）來刪除舊資料。最扯的是，就在清潔工動手前一刻，那個跑得超慢的 Enactor 終於把手上的舊的plan寫了上去，直接覆蓋了正確的設定。於是這個被正在被使用的舊plan當成垃圾刪除，結果的 DNS 紀錄瞬間蒸發，變成一個空值。 DynamoDB一倒，依賴它的EC2管理系統跟著直接癱瘓，導致所有新的EC2實例啟動請求全部失敗。EC2 一死，NLB（網路負載平衡器）也跟著陪葬，因為新EC2網路沒搞定，Health Check大亂，NLB開始瘋狂踢掉健康的節點。最後就是你看到的，Lambda、EKS、ECS、Fargate，甚至連AWS管理控制台登入全都炸掉，整個 us-east-1 迎來集體崩潰，就造成了2025年最荒謬的雲端事故。轉自 https://www.threads.com/@brewbytes.ai/post/DQIsu92Efm_?xmt=AQF00QgkjofqDqJ4jU0opUyO8XYvBHOjvD4hrUOYu-AWsQ&slof=1

at Thu, Oct 23, 2025 2:16 PM