10月18日晚上 22:00 ，我們對處於灰度發布階段的新版博客後台（Angular 8.2.7 + .NET Core 3.0）進行了一次發布操作，在發布後由於清除緩存 web api 的一個 bug 造成在發布后通過新版博客後台修改的博文無法訪問（404錯誤）；在發現問題后，我們回退至發布之前的版本，但是由於 appsettings.Production.json 配置文件的不一致造成回退後的版本出現 500 錯誤；在修復配置文件問題后，在 docker swarm 集群上部署時又遭遇奇怪的容器健康檢查失敗的問題，多次部署后才成功，直至 23:00 左右才恢復正常。
非常抱歉，這次故障給使用新版博客後台的園友帶來了很大的麻煩，請您諒解。
在這次發布中包含一個比較大但卻沒有引起我們足夠重視的變更，原先在博客後台代碼中進行的清除 memcached 緩存（修改博文時清除對應的緩存）的操作改為調用 web api ，在實現清除緩存 web api 時由於沒有足夠重視在沒有寫集成測試覆蓋的情況下就發布了，從而沒有及時發現其中埋藏的一個 bug ，這個 bug 是由下面的 C# 代碼引起的：
await _cacheService.RemoveAsync(CacheKeyManager.GetBlogPost(blogId.Value, postId.Value)); var post = await blogPostService.GetCachedPostById(blogId.Value, postId.Value); //... if (post.DisplayOnHomePage) { await ClearHomePostsList(blogId.Value); } //..
上面的代碼中在清除所修改博文的緩存后，又獲取該博文進一步清除與該博文相關聯的緩存，調用 GetCachedPostById 方法時又創建了緩存，但由於實現時漏寫了 DTO 映射配置代碼，造成緩存的 BlogPostDto 字段值不完整從而 PostId 的值為 0 。在我們的緩存機制中，對於不存在的博文，會 new 一個空的 PostId 為 0 的 BlogPostDto 放入緩存，所以 PostId 為 0 的緩存數據都當作不存在的博文直接響應 404 ，故障因此而引發。
針對這次故障，在修掉 bug 代碼的同時我們將採取以下改進措施：
1）對從緩存中獲取的數據進行校驗並自動修復，這樣即使出現錯誤的緩存數據，也可以減少對業務的影響。
else if (blogPost.PostId != postId) { blogPost = await GetBlogPostById(blogId, postId); await _cacheService.UpdateAsync(cacheKey, 3600, blogPost); }
2）加強 Code Review
3）提高集成測試的覆蓋率
4）解決生產環境配置管理的問題
5）改用 k8s 部署生產環境
最近的新版博客後台發布故障暴露了我們在團隊開發能力上的落後，我們正在努力改進與提升，希望大家能夠諒解我們暫時的 low 。
本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理
【其他文章推薦】
※台北網頁設計公司這麼多，該如何挑選?? 網頁設計報價省錢懶人包”嚨底家”
※網頁設計公司推薦更多不同的設計風格，搶佔消費者視覺第一線
※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整
※小三通海運與一般國際貿易有何不同?
※小三通快遞通關作業有哪些?