服務狀態

所有系統正常運作。

五個元件現在都達到各自的目標:API、開通、付款、覆蓋數據和客服。如果情況改變,這一頁會在事件宣告後五分鐘內更新。只要我們能判斷出誰受到影響,你在這裡讀到之前就已經接到我們的通知了。

一個狀態頁只有在願意說壞消息的時候才有價值。這一頁是在事件進行中更新,不是結束後才更新,也就是說你有時候會看到某個元件旁邊寫著調查中,而我們當下還不知道原因。

元件

元件狀態目標現在的情況
API正常運作99.9% 可用性過去 24 小時沒有高於基準線的錯誤
開通正常運作99.5% 的付款訂單會拿到可用的設定檔滾動一小時高於目標,安裝時間中位數 41 秒
付款正常運作授權和自動退款都在 60 秒內完成金流商回報正常,退款也照時程送出
覆蓋數據正常運作公布的數字每天更新,維持 25 筆樣本的下限上一次更新已完成,沒有任何國家因為資料過舊而被隱藏
客服正常運作首次回覆 60 秒內,一天 24 小時所有有值班語言的排隊時間都在目標內

正常運作的意思是這個元件在滾動一小時內達到它的目標。這不是對下一個小時的保證。

99.5%

開通成功率目標

60 秒

開通失敗時的自動退款

30 分鐘

會觸發公開事後檢討的事件長度

72 小時

公開那份事後檢討的期限

每個狀態的意思

狀態代表什麼我們會做什麼
正常運作這個元件在滾動一小時內達到目標什麼都不做。這是正常狀態,也不是對未來的保證
效能降級還能用,但比目標慢或比目標不穩在這一頁點名,聯絡受影響的客戶,不用申請就補償入帳
部分中斷對某個可辨識的族群失敗,例如某一家電信或某一個區域點名該族群,擋掉會失敗的購買路徑,退款自動送出
重大中斷大範圍失敗指派一位事件指揮官,並且至少每 30 分鐘更新一次,直到排除為止
維護有明確時段的計畫性作業至少提前 72 小時公告,並排在流量最低的時段

沒有一個狀態的意思是應該還好吧。一個元件要嘛達到它的目標,要嘛就被寫在這一頁上。

事件處理原則

整件事由兩個承諾撐著,而且兩個都是刻意讓人不舒服的。第一,受影響的客戶在察覺之前就會先接到我們的通知。第二,任何超過 30 分鐘的事件,都要在 72 小時內公開一份寫成文字的事後檢討。

事後檢討點名的是系統和決策,不是個別員工,而且由當時待命的那個人親自寫,不是由主管來描述別人做了什麼。

如果我們趕不上 72 小時的期限,會在這 72 小時之內公開延遲和原因,因為錯過期限又晚一步說,等於失誤兩次。

  • 偵測是從開通成功率和付款授權率自動判讀的,所以事件是在數字開始移動時開始,不是在有人抱怨時開始
  • 這一頁上的元件狀態會在宣告後五分鐘內改變,在原因確定之前就會改
  • 由一位事件指揮官指揮應變,另外一個人負責對外溝通,兩件事才不會互相排擠
  • 我們會找出受影響的客戶並主動聯絡,服務降級的部分補償已經先入帳,不是等你來要才給
  • 任何我們知道會失敗的購買路徑都會被擋下來,因為收下一筆之後必須退掉的錢,比少做一筆生意更糟
  • 重大中斷期間至少每 30 分鐘更新一次,就算更新內容是我們還不知道也一樣要更新
  • 在排除後 72 小時內公開事後檢討,內容包含時間軸、以數字呈現的客戶影響、原因,以及每一項修正的負責人和日期
你的手機
電信商 A壅塞,4 Mbps
電信商 B順暢,61 Mbps
自動切換,不用問你
只接一家電信商的業者,做不到這個切換。這正是我們同時向多家採購的原因。
當一個地區有一個以上的合作電信網路時,壅塞會把你換到另一個網路,而不是變成一次事件。

為什麼目標不是百分之百

因為中間隔著一個電信網路,百分之百會是謊話。99.5% 的開通目標等於公開說出來:每一千筆訂單大約有五筆,會在付款和可用設定檔之間的某個環節失敗。

重點是那五筆的路徑有被設計過。退款在 60 秒內自動執行,不用開單,訊息會說明發生了什麼、可以改試什麼,沒有人需要去判斷這位客戶值不值得退款。

同樣的邏輯也適用於覆蓋範圍。在我們有一家以上電信合作的地區,如果某個合作網路壅塞,我們會把你換過去,而不是登記成一次事件,備註會寫清楚換到哪裡。

如果當地只有一個網路,而它今天狀況不好,我們會在國家頁面上寫出來。我們的覆蓋頁面會公布中位數、最慢的十分之一和樣本數,就是為了這件事。

事件紀錄

本期回報區間內,沒有宣告過任何超過 30 分鐘的事件。

這句話的價值,剛好等於我們願意去改掉它的程度,所以上面的原則才寫得這麼細。過去的每一份事後檢討都會永久留著公開,不會過了九十天就消失。

大家真的會問的問題

這裡講的正常運作到底是什麼意思?
是指這個元件現在達到它的目標,不是指從來沒出過事。開通在滾動一小時內,付款訂單拿到可用設定檔的比例達到或超過 99.5% 的目標時,就是正常運作。
事件發生時,這一頁多快會更新?
元件狀態會在事件宣告後五分鐘內改變,在我們知道原因之前就會改。所以你有時候讀到的是調查中,而不是一段解釋。我們寧願早一點但講得模糊,也不要晚一點但講得漂亮。
你們會聯絡我,還是要我自己盯著這一頁?
我們會聯絡你。只要能判斷出誰受影響,你在察覺之前就會收到我們的訊息,補償也已經先入帳。這一頁是給其他所有人,以及想看細節的人用的。
你們什麼時候會公開事後檢討?
超過 30 分鐘的事件,都在 72 小時內公開。內容包含時間軸、以數字呈現的客戶影響、原因,以及帶有負責人和日期的修正項目。如果我們會晚一點才公開,會準時先公開延遲和原因。
如果我沒有流量,打不開這一頁怎麼辦?
整個產品就是繞著這個情況設計的。每個帳號在 145 個國家和地區都有每月 100 MB 的免費救援流量,所以就算餘額歸零,你還是能打開這一頁、聯絡客服、買一個方案。客服在任何時間都會在 60 秒內回覆。
某個國家的電信問題會出現在這裡嗎?
會,會顯示成覆蓋數據效能降級,並且寫出是哪個國家。在合作夥伴於當地有一個以上網路的地方,我們會直接把你換到比較順的電信,不會先問,事件備註會寫清楚換到哪裡。