2019年8月23日に発生したAWS東京リージョンの障害に関してのご報告
2019年8月23日に発生いたしましたAWSの障害につきまして、2019年8月28日にAWSから続報が発表されましたので報告いたします。
- 今回東京リージョンの1つのアベイラビリティゾーン(AZ)の一部にで置きた障害の影響は当該 AZ の Amazon EC2 および Amazon EBS のリソースに対するものであるが、基盤としている EC2 インスタンスが影響を受けた場合には、当該 AZ の他のサービス(RDS、 Redshift、 ElastiCache および Workspaces 等)にも影響があった。
- 調査をさらに進めたところ、 個別のケースのいくつかで、複数のアベイラビリティゾーンで稼働していたお客様のアプリケーションにも、予期せぬ影響があったことが確認された
- AWS では、個別の問題についての詳細な情報を影響を受けたお客様に直接、共有を行う予定である
東京リージョン (AP-NORTHEAST-1) で発生した Amazon EC2 と Amazon EBS の事象概要
https://aws.amazon.com/jp/message/56489/
（2019年8月30日11:28更新）
2019年8月23日に発生いたしましたAWSの障害につきまして、ご報告と見解を下記資料に第2報としてまとめましたのでご確認ください。なお、内容更新の際には本ページにて改訂版をご連絡いたします。
<追記箇所>
P10. AWSによる本件の概要
P13. AZ IDについて
P15. 本障害における当社からの提言
当社からの提言は下記です。
1.Multi-AZ構成の推奨
本障害は、特定のAZ(AZ ID: apne1-az4)において発生した障害です。リソースを複数のAZに冗長化配置（Multi-AZ構成）する事で、今回の様に単一AZで発生した障害に伴うシステム停止を回避出来る可能性があります。
また、2AZ構成で運用されている場合は、3AZ構成にしてAZ障害時にAZを切り離す戦略も有用です。より高い可用性が求められるシステムをAWS上に展開する場合、3AZ構成への設計変更もご検討ください。
AZの変更については、詳細な設計が必要になります。ご要望に応じて別途ご案内させて頂きます。
（お問い合わせ窓口 https://www.serverworks.co.jp/contact/aws.html）
2.バックアップ戦略の再検討
EBSは通常の物理ディスクと同様にバックアップが必要です。当社が提供するSaaS（Cloud Automator）等により、定期的なバックアップを確実に取得できるようになります。バックアップ計画の見直し、再検討を推奨致します。
（詳細 https://cloudautomator.com/autojob/）
3.マネージドサービスの監視
AWSのマネージドサービスに関しても監視が有効です。今回の障害ではEC2だけでなく、ALBやRDSなどのマネージドサービスについても一部影響がありました。こうしたサービスについて監視・障害時の連絡等を迅速に行うことで影響を最小限にとどめられた可能性があります。当社にてこうしたマネージドサービスの監視・運用も承っております。
（2019年8月26日11:48更新、2019年8月30日追記）
2019年8月23日に発生いたしましたAWSの障害につきまして、AWSから正式な発表がありましたのでお知らせいたします。
東京リージョン (AP-NORTHEAST-1) で発生した Amazon EC2 と Amazon EBS の事象概要
https://aws.amazon.com/jp/message/56489/
（2019年8月25日16:35更新）
2019年8月23日に発生いたしましたAWSの障害につきまして、ご報告と見解を下記資料に第1報としてまとめておりますのでご確認のほどよろしくお願いいたします。なお、内容更新の際には本ページにて改訂版をご連絡いたします。
<発生日時>
2019年8月23日(金) 12:50頃から 同 20:36頃
※当社監視システムでの検知及びSHDによる大部分の復旧
※上記発生日時は、AWS基盤の障害時刻を示すものです。後述する障害対象リソースの停止に伴いまして、お客様のアプリケーションやその他システムに何らかの影響が継続している可能性があります。
<影響範囲>
EC2のステータスが0/2となる（使用不能）
シングルAZのRDSが使用不可となる、またはマルチAZのRDSがフェイルオーバーする
EBSのパフォーマンス低下発生
<原因>
AWS側の冷却システム故障によるものとなります。
特定のAZ(AZ ID: apne1-az4)に於いて発生しました。
その他詳細につきましては、下記資料をご確認のほどよろしくお願いいたします。
（2019年8月24日14:55更新）
現在もAZ ID：apne1-az4にて障害が発生しております。
サーバーワークスでは、お客様からのお問い合わせを本日19:00まで下記の窓口にて承ります。
電話：03-5579-8029
Web：https://www.serverworks.co.jp/contact/aws.html
本日19:00以降の更新情報については、サーバーワークスZendeskまたは案内メールをご覧ください。
続報がある場合は、8/26 11:00までに更新いたします。
（2019年8月23日 18:04更新）
現在、AZ ID：apne1-az4にて障害が発生しておりますが、障害が回復し始めています。
<回復状況>
EC2においてはインスタンスの障害とEBSボリュームのパフォーマンスの低下が回復し始めています
RDSは単一のアベイラビリティーゾーン内のインスタンス接続の問題の回復が見られ始めています
<原因>
引き続きAWS側にて確認中となります。
次回は回復状況を確認の上、8/23 19:00までに更新いたします。
（2019年8月23日16:44更新）
現在、AWSにて障害が発生している件に関しまして、障害対象AZの訂正をいたします。
<障害対象>
【誤】AWSの東京リージョンのAZの一つ(ap-northeast-1a)
【正】AZ ID：apne1-az4
（2019年8月23日14:54更新）
現在、AWSの東京リージョンのAZの一つ(ap-northeast-1a)にて障害が発生している件に関しまして、原因部分の更新情報をお送りいたします。
<障害発生日時・時系列>
2019年8月23日（金） 12:50頃より発生
※現在も継続中
<影響>
・EC2のステータスが0/2となる
・シングルAZのRDSが使用不可となる、またマルチAZのRDSがフェイルオーバーする
<原因>
東京リージョン（ap-northeast-1a）にてConnectivity Issue(接続障害) が発生している
※AWS側より情報提供受領。現時点で復旧は未定となります。
（2019年8月23日14:25更新）
現在、AWSの東京リージョンのAZの一つ(ap-northeast-1a)にて障害が発生していることが確認されております。
<障害発生日時>
2019年8月23日（金） 12:50頃より発生
※現在も継続中
<原因>
現在、確認中となります。
お客様にご迷惑をおかけしておりますこと、重ねてお詫び申し上げます。
状況につきましては、逐次当社ホームページにてお知らせいたします。
本件についてのお問い合わせは当社お問い合わせフォーム、もしくはお電話(03-5579-8029)にてご連絡をお願い申し上げます。
お問い合わせフォームはこちら
