2024年7月19日に発生したWindowsサーバーの障害による影響について
弊社でサポートさせて頂いているお客様について、本件に関連する障害は概ね収束していると認識しておりますので、本ページの更新もこれで終了とさせていただきます。
今後はこれまでの更新情報を参照ください。
（2024年7月23日 10:45更新）
弊社エンジニアによる検証記事をアップしておりますので、合わせてご確認ください。
本記事にもございますが、最新情報は、AWS サービスヘルスダッシュボードのアナウンスを参照することをお勧めします。ダッシュボードは現在も更新されており、最新情報を確認するためにリンク先を参照することを強く推奨します。アナウンスの内容が変更されることもあるので、定期的な確認が重要です。
（2024年7月20日 6:50更新）
引き続き、Windowsサーバーにてブルースクリーンエラーが同時多発的に発生している状況となっております。
AWSより対処方法等の更新がありました。
<対処方法>
7/19 2:35 AM PDT（日本時間 7/19 18:35）: Crowdstrike エージェント（csagent.sys）のアップデートに関連して、Windows インスタンス、Windows Workspaces、および Appstream アプリケーションの接続性の問題や再起動が発生し、Windows オペレーティングシステム内で停止エラー（BSOD）が発生する問題の解決に引き続き取り組んでいます。AWSサービスとネットワーク接続は正常に動作しています。
以前にご案内している復旧手順は実行可能な方法ですが、EC2インスタンスの再起動にて復旧が成功しているお客様もいらっしゃいます。
CrowdStrike は、セーフモードやルートボリュームの切り離しを必要とせず、再起動時に「*.sys」ファイルを置き換えるアップデートを配布されました。
AWS では影響を受けたインスタンスの復旧に取り組んでいますが、再起動することですぐに復旧する可能性があります。
詳細情報が入手可能になり次第、お知らせいたします。
（AWS Health Dashboard 原文）
July 19 2:35 AM PDT: We continue to work on resolving the connectivity issues and reboots of Windows Instances, Windows Workspaces and Appstream Applications related to a recent update to the Crowdstrike agent (csagent.sys), which is resulting in a stop error (BSOD) within the Windows operating system. AWS services and network connectivity continue to operate normally.
While the recovery steps posted below are still viable paths, some customers are seeing success with a reboot of their EC2 instance. CrowdStrike have deployed an update that will replace the "*.sys" file during a reboot with no need to Safe Mode or the detachment of the root volume.
While we work to recover affected instances, a reboot may provide immediate recovery.
We will post more information once it becomes available.
（2024年7月19日 20:00更新）
引き続き、Windowsサーバーにてブルースクリーンエラーが同時多発的に発生している状況となっております。
- セーフ モードまたは Windows Recovery Environment で起動します。
- 次のディレクトリに移動します: C:\Windows\System32\drivers\CrowdStrike
- ファイル「C-00000291*.sys」を見つけて削除します。
- マシンを再起動します
- Create a snapshot of the EBS root volume of the affected instance
- Create a new EBS Volume from the snapshot in the same availability zone
- Launch a new Windows instance in that availability zone using a different version of Windows
- Attach the EBS volume from step (2) to the new Windows instance as a data volume
- Navigate to \Windows\System32\drivers\CrowdStrike\ folder on the attached volume and delete "C-00000291*.sys"
- Detach the EBS volume from the new Windows instance
- Create a snapshot of the detached EBS volume
- Replace the root volume of the original instance with the new snapshot
- Start the original instance
- 影響を受けるインスタンスの EBS ルート ボリュームのスナップショットを作成します
- 同じアベイラビリティ ゾーン内のスナップショットから新しい EBS ボリュームを作成します
- 異なるバージョンの Windows を使用して、そのアベイラビリティ ゾーンで新しい Windows インスタンスを起動します
- 手順 (2) の EBS ボリュームをデータ ボリュームとして新しい Windows インスタンスに接続します
- 接続されたボリュームの \Windows\System32\drivers\CrowdStrike\ フォルダーに移動し、「C-00000291*.sys」を削除します
- 新しい Windows インスタンスから EBS ボリュームをデタッチします
- デタッチされた EBS ボリュームのスナップショットを作成します
- 元のインスタンスのルート ボリュームを新しいスナップショットに置き換えます
- 元のインスタンスを起動します
（2024年7月19日 18:00更新）
現在、Windowsサーバーにてブルースクリーンエラーが同時多発的に発生している状況となっております。
AWSから以下発表があり、AWS側でも現在調査を進めている状況となっております。
- CrowdStrike エージェント (csagent.sys) の最近の更新に関連しており、Windows オペレーティングシステム内で停止エラー (BSOD) が発生
- EC2 インスタンスまたは Workspaces 環境で CrowdStrike を使用しているお客様は、このイベントの影響を受ける可能性があります
AWSからの報告を待ちつつ、弊社でも調査を進めておりますが、復旧まで時間を要する見込みとなっております。 状況が変わり次第お知らせいたしますので、 ご迷惑をお掛けし大変申し訳ございませんが、今しばらくお待ち下さいますようお願い申し上げます。
（2024年7月19日 15:59更新）
