テクノロジー

Workday大規模障害、発端は自社の災害復旧テスト 従業員は打刻も給与確認もできず

Susan Hill
Googleで追加する

給与計算や出退勤の記録、休暇管理に多くの大企業が利用するソフトウェア、Workdayで、同社独自の緊急バックアップのテストが失敗し、顧客向けサービスが停止した。災害復旧システムを点検していたところ、バックアップサービスが予期せず、顧客が業務で使う本番データベースに接続していることが判明。記録が不整合な状態になったため、Workdayは影響を受けたシステムをオフラインにして修復にあたった。

従業員が目にしたのは、「Workdayは現在ご利用いただけません」と表示されたログイン画面だった。影響を受けた企業のスタッフは、出勤や退勤の打刻、給与情報の確認、休暇申請、福利厚生への加入手続きを完了できず、他の社内システムにデータを送る定期実行の処理も失敗する可能性があった。災害時にもサービスを稼働させるための安全策が、サービスを停止させる結果となった。

この障害が人事部門にとどまらないのは、その利用規模の大きさゆえだ。Workdayによると、同社のソフトウェアは11,500を超える組織で使われており、公開されている顧客リストにはWalmart、Target、Netflix、Chipotle、Southwest Airlines、US Department of Energy、NASA’s Jet Propulsion Laboratoryが名を連ねる。影響を受けた顧客数は明らかにしておらず、「一部のお客様」と述べるにとどまっている。そのため、これらの企業すべてで障害が起きたとするSNS上の拡散投稿は、確認できている事実を超えている。UC Todayによると、障害情報を追跡するサイトには米国とインドから報告が寄せられた。

Workdayが顧客向けステータスページに掲載し、Washington UniversityのITチームが引用した説明は、異例なほど率直だ。「災害復旧テナントの週次メンテナンス時間の検証中に、DRサイト内のテナントサービスが本番データベースに予期せず接続したことを確認しました」と通知には記されている。さらに、データが「不整合な状態」となり、利用者がアカウントを開いた際にエラーが発生したり、タスクが失敗したりする可能性があると説明した。その後、同社はWD1と呼ぶ顧客グループのすべての本番環境をメンテナンス状態にし、30分ごとに状況を更新すると約束した。

この説明でも、最大の疑問は解消されていない。災害復旧用の複製システムは、一方で起きた問題がもう一方に波及しないよう設けられている。ところが今回は、テストが本番環境にまで及んだ。Workdayは、なぜその接続経路が存在したのか、また記録が単に不一致になっただけでなく、失われたものがあったのかを明らかにしていない。同社の情報発信にも不満の声が上がった。RedditのsysadminおよびWorkdayフォーラムに投稿した管理者たちは、最初の顧客向け通知より何時間も前に問題が始まっていたと述べたが、Workdayはこの経緯を確認していない。また、そこで共有された顧客向けメールの一つは、復旧の見込みを示せないと認め、重要な期限を控えた企業に事業継続計画へ切り替えるよう促していた。

従業員に生じる実務上の影響は、障害が起きたタイミングによって異なる。出勤を打刻できなかった時給制のスタッフは、勤務時間を手作業で修正してもらう必要があり、福利厚生の締め切りに追われていた人にとっては、手続きの窓口が閉ざされた形となった。対応として期限を延長した雇用主もあり、Emerson Collegeは障害を受け、オープン・エンロールメントの期間を延長すると発表した。職場向けソフトウェアにとって厳しい一週間の終盤に起きた障害でもある。Microsoft 365の不具合でOutlookとExchangeのメールが2日目に入っても不安定な状態が続いていた。

これまでの経緯は次のとおりだ。Emerson Collegeによると、Workdayは11月13日金曜日の午後5時15分ごろ(米東部時間)にシステムをオフラインにした。LiveNOW from FOXは、Downdetectorに午後5時過ぎから問題の報告が3,000件近く記録されたと伝えた。Workdayの広報担当者は、同社が「問題の調査と解決に緊急に取り組んでいる」と述べ、影響を受けた顧客に謝罪した。土曜日の朝、Workdayは顧客に対し、環境の再インデックス化と再開は大半で11月14日土曜日の午前11時(米東部時間)までに完了する見込みだが、さらに時間がかかる顧客もいると伝えた。そうした顧客にはサポート案件を通じて連絡するという。Emerson Collegeが延長した加入期間は、現在、11月16日月曜日の正午(米東部時間)までとなっている。

サービスが復旧しても、雇用主がベンダーに問いかけている、より根本的な疑問は残るだろう。災害を乗り越えられることを確かめるためのテストが、保護すべきデータにどうしてアクセスできる経路を持っていたのか、雇用主は説明を求めるはずだ。

タグ: , , , , ,

Googleで追加する

ディスカッション

0件のコメントがあります。