| ４．２ 根本原因 |
| |
（1） |
定義体の修正誤りをレビュやテストで事前検出できなかった原因 |
| |
|
1 |
作業事前チェック方法の不備 |
| |
|
|
･更新した定義体のレビュに於いて実物確認せずに作業担当者の完了報告をもって問題なしと判断していました。 |
| |
|
2 |
切替後の検証方法の誤り |
| |
|
|
・移行手順書に記載している切替後の検証作業では、検証方法自体に不足があったため今回の障害を検出することができませんでした。レビュ時の動作検証方法の不足が発見できなかったためです。 |
| |
（2） |
障害エスカレーションの遅れと復旧の遅延の原因 |
| |
|
1 |
初動の遅れ |
| |
|
|
・サービス開始直後から回線異常が頻発したにもかかわらず、作業者は過去に同様の作業実績があるため、回線異常が実施作業とは無関係と思い込み、障害調査の初動が遅れました。
|
| |
|
2 |
障害エスカレーションの遅延 |
| |
|
|
・業務ＳＥには、８：００に障害発生の第一報がありましたが、影響範囲、原因、復旧見込みとも不明だったため、各社様への障害連絡（障害ＦＡＸ、ホームページ）ができませんでした。 |
| |
|
|
・８：４０時点で業務ＳＥに影響範囲と復旧時刻（９：１５）が通知されましたが、障害ＦＡＸの手配や作業を考慮した場合、復旧と障害ＦＡＸの着信が同時刻となりお客様の混乱を招くと判断し９：１５まで保留としました。
⇒９：１５時点で復旧しなかった（復旧見込み１０：３０）為、障害ＦＡＸの発信に着手し９：３０より送信開始しました。 |
| |
|
3 |
障害時のリカバリ手順不備 |
| |
|
|
･準備したリカバリ手順は、サービス開始前の切戻し手順であり、今回は、初動の遅れにより、サービス開始から障害検出まで時間がかかったため、既に切戻しを行うことが出来ず、その後のリカバリ手順の確立に長時間を要しました。
|
 |
|
|
|
| ６．経緯 |
| ３/１３(金） |
| |
５：２３ |
回線切り替え完了、ホスト環境変更完了 |
| |
５：４４ |
オンライン接続確認を実施しましたが確認方式に問題があり、異常を検出できず |
| |
６：１５ |
通信制御装置(SURE)にエラーメッセージ（ホストへの接続失敗）が多数発生
⇒原因調査開始 |
| |
７：４０ |
回線側交換機の情報より、ｅ−お菓子ねっと様サービスでエラーが発生していることを確認
⇒通信制御装置の定義情報を調査開始 |
| |
８：００ |
センタ担当者からｅ−お菓子ねっと担当ＳＥへ第一報連絡、担当ＳＥから担当営業へ連絡 |
| |
８：３０ |
原因判明 ⇒ 復旧作業に着手
原因：通信制御装置(SURE)の着信後ホスト振分け定義情報の設定誤り
お問合せのお客様には９：３０復旧見込と回答 |
| |
８：４５ |
ｅ−お菓子ねっとホームページに障害発生と９：３０復旧見込みを掲載 |
| |
９：３０ |
ホームページへの復旧見込みを１０：４０と訂正
加入全社様に対し、障害発生の第一報の障害ＦＡＸを送信 |
| |
１０：３５ |
ホームページへの復旧見込みを１１：００復旧見込と再訂正 |
| |
１１：００ |
ホームページへの復旧見込みを１２：００復旧見込と再々訂正 |
| |
１１：４５ |
e-お菓子ねっと様サービスの復旧を確認 ホームページへの復旧報告および障害ＦＡＸで復旧報告を送信 |
| |
１２：００ |
影響のあるお客様状況の確認に着手
・発注データを対象とし、１５：００時点での未配信メーカ様を抽出して電話フォローするために準備を実施 |
| |
１５：３０ |
１５：００時点の発注データ未配信メーカ様（１７６社）に対し、電話にて障害のお詫びと受信のお願いを実施 |
| |
１９：００ |
受信完了１４１社、未受信３５社 |
| ３/１４（土） |
| |
１５：００ |
受信完了１６４社、未受信１２社 |
| ３/１６（月） |
| |
１１：４５ |
受信完了１７６社、未受信０社 |
| |
|
以 上 |
|
|
|
