待辦事項 #39529

wpdocs プロジェクトサイトダウン

啟用日期: 2019-09-02 17:39 最後更新: 2019-10-16 17:26

回報者:
負責人:
(無)
類型:
狀態:
關閉
元件:
里程碑:
(無)
優先權:
5 - 中
嚴重程度:
5 - 中
處理結果:
修正
檔案:
Vote
Score: 0
No votes
0.0% (0/0)
0.0% (0/0)

細節

wpdocs UNIX 管理者の田中と申します。 お世話になっております。

wpdocs で使わせていただいておりますプロジェクトサイトが 9/2 17:35 現在ダウンしております。

(連絡をもらいましたのが 15:40 でしたので、もう少し前から落ちていたかもしれません)

https://wpdocs.osdn.jp/Main_Page

"Sorry! This site is experiencing technical difficulties."

http ステータースは 200 のようですが原因が分かりますでしょうか。

お忙しいところ申し訳ありません。サポートをお願いいたします。

Ticket History (3/6 Histories)

2019-09-02 17:39 Updated by: h1romas4
  • New Ticket "wpdocs プロジェクトサイトダウン" created
2019-09-02 18:07 Updated by: sugi
評語

ユーザ単位の DB の接続数制限の上限に達しているようです。

タイミング問題なのかちょっとわかりませんが、UPDATE のリクエストないし、その前のロック要求でテーブルがロックされ、それ以降全てのリクエストが詰まっている感じにみえます。

ちょっとどの様な条件で起きるかまでは確認していませんが、おそらくアプリケーション側の SQL の問題かも知れません。 (あと、この状況(DBへの新たな接続が作れない)状態でも 200 を返してしまうのは確かにちょっと困りますね……。)

さておき、とりあえず現象を解決にするには詰まっているクエリを kill すれは良いのですが、既にこれ以上接続が作れない状態になっしまっています。 こちらで kill してしまって良いでしょうか?

(Edited, 2019-09-02 18:13 Updated by: sugi)
2019-09-02 18:20 Updated by: sugi
評語

とりあえず現象を解決にするには詰まっているクエリを kill すれは良いのですが、既にこれ以上接続が作れない状態になっしまっています。 こちらで kill してしまって良いでしょうか?

試しに設定値を 30 → 40 にあげてみたんですが、あっという間に新規接続で埋まってしまいました。 これだとどちらにせよ、プロジェクト管理者側でやっていただくのは厳しそうなのでこちらで kill しました。

一番古い状態で残っていたのが以下のものですが、これを kill した所、(ロックが解除されて) 詰まっていた全部の処理が片付いています。

| 148327056 | wpdocs | sf-usr-shell.usr.sourceforge.jp:47334    | wpdocs | Query       |   46156 | Writing to net                                                        | SELECT /* WikiExporter::dumpFrom  */  /*! STRAIGHT_JOIN */ *  FROM `mw_page` FORCE INDEX (PRIMARY) INNER JOIN `mw_revision` ON ((page_id=rev_page)) INNER JOIN `mw_text` ON ((rev_text_id=old_id))   ORDER BY page_id ASC                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   

ただ、これを発行した元(エクスポータ?)は失敗しているかと思いますので、ご確認ください。

(Edited, 2019-09-02 18:21 Updated by: sugi)
2019-09-02 18:36 Updated by: h1romas4
評語

対応ありがとうございました。 サイトの復帰確認いたしました。

SQL についてエクスポーターに類するものを動作したかどうか確認します。

(shell サーバーの cron を使った定期のバックアップの暴走か、何かしらの手動のエクスポート操作かと予想しています)

大変お手数をおかけしました。

2019-09-02 23:37 Updated by: h1romas4
評語

お世話になっております。

事象について調査しましたところ、shell サーバーの crontab にて毎日 5:00 に設定しているバックアップ用の mediawiki エクスポーターが kill していただいた 18:18 まで長時間走行となっておりました。(通常は1分程度で終了します)

おそらく同時刻にご指摘の通り何かしらの update が発行されテーブルロックにより、動作が不正になったのだと考えています。 wiki を更新できるユーザーは限られていますので、念の為そのあたりの時間の更新を控えるように周知いたします。

以上、大変お手数をおかけいたしました。ありがとうございました。

2019-10-16 17:26 Updated by: ishikawa
  • 元件 Update from (無) to ProjectWeb
  • 處理結果 Update from to 修正
  • 狀態 Update from 開啟 to 關閉
評語

クローズいたします

Attachment File List

No attachments

編輯

You are not logged in. I you are not logged in, your comment will be treated as an anonymous post. » 登入