モロモロ工事中です

mysqlのibdataが原因でディスクフルになったときに復旧方法

開発環境 — タグ: , — さくら @ 2011/08/27 17:32

さっきまで落ちてたsakuratan.bizです。どーもすみません。

原因は MySQL の InnoDB が使用する ibdata ファイルがディスクを食いつぶしてディスクフルになってたためでした。

ibdata はテーブルスペースを保存するファイルで、CentOS ですとデフォルトで /var/lib/mysql/ibdata1 に作成されます。MySQL のデフォルトでは ibdata が自動で拡張されていく設定になっていますので、放っておくとどんどんファイルサイズがでかくなって、さくらの VPS とかですと結構あっさりディスクフルになりました。

とりあえず復旧できたんで手順とか残しときます。同じようにトラブった方は参考程度にどうぞ。

まず ibdata1 がディスクを食いつぶしているので、復旧するにはこれを消すとかファイルを小さく必要があります。

ファイルサイズを小さくする方法は調べたらいっぱいでてきますので（13.5.7 InnoDB データとログ ファイルの追加と削除 とか ibdata1 のサイズを減らす手順 とか ibdata1のサイズを減らす方法とか）、概要だけ引用しますと、

  1. 全ての InnoDB テーブルをダンプする為に mysqldump を利用してください。
  2. サーバを停止してください。
  3. 全ての存在するテーブルスペース ファイルを削除してください。
  4. 新しいテーブルスペースを設定してください。
  5. サーバを再起動してください。
  6. ダンプ ファイルをインポートしてください。

MySQL :: MySQL 5.1 リファレンスマニュアル :: 13.5.7 InnoDB データとログ ファイルの追加と削除

という感じだったりします。要はバックアップ取ってテーブルスペースを作り直せということのようです。

ただまあディスクフルしてるんでサーバ上に mysqldump のダンプファイルなんか置けないので、ssh 経由で mysqldump を実行することにしました。↓のように ssh を起動することで、ネットワーク越しにコマンドを実行して mysqldump の出力をローカルに直接保存できます。

ssh who@domain \
mysqldump -v -u DBUSER \
--default-character-set=binary -p DBNAME \
TABLE1 TABLE2 ...  | \
gzip > mysql.dump

それとコマンドを実行する前にサーバ上のサービスをできるだけ止めてある程度作業用のメモリの確保して、ついでに不要なファイルをできるだけ削除しておいた方が良いと思います。メモリかスワップか何が原因か調べてる暇も無かったので詳細は不明ですが、リソースが足らないと mysqldump がテーブル構造を読み込む際にエラーを出します。

今回はリストアする必要が無いテーブルが何個かありましたのでダンプする対象をテーブル単位で指定していますが、全部リストアする場合はデータベース単位で指定してもらえばよろしいかと思います。運用形態によっては mysqldump に –single-transaction オプションを指定してもらった方が良いかもしれません（とりあえずウチんとこでは不要だったので指定してませんが）。

ダンプできたら mysql を止めてから ibdata1 と ib_logfile0 と ib_logfile1 を消します。他のサイトだとリネームした方が良いとか書いてますがそんな余裕無いのでいきなりマジ削除しました。最悪データ全部豚でもいーや、の覚悟でどうぞw

cd /var/lib/mysql
rm -f ibdata1 ib_logfile[01]

/etc/my.cnf に ibdata1 のサイズ制限と innodb_file_per_table を加えてからmysqld を再起動して回復しましたよ、という感じです。

innodb_data_file_path=ibdata1:10M:autoextend:MAX:100M
innodb_file_per_table

innodb_file_per_table を指定すると、各テーブルの中身は共有テーブルスペースでは無く個別のファイルに保存されるようになるのですが、こっちのファイルも放置しておくと大きくなっていきますので、定期的に ALTER TABLE を実行してデフラグする必要があります。（詳しくは 13.5.14.3 テーブルのデフラグメント化 とか 拡張され続ける InnoDB のデータファイルのサイズを小さくする方法 とかをご覧ください。）

ALTER TABLE table1 ENGINE=InnoDB;

個別に ALTER TABLE 実行するのも面倒なので、全ての InnoDB テーブルに対して ALTER TABLE を実行するスクリプトも書いてみました。よろしければどうぞ。

#!/usr/bin/env python

import MySQLdb

def main():
    conn = MySQLdb.connect(user='root')
    cur = conn.cursor()
    cur.execute('SHOW DATABASES')
    databases = [database for database, in cur if database != 'mysql']
    cur.close()
    conn.close()

    for database in databases:
        conn = MySQLdb.connect(user='root', db=database)
        cur1 = conn.cursor()
        cur1.execute('SHOW TABLE STATUS')
        for t in cur1:
            tablename = t[0]
            engine = t[1]
            if engine and engine.lower() == 'innodb':
                print 'Defrag %s.%s' % (database, tablename)
                cur2 = conn.cursor()
                cur2.execute('ALTER TABLE %s ENGINE=INNODB' % tablename)
                cur2.close()
        cur1.close()
        conn.close()

if __name__ == '__main__':
    main()

MySQL にパスワード無しで root ログインできる前提でスクリプト書いてますので、その辺の設定変えている方は適当に改造して使ってください。

76件のコメント

  1. Widget バージョン2を利用させて頂いておりますm(_ _)m
    本、ミュージック、DVDはいまだに落ちてるお(´･ω･｀)

    コメント by midori — 2011 年 8 月 27 日 @ 18:39

  2. 同じくver2をひと通り利用させてもらってますが、widgetが一切表示されない状態が続いております。

    コメント by 匿名 — 2011 年 8 月 28 日 @ 03:48

  3. twitterの方に知らせた方が早いかも知れません

    コメント by tak — 2011 年 8 月 28 日 @ 05:09

  4. あら本当ですね。直しますので少々お待ちください。
    ちなみに widget は別のサーバで動かしてますので今回のサーバ移転は関係ないです。

    コメント by さくら — 2011 年 8 月 28 日 @ 15:31

  5. 直しました。某外部ウェブサービスを使っているのですがそれのバージョンが上がって一部動かなくなっていたようです。
    表示が直るのはサーバ上のデータのキャッシュの有効期限が切れてからになりますので、もうちょっと時間かかると思います。

    コメント by さくら — 2011 年 8 月 28 日 @ 15:48

  6. キャッシュのタイムアウト確認しました。全部直ってると思います。
    ↓もどうぞ。
    http://sakuratan.biz/archives/4574

    コメント by さくら — 2011 年 8 月 28 日 @ 17:01

  7. Can ｙoս tell uѕ more aƅout this? Ι’ⅾ like to find out some additional іnformation.

    Feel free to surf to᧐ my bloog post :: https://www.youtube.com/watch?v=3n6qU2luteg

    コメント by https://www.youtube.com/watch?v=3n6qU2luteg — 2018 年 8 月 11 日 @ 02:31

  8. 座椅子のなるほど案。記録文書をたてる。座椅子の当て嵌めるおもいのほかとは。直後にな感じで行きます。

    コメント by 座椅子｜裏側を解説します — 2019 年 3 月 15 日 @ 13:27

  9. Everything posted made a bunch of sense. However,
    think on this, what if you added a little content? I ain’t suggesting your information is not solid., however what if you added a
    headline that makes people desire more? I mean mysqlのibdataが原因でディスクフルになったときに復旧方法 |
    さくらたんどっとびーず is a little plain. You might peek
    at Yahoo’s home page and note how they write article titles to
    get people interested. You might add a video or a picture or two to get people excited about what you’ve
    written. Just my opinion, it could make your website a little
    livelier.

    コメント by Shizuka Kudo — 2020 年 3 月 3 日 @ 07:14

  10. Kumpulan situs daftar mpo slot gacor terbaru dan terpercaya deposit pulsa tanpa potongan 24jam

    コメント by mpo slot terbaru — 2022 年 10 月 29 日 @ 03:16

  11. This site was… how do I say it? Relevant!! Finally I have found something that helped me.
    Thank you!

    コメント by slot deposit pulsa tanpa potongan — 2023 年 5 月 4 日 @ 12:17

  12. エルメス ユニクロ zara

    非常にいい書いてあったけどそうは思えない。
    自社基準なので仕方ないと思うけど、もうここで買わない。

    トラックバック by エルメス ユニクロ zara — 2023 年 9 月 15 日 @ 16:08

  13. Instagram URL Shortener

    [...]please check out the internet sites we follow, like this one, because it represents our picks through the web[...]

    トラックバック by Instagram URL Shortener — 2025 年 1 月 12 日 @ 03:41

  14. esports

    [...]Sites of interest we have a link to[...]

    トラックバック by esports — 2025 年 3 月 25 日 @ 18:02

  15. french bulldog texas

    [...]Here is a good Blog You might Come across Intriguing that we Encourage You[...]

    トラックバック by french bulldog texas — 2025 年 3 月 27 日 @ 01:22

  16. french bulldog

    [...]The details mentioned inside the post are several of the most beneficial available [...]

    トラックバック by french bulldog — 2025 年 3 月 27 日 @ 05:50

  17. french bulldog rescue

    [...]always a big fan of linking to bloggers that I adore but really don’t get a good deal of link like from[...]

    トラックバック by french bulldog rescue — 2025 年 3 月 27 日 @ 08:06

  18. isla mujeres golf cart rental

    [...]we like to honor quite a few other net web-sites on the net, even when they aren稚 linked to us, by linking to them. Beneath are some webpages worth checking out[...]

    トラックバック by isla mujeres golf cart rental — 2025 年 3 月 27 日 @ 09:22

  19. dog registry

    [...]the time to read or check out the content material or web-sites we’ve linked to beneath the[...]

    トラックバック by dog registry — 2025 年 3 月 27 日 @ 11:46

  20. arma reforger ESP

    [...]one of our visitors not too long ago encouraged the following website[...]

    トラックバック by arma reforger ESP — 2025 年 3 月 27 日 @ 18:47

  21. marvel rivals hacks

    [...]Here is an excellent Weblog You may Uncover Fascinating that we Encourage You[...]

    トラックバック by marvel rivals hacks — 2025 年 3 月 28 日 @ 00:44

  22. delta wallhack

    [...]below you will uncover the link to some internet sites that we consider you ought to visit[...]

    トラックバック by delta wallhack — 2025 年 3 月 28 日 @ 00:49

  23. undetected battlefield hacks

    [...]The information talked about in the report are some of the best out there [...]

    トラックバック by undetected battlefield hacks — 2025 年 3 月 28 日 @ 01:14

  24. mw3 cheats download

    [...]the time to study or stop by the content material or web sites we have linked to beneath the[...]

    トラックバック by mw3 cheats download — 2025 年 3 月 28 日 @ 05:42

  25. download hunt cheats

    [...]below you値l locate the link to some sites that we believe you must visit[...]

    トラックバック by download hunt cheats — 2025 年 3 月 28 日 @ 07:20

  26. chamy rim dips

    [...]always a huge fan of linking to bloggers that I like but don稚 get lots of link like from[...]

    トラックバック by chamy rim dips — 2025 年 3 月 31 日 @ 04:23

  27. french bulldog for sale near me

    [...]Wonderful story, reckoned we could combine a handful of unrelated information, nonetheless truly worth taking a appear, whoa did a single find out about Mid East has got extra problerms too [...]

    トラックバック by french bulldog for sale near me — 2025 年 3 月 31 日 @ 09:39

  28. clima en chimalhuacán

    [...]we prefer to honor lots of other web web sites around the net, even if they aren稚 linked to us, by linking to them. Under are some webpages worth checking out[...]

    トラックバック by clima en chimalhuacán — 2025 年 3 月 31 日 @ 12:01

  29. condiciones climaticas queretaro

    [...]check below, are some entirely unrelated internet sites to ours, on the other hand, they may be most trustworthy sources that we use[...]

    トラックバック by condiciones climaticas queretaro — 2025 年 3 月 31 日 @ 13:20

  30. grey frenchies

    [...]Sites of interest we have a link to[...]

    トラックバック by grey frenchies — 2025 年 3 月 31 日 @ 16:46

  31. best probiotic for french bulldogs

    [...]Here is an excellent Weblog You may Uncover Exciting that we Encourage You[...]

    トラックバック by best probiotic for french bulldogs — 2025 年 3 月 31 日 @ 18:51

  32. moped rental isla mujeres

    [...]that will be the end of this post. Right here you will come across some web-sites that we feel you値l value, just click the links over[...]

    トラックバック by moped rental isla mujeres — 2025 年 4 月 1 日 @ 04:11

  33. rent a yacht in cancun

    [...]please check out the sites we stick to, including this a single, as it represents our picks from the web[...]

    トラックバック by rent a yacht in cancun — 2025 年 4 月 1 日 @ 07:28

  34. isla mujeres condo

    [...]The facts talked about inside the write-up are a few of the best available [...]

    トラックバック by isla mujeres condo — 2025 年 4 月 1 日 @ 07:29

  35. french bulldog puppies for sale $200

    [...]always a big fan of linking to bloggers that I like but do not get a good deal of link adore from[...]

    トラックバック by french bulldog puppies for sale $200 — 2025 年 4 月 1 日 @ 08:41

  36. french bulldog blue color

    [...]Here is a superb Blog You might Locate Interesting that we Encourage You[...]

    トラックバック by french bulldog blue color — 2025 年 4 月 1 日 @ 12:16

  37. dump him shirt

    [...]just beneath, are a lot of entirely not associated web sites to ours, however, they may be certainly worth going over[...]

    トラックバック by dump him shirt — 2025 年 4 月 2 日 @ 02:25

  38. in vitro fertilization mexico

    [...]just beneath, are quite a few absolutely not associated internet sites to ours, nonetheless, they are certainly worth going over[...]

    トラックバック by in vitro fertilization mexico — 2025 年 4 月 2 日 @ 02:37

  39. elizabeth kerr

    [...]just beneath, are quite a few entirely not associated websites to ours, nevertheless, they may be surely really worth going over[...]

    トラックバック by elizabeth kerr — 2025 年 4 月 2 日 @ 06:53

  40. 늑대닷컴

    [...]the time to read or check out the content or web pages we’ve linked to below the[...]

    トラックバック by 늑대닷컴 — 2025 年 4 月 2 日 @ 18:00

  41. johnny dang

    [...]Every after inside a though we opt for blogs that we read. Listed below are the most recent web sites that we pick [...]

    トラックバック by johnny dang — 2025 年 4 月 2 日 @ 21:42

  42. 늑대닷컴

    [...]Every after in a whilst we select blogs that we study. Listed below would be the most current web-sites that we decide on [...]

    トラックバック by 늑대닷컴 — 2025 年 4 月 3 日 @ 01:26

  43. joyce echols

    [...]check beneath, are some totally unrelated internet websites to ours, on the other hand, they are most trustworthy sources that we use[...]

    トラックバック by joyce echols — 2025 年 4 月 3 日 @ 16:01

  44. yorkie poo breeding

    [...]please stop by the web pages we stick to, including this one particular, as it represents our picks in the web[...]

    トラックバック by yorkie poo breeding — 2025 年 4 月 3 日 @ 16:28

  45. boston terrier puppies in massachusetts

    [...]always a large fan of linking to bloggers that I like but don稚 get a great deal of link love from[...]

    トラックバック by boston terrier puppies in massachusetts — 2025 年 4 月 3 日 @ 23:05

  46. dog probiotic chews on amazon

    [...]usually posts some extremely intriguing stuff like this. If you are new to this site[...]

    トラックバック by dog probiotic chews on amazon — 2025 年 4 月 4 日 @ 02:43

  47. fertility institute of nj

    [...]here are some links to sites that we link to because we believe they may be worth visiting[...]

    トラックバック by fertility institute of nj — 2025 年 4 月 4 日 @ 23:35

  48. dr kim acupuncture

    [...]we came across a cool web page which you may possibly get pleasure from. Take a look in case you want[...]

    トラックバック by dr kim acupuncture — 2025 年 4 月 5 日 @ 00:42

  49. we buy french bulldogs

    [...]usually posts some very fascinating stuff like this. If you are new to this site[...]

    トラックバック by we buy french bulldogs — 2025 年 4 月 9 日 @ 03:12

  50. mexican candy store near me

    [...]please visit the internet sites we follow, including this a single, because it represents our picks in the web[...]

    トラックバック by mexican candy store near me — 2025 年 4 月 9 日 @ 08:50

  51. mexican candy store near me

    [...]please take a look at the web sites we comply with, such as this 1, as it represents our picks through the web[...]

    トラックバック by mexican candy store near me — 2025 年 4 月 9 日 @ 12:43

  52. mexican candy store near me

    [...]very couple of web-sites that come about to be detailed below, from our point of view are undoubtedly nicely really worth checking out[...]

    トラックバック by mexican candy store near me — 2025 年 4 月 9 日 @ 15:04

  53. mexican candy store near me

    [...]although sites we backlink to below are considerably not associated to ours, we really feel they may be actually worth a go by means of, so possess a look[...]

    トラックバック by mexican candy store near me — 2025 年 4 月 9 日 @ 15:37

  54. linh hoang

    [...]although sites we backlink to below are considerably not connected to ours, we really feel they are in fact really worth a go through, so possess a look[...]

    トラックバック by linh hoang — 2025 年 4 月 9 日 @ 21:50

  55. french bulldog shop

    [...]Sites of interest we’ve a link to[...]

    トラックバック by french bulldog shop — 2025 年 4 月 12 日 @ 07:05

  56. brazil crop top

    [...]we came across a cool website which you may possibly take pleasure in. Take a search when you want[...]

    トラックバック by brazil crop top — 2025 年 4 月 13 日 @ 04:04

  57. gaming

    [...]just beneath, are many totally not related sites to ours, on the other hand, they may be certainly worth going over[...]

    トラックバック by gaming — 2025 年 4 月 13 日 @ 14:41

  58. mexican candy store

    [...]Here is a good Blog You may Discover Interesting that we Encourage You[...]

    トラックバック by mexican candy store — 2025 年 4 月 14 日 @ 23:42

  59. clima cuautitlán izcalli

    [...]usually posts some incredibly exciting stuff like this. If you池e new to this site[...]

    トラックバック by clima cuautitlán izcalli — 2025 年 4 月 18 日 @ 03:25

  60. culiacan clima

    [...]Sites of interest we’ve a link to[...]

    トラックバック by culiacan clima — 2025 年 4 月 18 日 @ 05:04

  61. wix seo

    [...]the time to study or pay a visit to the subject material or web-sites we have linked to beneath the[...]

    トラックバック by wix seo — 2025 年 4 月 18 日 @ 06:43

  62. best canine probiotics for bullies

    [...]Here is a superb Weblog You may Find Fascinating that we Encourage You[...]

    トラックバック by best canine probiotics for bullies — 2025 年 4 月 18 日 @ 15:40

  63. probiotics for english bulldogs

    [...]please check out the web sites we follow, such as this a single, because it represents our picks from the web[...]

    トラックバック by probiotics for english bulldogs — 2025 年 4 月 18 日 @ 15:50

  64. french bulldog pug mix

    [...]Here is a good Blog You may Discover Interesting that we Encourage You[...]

    トラックバック by french bulldog pug mix — 2025 年 4 月 18 日 @ 18:03

  65. french bulldog poodle mix

    [...]please check out the websites we follow, which includes this a single, as it represents our picks from the web[...]

    トラックバック by french bulldog poodle mix — 2025 年 4 月 18 日 @ 18:37

  66. Dog Papers

    [...]we like to honor several other internet sites around the net, even if they aren稚 linked to us, by linking to them. Under are some webpages really worth checking out[...]

    トラックバック by Dog Papers — 2025 年 4 月 25 日 @ 22:22

  67. Dog Breed Registries

    [...]although websites we backlink to beneath are considerably not related to ours, we really feel they are in fact really worth a go as a result of, so have a look[...]

    トラックバック by Dog Breed Registries — 2025 年 4 月 25 日 @ 22:57

  68. How To Get My Dog Papers

    [...]please stop by the web-sites we adhere to, such as this one particular, as it represents our picks through the web[...]

    トラックバック by How To Get My Dog Papers — 2025 年 4 月 26 日 @ 08:28

  69. How To Obtain Dog Papers

    [...]Wonderful story, reckoned we could combine some unrelated information, nevertheless really really worth taking a search, whoa did 1 learn about Mid East has got much more problerms at the same time [...]

    トラックバック by How To Obtain Dog Papers — 2025 年 4 月 26 日 @ 16:07

  70. Dog Registry

    [...]The information talked about in the report are a few of the best out there [...]

    トラックバック by Dog Registry — 2025 年 4 月 26 日 @ 19:44

  71. Dog Breed Registries

    [...]Sites of interest we’ve a link to[...]

    トラックバック by Dog Breed Registries — 2025 年 4 月 26 日 @ 22:05

  72. Dog Registry

    [...]that would be the end of this post. Here you will uncover some internet sites that we feel you will value, just click the hyperlinks over[...]

    トラックバック by Dog Registry — 2025 年 4 月 26 日 @ 22:53

  73. Dog Papers

    [...]one of our guests a short while ago advised the following website[...]

    トラックバック by Dog Papers — 2025 年 4 月 27 日 @ 00:40

  74. Dog Papers

    [...]one of our guests not long ago advised the following website[...]

    トラックバック by Dog Papers — 2025 年 4 月 28 日 @ 00:30

  75. Dog Papers

    [...]one of our visitors recently advised the following website[...]

    トラックバック by Dog Papers — 2025 年 4 月 28 日 @ 01:22

  76. Dog Papers

    [...]here are some links to web-sites that we link to since we feel they’re really worth visiting[...]

    トラックバック by Dog Papers — 2025 年 4 月 28 日 @ 04:19

この投稿へのコメントの RSS フィード。 TrackBack URI

現在、コメントフォームは閉鎖中です。

Copyright © 2025 さくらたんどっとびーず | powered by WordPress with Barecity