[an error occurred while processing this directive]
【FreeBSD】ログイン不能のサーバを呪文唱えて復活させました・・・

第342日目:【FreeBSD】ログイン不能のサーバを呪文唱えて復活させました・・・

【追記5 2013/02/05 10:50】
ども、ども、▲('A`)/です。
度々すみません。
今日の札幌は所によりちょっと風が強くて、新札幌では吹雪いています。
携帯の写真だと判りづらいかもしれませんが、こんな感じです。
(写真のところどころに黒い点が映っているかもしれませんが、これは
ほこりじゃなくて、逆行で映った雪です、ハイ。)

  

お日様もちょっと寒そうです。只今の気温はマイナス7℃です。
とりあえず玄関周りの結露を拭きとって、ライブカメラがちゃんと
見える様にしておきました。

それでは、また!▲('A`)/

【追記5 2013/02/05 09:30】
ども、ども、▲('A`)/です。
おはようございます。
今日から雪まつりがスタートなのですが、本州の方ではまた大雪になるかも、
という予報が出ていますね。ちょっと心配です。
さて、雪まつりの会場は「大通り」「つどーむ」「すすきの」の3会場と
分かれているのですが、「つどーむ」に行くのはちょっと難易度が高いかも
しれませんねえ。でも大丈夫ですよ。
こちらのページでも案内が出ている様に札幌各所からシャトルバスが
運行されています。
路線によってJR北海道バスか北海道中央バスのいずれかとなります。
それと、車両は通常の車両と同じものが使われるので、パッと見
他の路線バスと同じなので、行き先表示をよーく見て間違えない様に
してくださいね・・・
あと注意すべき点は、バス会社によっては現金のみ、とか、
「1DAYカード」(1日乗り放題の乗車券)が使えない、とかありますので
乗る前に確認してくださいね。
▲('A`)の会社がある新札幌からも「つどーむ」行きのバスが出ています。
(ただし、新札幌発の運行は2/9(土)〜2/11(祝)の3日間のみです。残念!)

雪祭り会場とか屋外で出歩く時には、特に足回りを重点に暖かい格好で
お出かけくださいね。暑ければ脱げばよいのです、ハイ。

さて、明日は2ヶ月に1度の病院詣で(脳外科&循環器)です。
心臓の方、何事もなけれな良いなあ・・・
という事で、明日▲('A`)はお休みを頂戴しますが、BIG-Server.comは
通常通り営業しておりますので、ご安心を。

それでは、また!▲('A`)/

【追記4 2013/02/04 13:10】
ども、ども、▲('A`)/です。
えーと、知り合いから「札幌だけを紹介しないでよ!」と突っ込まれましたので・・・
お隣の小樽のイベントを1つご紹介です。

小樽雪あかりの路 (2/8(金) - 2/17(日))

みなさんご存知の小樽運河に「浮き玉キャンドル」が灯ります。
寒いかもしれないですが、とても幻想的ですよ。
この時期には運河近くのガラス工房とかで展示販売とか製作体験とかが
開かれます。旅先で思い出の品を作る、なんていうのはどうでしょう?
(昔々▲('A`)がまだ元気な頃はジョッキを自作しに行ったりしました。
工房によっては宅配便を手配してくれたりしている所もあるので、
手ぶらで行って帰って、という事も可能です。)
札幌からだとJRの快速とか高速バスとか出ています。

それでは、また!▲('A`)/

【追記3 2013/02/04 10:20】
ども、ども、▲('A`)/です。
えーと、一時はどうなることかと思いましたが、札幌に適度な冷気が戻りました。
(道はザラメ上の雪道とガチガチに凍った道が半々くらいですね。)
雪祭りの雪像達も昨日懸命の補修でなんとか明日の開幕に間に合いました。
今週は雪まつり以外にも札幌では色々とイベントがあります。ちょっとご紹介しますね。

さっぽろ雪まつり 2/5(火) - 2/11(月・祝)
えーと、大通会場では6丁目で「北海道 食の広場」という事でラーメンやおでん、
スープカレー等が販売される予定です。
雪像を見ながら食べるのもいいかも、です。
なお、11丁目も侮れません。ここは国際広場という事で世界各国からやってきた
方々が雪像を作っているのですが、同じ会場で各国の料理が食べれるという場所です。
(昨年はケバブとか牛串とかがありましたが、今年はどんな料理が出るのでしょう?・・・)

円山動物園スノーフェスティバル 2/5(火) - 2/11(月・祝)
昨年に引き続き今年も開催されます。
今年はアジアゾーンができたので、さらに見所が増えたかと思います。
2/10(日)には夜間開放もあります。
夜間開放は夏場も行なわれていたのですが、冬も行なわれるんですね。
夜の動物園なんてどうでしょう?

・雪と虹のまつり 2/7(木)
これは札幌市内の藻岩山スキー場で年に1回開かれる催しです。
時間は16:00 〜 21:00で、この日はリフトが無料開放されます、
19:00頃から打ち上げ花火とファイヤーパレードがあります。
ファイヤーパレードは当日参加も可能だそうです。
えーと、スキーのレンタルも行なっているのですが、レンタルを
受ける時には北斜面側のロッジを尋ねてくださいね。
(ロッジは北・南の2つがあって、その間の行き来はできないと考えてください。)

この時期になると札幌のカプセルホテルとかは外国の方々でいっぱいになります。
「下手な宿にとまるよりも快適!」と言うのですよ・・・

それでは、また!▲('A`)/

【追記2 2013/02/02 09:30】
ども、ども、▲('A`)/です。
おはようございます。
今日は出社日でしたが、朝から大変でした。
札幌は昨日から暖気が入って暖かいです。今朝の気温はこんな感じです。



その為に住宅街の道はこんな風に「アイスアリーナ」になっているのです。

[01]   [02]

[01]は▲('A`)の自宅近くの道、[02]は地下鉄円山公園駅近くの「円山裏参道」での1枚です。
こんな風になるのは例年だと3月中旬とかで、もう少し満遍なく雪が少なくなってから
ドドーンと溶け出すのですが、今回は急に気温が上がったのでこんな状況になったのです。

この状況がどんなに危険かは実際来てもらわないと判らないでしょうねえ・・・
だってね、道路渡る時も「つるっ」、車も「止まらない、曲がれない、スタートできない」の
三重苦に陥ってますし・・・今日はあちこちで事故が多いかも、です。
何が嫌かって、明日(2/3)は札幌では大雪になって気温も10℃も下がるのです。
もしも雪が中途半端に降るなら、道はどこも完全に「鏡面仕立て」になります。
雪祭りの会場では雪像作りの人たちがこの暖気でてんやわんやになっていますが
こちらは、歩くのさえままならない状況です。

地下鉄の駅の出口の所でコンビニ帰りのおじいさんが天を仰いで「ワシはもう歩かん!」と
捨て台詞を残してよちよちと歩いていく姿が印象的でした。
(気持ち、よく判ります。出社日じゃなければ歩きたくないもん、、、)
今日は明るいうちに帰りたいです・・・夕方から冷え込むみだいだし(涙

それでは、また!▲('A`)/

【追記 2013/02/01 16:15】
ども、ども、▲('A`)/です。
えーと、先ほど会社の郵便受けを見てみたら、、、合コンのチラシが
入っていました。と言っても、別に怪しいもんじゃないのです。
会社がある新さっぽろでは実はこんなイベントがあるのです。

新さつコン2 VALENTINE PARTY〜赤の500人〜

新さつコンとは何か?と言いますと、まあ、新札幌界隈の
お店に集まって飲み食いしましょう、という事です。
実は昨年夏に第1回目は開かれていました。

えーと、▲('A`)は参加しません。もう新さっぽろに住んでいないし。
日曜日は自宅でゆっくりしています。
ただ、街ぐるみで合コンを企画するっていうのは嫌いじゃないですよ。
今回は翌日は祝日という事もありますが、冬という事でどうなんでしょう?
人集まるのかなあ?

それでは、また!▲('A`)/

↓ 本編はこちらです。

(2013/02/01 12:10)
ども、ども、▲('A`)/です。
えーと、今日は今週実際に起きましたサーバ障害で、掲題の通り
サーバにログインできなくなったサーバの復旧までの経緯を
ちょっと書こうかな、と思います。
小手先の技というか、「呪文」もいくつか出てきます。
参考になれば、と思います。

えーと、今年に入ってからBIG-Server.comのサーバをご利用頂いている
お客様で新しいサーバへの乗り換えが多くなってきています。
今でもIDEのHDDを積んだPentium4のBananaサーバを利用されている方も
いらっしゃいますが、今の所は以下の2つのサーバ群に二分されます。
T-Banana(RAID1のCore2Duo E6320 or E8500)
ハイブリッドBanana(HDD+SSDのCore i5 or i7)

まあ、T-Bananaサーバが世に出たのは2007年3月、ハイブリッドBananaが
発売(デビュー)したのが2010年8月です。
T-Bananaについては「まだ戦える!」という人もいますが、ハードウェアの
進歩と経年劣化を考えると、乗り換えするというのも良く判ります。
▲('A`)がこんな事を言うのも何なのですが、ハードウェアって「当たり外れ」が
本当にあるんですよ。
大切に使っていても、ある日突然いう事をきかなくなったりします。
今回のケースもまさにそうでした・・・

(´・ω・`):「大変だ!大変だ!〜」
▲('A`):「あらっ?どうしたの?」
(´・ω・`):「サーバの移転作業をやっていたら、突然ダウンして・・・」
▲('A`):「リブートはしたの?」
(´・ω・`):「うん。そしてpingは応答しているんだけど、SSHでログインできないんだ・・・」
▲('A`):「ありゃりゃ、、、じゃあデータセンタの人にお願いして、KVM繋いでもらって。」
(´・ω・`):「うん。もうお願いしているんだけど、ちょっと何か変だから見てもらえる?」
▲('A`):「うーん。判ったよ・・・」

まあ実作業はroot弟(´・ω・`)に任せて大丈夫だとは思うけど、こういうケースは
▲('A`)もあまり出くわさないので、いやーな感じはしていました。。。
あ、ここでKVMって何?という人もいらっしゃると思うので説明しますね。
KVMとはKVMスイッチの事で「Keyboard Video Mouse」のそれぞれの頭文字を
取ってKVMと言われています。このKVMスイッチというのは複数のマシン(サーバ)を
1組の入出力装置(キーボード、ディスプレイ、マウス)で操作できる様にする機械でして
今回使用しているのはこのKVMスイッチ自体にIPが割り当てられネットワークで
接続されているリモート型です。
この装置があるから、以前二人羽織で花子救出とか行なう事ができたのです。

あ、ちょっと話がずれてきた・・・修正、修正。
そして、、、

( *'ν`):「Hi! KVM is connected!」
(´・ω・`):「KVMに繋いだそうです。」
▲('A`):「ほい、ほい。うん、うん。ディスプレイもキーボードも反応している。
      操作できそうだ。」
(´・ω・`):「サーバの中にログインできますか?」
▲('A`):「えーと、ペチペチ。(Enterキーを押す音)・・・あれっ?Incorrectって出るなあ。。。」
(´・ω・`):「こっちでもやってみますね・・・ペチペチ。(Enterキーを押す音)・・・」
▲('A`):「どう?成功した?」
(´・ω・`):「ダメです。ログインできません。どうしよう・・・」
▲('A`):「ブートはするようだから、シングルユーザモードで立ち上げてみよう。」
(´・ω・`):「はい。(コンソール上の「Ctrl+Alt+Delete」ボタンをクリックする音。)・・・」
▲('A`):「うーん。(真っ暗なままの画面を見て)ダメだ、こりゃ!・・・」
(´・ω・`):「こんな時に、ドリフですか・・・」
▲('A`):「えー、えー、Please reboot this server manually again. Thank you.
     (このサーバ、もう一度手動で再起動して。おねがい。)」
( *'ν`):「Oh...OK!」

慣れていない人だったら本当に泣きたくなる様な状況ですが、まだ勝算はあります。
さっきbootしてOSが立ち上がったんですから。
サーバ障害の時は大抵OSが立ち上がらないというケースがほとんどで、大抵その場合は
MBR(Master Boot Record:マスターブートレコード)が読めなくなって「お亡くなり」と
いうのがほとんどですから。
そうじゃないだけ「まし」なのです、ハイ。

(´・ω・`):「あ、BIOS画面が出た。」
▲('A`):「お、じゃあ、メニューがでたら、4を押してシングルユーザモードで立ち上げて。」
(´・ω・`):「はい、4、と。」
( *'ν`):「Hi! rebooted.」
▲('A`):「Thanks! ▲('A`)ノシ」
(´・ω・`):「えーと、プロンプトがでましたけど。。。」
▲('A`):「あ、じゃあこっちで呪文唱えるね。」
(´・ω・`):「はーい、お願いします。(何を唱えるんだろう?・・・)」
▲('A`):「さて、、、」

えーと、シングルユーザモードでサーバを起動した後で、以下のチェックと
作業を行ないました。
まず、rootやその他のユーザでログインできなかったという事実を踏まえて・・・

1) /(ルートパーティション)下のファイルが閲覧できるか?
 確認するのは /etc/passwd、/etc/master.passwdをlsコマンドとcatコマンドで
 認識(閲覧)してみる。

  ls -l /etc
  cat /etc/passwd
  cat /etc/master.passwd

よし! /etc/master.passwdはちゃんと中身を見れた。リードはOK。
続いては・・・

2) fsckを実行しておく。

  fsck -y

この形式で実行をかけると、/etc/fstabに記述されているパーティション
全てに対してfsckが行なわれます。

3) 本当にユーザ情報が使えなくなっているのかを確かめるために、あえて
サーバをオンラインにして、SSHを動かしてみる。

えーと、ちょっとはしょりましたが、fsckが終わった後で残りの
パーティション(今回は /usr、/var、/homeの3つがあります)を
以下の様にマウントします。
どんなパーティションがあるのかは、cat /etc/fstabで確認してください。

  mount /var
  mount /usr
  mount /home

マウントする際明示的にオプションで読み(r)・書き(w)両方とも有効にする様に
-rw をつけても良いですが、/etc/fstabにも記述されているので、
上のコマンドで大丈夫です。

それと / パーティションも書込みできる様に再マウントしましょう。
(シングルユーザモードでは / パーティションはリードオンリーでマウント
されているからです。)

  mount /

こう叩けば、アンマウントしなくても書込みモードが有効になります。

次はネットワークを起動して、サーバ自体をオンラインにします。
コマンド実行前に外部からサーバにpingを打つとpingが通じないと
思います。

  /etc/netstart

「えっ、これだけでいいの?」って。ハイ、そうです。
pingコマンドを連続打ちしていたら、繋がりだしているのが判るはずです。

最後にSSHを起動します。SSHのデーモンであるsshdの起動用スクリプトは
FreeBSDでは/etc/rc.d/sshd となります。起動するときのコマンドは
以下の通りです。

  /etc/rc.d/sshd start

そうすると、SSHの起動がうまくいかなかったです。
「ほにゃらら user sshd does not exist.」と言われます。
これでパスワード情報のファイルが壊れているのが確定しました。
はあ・・・・

「なんでそこで壊れているって言い切れるの?」といいますと、
SSHのデーモンが動く時には専用ユーザsshdで動くからです。
もしよければ、/etc/passwdをcat してみてください。
こんなレコードがみつかるはずです。
FreeBSDではSSHがデフォルトで入っているのでユーザ登録もされてるし
LinuxでもパッケージからOpenSSHをインストールした時に併せて登録
されます、通常は。

sshd:*:22:22:Secure Shell Daemon:/var/empty:/usr/sbin/nologin

3) パスワードファイルを再作成する。
先ほどcatコマンドで閲覧できた/etc/master.passwdを使ってパスワードDB
(/etc/pwd.db、/etc/spwd.db)をpwd_mkdbコマンドを使って再作成する。

  pwd_mkdb /etc/master.passwd

せっかくなので、ちょっと解説します。
/etcディレクトリの中には/etc/passwd というファイルがありますが、
このファイルにはユーザのパスワード情報は除かれた形で記録されています。
実際のパスワードは/etc/master.passwdに記録されていて、更にOSやその他の
ソフトウェアでユーザ情報を参照したりする場合にデータベース化されたファイル
(それが/etc/pwd.db と /etc/spwd.db)で対応関係は以下の通りです。
  /etc/passwd -> 生成 -> /etc/pwd.db
  /etc/master.passwd -> 生成 -> /etc/spwd.db
  /etc/master.passwd -> パスワード情報のみ除く -> /etc/passwd
なので、/etc/master.passwdさえ手元にあれば、残りのファイルが作成できるのです。

4) 再度SSHの起動を試みる。
ちゃんとユーザ情報が再作成されたらちゃんと起動されるはずです。

  /etc/rc.d/sshd start

(´・ω・`):「ドキドキ・・・どうなりましたか?」
▲('A`):「(ピクッ)ハイッ!ちょっとSSHで繋がるか、試してみて。」
(´・ω・`):「あ、はい、はい。・・・繋がりましたー!」
▲('A`):「(/var/log/messagesの中を覗きながら・・・)うーん・・・」
(´・ω・`):「えーと、どうしました?」
▲('A`):「このサーバにお引越ししようとしてるの?」
(´・ω・`):「はい、お客様からそうお願いされているので・・・」
▲('A`):「ちょっとねえ・・・・」

いやあ、システムログ(/var/log/messages)に記録されていた内容を
解析していたのですが、こんなメッセージがやたらと出てまして。

bananaxxxx kernel: pid 51 (softdepflush), uid 0 inumber 14133550 on /home: bad block
bananaxxxx kernel: bad block 3400000498352547874, ino 14133550
bananaxxxx kernel: pid 51 (softdepflush), uid 0 inumber 14133550 on /home: bad block
bananaxxxx kernel: bad block 2321668521532076080, ino 14133550
bananaxxxx kernel: pid 51 (softdepflush), uid 0 inumber 14133550 on /home: bad block
bananaxxxx kernel: bad block 3611924495774854992, ino 14133550
bananaxxxx kernel: pid 51 (softdepflush), uid 0 inumber 14133550 on /home: bad block
bananaxxxx kernel: bad block 6076561101241215534, ino 14133550
bananaxxxx kernel: pid 51 (softdepflush), uid 0 inumber 14133550 on /home: bad block
bananaxxxx kernel: bad block 7076955346399604595, ino 14133550
bananaxxxx kernel: pid 51 (softdepflush), uid 0 inumber 14133550 on /home: bad block
bananaxxxx kernel: bad block 7306916042975944788, ino 14133550

どうもサーバ上の/homeパーティションでHDDの読みがうまく行かないブロックが
あった様で、fsckの時に修復処理がやたらと入っていました。
このまま使い続けるとデータのロストとか起きる可能性が考えられたので
引越し先を変えてもらえるかroot弟(´・ω・`)にお願いして、お客様と
交渉してもらいました。

幸いお客様の方でも判ってもらえた様で、ハイブリットBananaサーバに
引越しし直して事なきを得ました。
会社的には借りて頂いていたサーバが3台 -> 1台に減っちゃったので
残念でしたが、まあ、今後も快適に利用して頂ければ、と思います。

さて、気がつけばもう2月なんですね。ついこの間お正月を迎えたと
思ったのに・・・
札幌は雪祭りモードですが、駅前通り(JR札幌駅〜すすきの間)と
南1条通り(1丁目〜3丁目)はイルミネーションがまだ点灯しています。
雪祭り期間中も点いています。
ただ、今日と明日は札幌の気温がプラス(今日は4℃、明日は6℃)で
雪像作りの人は涙目でお化粧用の雪をペタペタしています。
昨年の様に雪像が崩れてケガ人が出ない事を祈っています。

それでは、また!▲('A`)/

341日目に戻る。   343日目に続く。

目次に戻る
1日目 2日目 3日目 4日目 5日目 6日目 7日目
8日目 9日目 10日目 11日目 12日目 13日目 14日目
15日目 16日目 17日目 18日目 19日目 20日目 21日目
22日目 23日目 24日目 25日目 26日目 27日目 28日目
29日目 30日目 31日目 32日目 33日目 34日目 35日目
36日目 37日目 38日目 39日目 40日目 41日目 42日目
43日目 44日目 45日目 46日目 47日目 48日目 49日目
50日目 51日目 52日目 53日目 54日目 55日目 56日目
57日目 58日目 59日目 60日目 61日目 62日目 63日目
64日目 65日目 66日目 67日目 68日目 69日目 70日目
71日目 72日目 73日目 74日目 75日目 76日目 77日目
78日目 79日目 80日目 81日目 82日目 83日目 84日目
85日目 86日目 87日目 88日目 89日目 90日目 91日目
92日目 93日目 94日目 95日目 96日目 97日目 98日目
99日目 100日目 101日目 102日目 103日目 104日目 105日目
106日目 107日目 108日目 109日目 110日目 111日目 112日目
113日目 114日目 115日目 116日目 117日目 118日目 119日目
120日目 121日目 122日目 123日目 124日目 125日目 126日目
127日目 128日目 129日目 130日目 131日目 132日目 133日目
134日目 135日目 136日目 137日目 138日目 139日目 140日目
141日目 142日目 143日目 144日目 145日目 146日目 147日目
148日目 149日目 150日目 151日目 152日目 153日目 154日目
155日目 156日目 157日目 158日目 159日目 160日目 161日目
162日目 163日目 164日目 165日目 166日目 167日目 168日目
169日目 170日目 171日目 172日目 173日目 174日目 175日目
176日目 177日目 178日目 179日目 180日目 181日目 182日目
183日目 184日目 185日目 186日目 187日目 188日目 189日目
190日目 191日目 192日目 193日目 194日目 195日目 196日目
197日目 198日目 199日目 200日目 201日目 202日目 203日目
204日目 205日目 206日目 207日目 208日目 209日目 210日目
211日目 212日目 213日目 214日目 215日目 216日目 217日目
218日目 219日目 220日目 221日目 222日目 223日目 224日目
225日目 226日目 227日目 228日目 229日目 230日目 231日目
232日目 233日目 234日目 235日目 236日目 237日目 238日目
239日目 240日目 241日目 242日目 243日目 244日目 245日目
246日目 247日目 248日目 249日目 250日目 251日目 252日目
253日目 254日目 255日目 256日目 257日目 258日目 259日目
260日目 261日目 262日目 263日目 264日目 265日目 266日目
267日目 268日目 269日目 270日目 271日目 272日目 273日目
274日目 275日目 276日目 277日目 278日目 279日目 280日目
281日目 282日目 283日目 284日目 285日目 286日目 287日目
288日目 289日目 290日目 291日目 292日目 293日目 294日目
295日目 296日目 297日目 298日目 299日目 300日目 301日目
302日目 303日目 304日目 305日目 306日目 307日目 308日目
309日目 310日目 311日目 312日目 313日目 314日目 315日目
316日目 317日目 318日目 319日目 320日目 321日目 322日目
323日目 324日目 325日目 326日目 327日目 328日目 329日目
330日目 331日目 332日目 333日目 334日目 335日目 336日目
337日目 338日目 339日目 340日目 341日目 342日目 343日目
344日目 345日目 346日目 347日目 348日目 349日目 350日目
351日目 352日目 353日目 354日目 355日目 356日目 357日目
358日目 359日目 360日目 361日目 362日目 363日目 364日目

いま一番お得なページ! 解析
[an error occurred while processing this directive]