[an error occurred while processing this directive]
■ 【ぷろじぇくと ぞうさん】 〜E-Bananaサーバ 構築日記〜

目次に戻る
1日目 2日目 3日目 4日目 5日目 6日目 7日目
8日目 9日目 10日目 11日目 12日目 13日目 14日目
15日目 16日目 17日目 18日目 19日目 20日目 21日目
22日目 23日目 24日目 25日目 26日目 27日目 28日目
29日目 30日目 31日目 32日目 33日目 34日目 35日目
36日目 37日目 38日目 39日目 40日目 41日目 42日目
43日目 44日目 45日目 46日目 47日目 48日目 49日目
50日目 51日目 52日目 53日目 54日目 55日目 56日目
57日目 58日目 59日目 60日目 61日目 62日目 63日目
64日目 65日目 66日目 67日目 68日目 69日目 70日目
71日目 72日目 73日目 74日目 75日目 76日目 77日目
78日目 79日目 80日目 81日目 82日目 83日目 84日目
85日目 86日目 87日目 88日目 89日目 90日目 91日目
92日目 93日目 94日目 95日目 96日目 97日目 98日目
99日目 100日目 101日目 102日目 103日目 104日目 105日目
106日目 107日目 108日目 109日目 110日目 111日目 112日目
113日目 114日目 115日目 116日目 117日目 118日目 119日目
120日目 121日目 122日目 123日目 124日目 125日目 126日目
127日目 128日目 129日目 130日目 131日目 132日目 133日目
134日目 135日目 136日目 137日目 138日目 139日目 140日目
141日目 142日目 143日目 144日目 145日目 146日目 147日目
148日目 149日目 150日目 151日目 152日目 153日目 154日目
155日目 156日目 157日目 158日目 159日目 160日目 161日目
162日目 163日目 164日目 165日目 166日目 167日目 168日目
169日目 170日目 171日目 172日目 173日目 174日目 175日目
176日目 177日目 178日目 179日目 180日目 181日目 182日目
183日目 184日目 185日目 186日目 187日目 188日目 189日目
190日目 191日目 192日目 193日目 194日目 195日目 196日目
197日目 198日目 199日目 200日目 201日目 202日目 203日目
204日目 205日目 206日目 207日目 208日目 209日目 210日目
211日目 212日目 213日目 214日目 215日目 216日目 217日目
218日目 219日目 220日目 221日目 222日目 223日目 224日目
225日目 226日目 227日目 228日目 229日目 230日目 231日目
232日目 233日目 234日目 235日目 236日目 237日目 238日目
239日目 240日目 241日目 242日目 243日目 244日目 245日目
246日目 247日目 248日目 249日目 250日目 251日目 252日目
253日目 254日目 255日目 256日目 257日目 258日目 259日目
260日目 261日目 262日目 263日目 264日目 265日目 266日目
267日目 268日目 269日目 270日目 271日目 272日目 273日目
274日目 275日目 276日目 277日目 278日目 279日目 280日目
281日目 282日目 283日目 284日目 285日目 286日目 287日目
288日目 289日目 290日目 291日目 292日目 293日目 294日目
295日目 296日目 297日目 298日目 299日目 300日目 301日目
302日目 303日目 304日目 305日目 306日目 307日目 308日目
309日目 310日目 311日目 312日目 313日目 314日目 315日目
316日目 317日目 318日目 319日目 320日目 321日目 322日目
323日目 324日目 325日目 326日目 327日目 328日目 329日目
330日目 331日目 332日目 333日目 334日目 335日目 336日目
337日目 338日目 339日目 340日目 341日目 342日目 343日目
344日目 345日目 346日目 347日目 348日目 349日目 350日目
351日目 352日目 353日目 354日目 355日目 356日目 357日目
358日目 359日目 360日目 361日目 362日目 363日目 364日目
第12日目:Coffee Break 〜64bitとメモリ容量について〜

どうも、('A`)です。
昨日taspoカード(自販機でタバコを買う時に必要になる身分証明カード)が('A`)のところに
届きました。さっそくチャージ機能でお金を入れようとタバコの自販機まで行ったのですが
('A`)の住んでいる札幌では5月1日からのスタートなので、何もできずにトボトボと会社に
戻るはめに・・・
しかも会社に戻ったら鯖子(J( 'ー`)し)が「そんな事する時間があったら日記書きなさいよ!」と
急きたてます。今matdのコンパイルがどうやってもエラーになるという「煮詰まった状況」を
少しでも進展させようと努めているのに・・・でもうまくいかないなあ。

エラーメッセージと「にらめっこ」していると、後ろからあぶらみくん(以下、 ( `э´))が
「おいっ、('A`)!」と声をかけてきました。

( `э´):「あのさあ、お願いがあるんだけど。」
('A`):「ちょっと今煮詰まってるけど・・・なーに?」
( `э´):「いやあ、実は64ビットサーバなんだけど・・・やっぱりおかしいよ。」
('A`):「ん、どっかのサーバがダウンしたとか?」
( `э´):「そうじゃないけど・・・あの「暫定解決方法」で対応してからは順調だよ。
      でも改めて考えると、やっぱりおかしいなあ、と思うんだ。」
('A`):「んで、お願いって何?」
( `э´):「日記で今回の事を取り上げて欲しいんだ。」
('A`):「えっ、いいけど・・・なんでまた?」
( `э´):「世の中の他の人達も俺たちと同じ現象に遭遇しているのかなあ、って。
      もしまだだったら紹介した方が良いかな、と思ったんだ。」
('A`):「うーん、確かにあれは「不思議な動き」だったからなあ。」
( `э´):「だろっ、だろっ!じゃあ任せたよ!」

そんな訳で今日はロードバランサーのお話からちょっと離れて、先月( `э´)と('A`)が
遭遇した64ビットサーバの「不思議な動き」について取り上げます。
(勉強不足かもしれないけど、正直、未だにこの原因がはっきりと判らないです・・・)
コーヒーを飲んで一息つきながら、改めて当時の記憶を辿って書いてみます。

( `э´)が言っていた「不思議な動き」とは以下の通りです。
・「最初から4GBのメモリを搭載したサーバ」に64ビットOS(FreeBSD 6.2R amd64)を
 インストールすると、インストールに長い時間がかかる。
・その後Apache等のソフトウェアをインストールする時にも、コンパイル等にかかる
 時間が異様にかかる。
・インストール完了後サーバを稼働させると、CPUの使用率がすごく高くなり易い。
 (CPUの空きがすぐに無くなる)
  → 例えばApacheの子プロセスが意味もなくCPUを断続的に使用し続ける、など

この現象が確認されたのは、先月2chにcサーバ(c2x)が登場した時期です。
当時のcサーバの導入状況はこのスレとかこのスレとかで確認できますが、
cサーバはメモリは4GBを搭載して最初64bit(amd64)で構築していました。
当時eAcceleratorやApacheの設定チューニング(Listen 80など)でサーバの負荷を
軽減する作業を行いました。が、どうしても負荷が高い状態になるので、やむなく
32bit(i386)に再インストールしました。
OSで認識できるメモリ容量は3.5GB(これが32bitの限界)と小さくなりましたが、
以降は安定して稼働する様になりました。

一方この作業と並行して「べっかんこ(ula)」のフロントサーバの64bit化も実施して
いて、こちらも同じ現象が発生しました。

( `э´):「なんで64ビットのサーバは負荷が高くなるんだろう?」
('A`):「というか、何で4GBのメモリで起こるのか、そっちが気になるなあ。。。」
( `э´):「あー、そういえばそうだなあ。64ビット版って4GB以上のメモリをサポート
      しているはずなのになあ。」
('A`):「ちょい待ち・・・えーと、どうもBrian( ^ω^)が何か言ってるなあ」

Brian( ^ω^)に「メモリを4GB積んでインストールすると、サーバの調子が悪くなるけど
調べてもらえる?」とお願いしていたけど、その結果が送られてきていた。

( ^ω^):「みんな元気?Brianだよ♪
     サーバをPolywellに持って行って色々なOSをインストールしてみたよ。
     その結果は以下の通り。

  ・Windowsは問題なくインストールでき、正常に動作した。
  ・CentOSをインストールした時、OS側でメモリの設定を特別に行わないと
   4GBが認識しないという現象が起きた。
  ・FreeBSDで最初から4GBを取り付けてamd64版をインストールすると、
   調子が悪くなる
現象が確認された。
  ・FreeBSDで最初2GBを取り付けてamd64版をインストールし、その後で
   もう2GBを追加で取り付けて稼働させると、問題は起きなかった

  ・最初から4GBを取り付けているサーバでもi386版をインストールすると
   動作が遅くなるという問題は起きなかった。
   (ま、これは3.5GB以上は無視されるからなのかもしれないけど。)

     僕個人の考えとしては、FreeBSDの64bit版は何かメモリ操作のところが
     うまく動いていないんじゃないかなあ、と思うんだ。
     ただ不思議なのはbgサーバ(banana3230、3231、3232)は最初から8GBの
     メモリを取り付けてamd64版をインストールしたのに、サーバの調子が
     悪くなるという現象が発生していないんだよ。。。
     いずれにしてもamd64版で4GBのメモリを取り付けるなら、最初2GBの
     メモリを付けてインストールしてから2GBを追加する、という方法で
     今後対応しよう。じゃあね。」

  P.S. 心配性の('A`)の事だから「マザーボード上のメモリスロットの差し口は
     間違えていないか?」と思っているんだろうけど、それは無い(キッパリ)
     T-Bananaサーバには4つのメモリスロットがあるけど、ちゃんと色分け
     されているから、すぐ判る。
     あと、確認された「調子が悪くなる現象」は2GBのメモリ2枚のケースでも
     1GBのメモリ4枚のケースでも発生するよ。

んで、Brian( ^ω^)が提唱した方法でサーバをインストールしてみると、、、
4GBを最初に取り付けてインストールした時よりサーバの調子は良くなった。

( `э´):「不思議だなあ・・・なんでこうなるんだろう?」
('A`):「判らん。判らないけど、今はこの方法で対処するしかないな。」
( `э´):「よーし、そうと決まったらみんなに伝えよう!おーい、集まれー!」
('A`):「あ、ちょ、、、いっちゃった。気になる事がまだあるのに・・・」

( `э´)は気づいていないかもしれないけど、('A`)が気になっている事は
もう1つあります。
それは「メモリを8GB搭載しているサーバは、起動時にすごく時間がかかる
という現象です。

例えば前述のbgサーバは8GBのメモリを搭載していますが、これらのサーバは
BIOS画面が立ち上がりOSが起動されてからSSHでサーバにログインできる様に
なるまでに5〜6分かかります。
どこで時間がかかっているかというと、SATAの部分です。

通常サーバに電源を入れると、BIOSが立ち上がった後で、OSが起動されます。
[OS起動時(いわゆるデーモン君の画面)]

※昔はデーモン君の姿が表示されたのですが、今は文字だけの味気無い画面です。

そしてSATAの起動直前までは順調に起動処理が進みます。


次にSATAのコントローラー(Intel ICH8 SATA300 controller)が起動されます。
ここまで所要時間は約30〜40秒です。
そしてこのサーバのマザーボード(Intel DQ965GF)ではSATAの接続口(チャネル)が
6つあるので、SATAのコントローラーと各チャネル毎の割り当てが行われます。
[SATAコントローラ起動+1つ目のポート割り当て時]


これが2GB&4GBメモリ搭載のサーバですと6つのポート割り当ては約20〜25秒程度で
終了しますが、8GBメモリ搭載のサーバでは5分かかります。
[6つ目のSATAポート割り当て直後]


これが終わってから初めてネットワーク関連(NICの有効化、sshdの起動など)が実行され
サーバがオンライン(ログインできる状態)になります。
[sshd起動終了後]


この現象は8GBのメモリを搭載した64bitサーバにのみ発生している現象です。
またサーバ起動後の各サービスは正常に稼働します。
(4GBの64bitサーバの時のようなCPUの異常な使用とかは発生しません。)
一方、2GB・4GBのメモリを搭載したサーバではサーバ起動時に時間がかかる現象は
発生していません。
(スペックにも依存しますが、T-Bananaサーバでは電源投入後、約1分40秒前後で
サーバにログインできる状態になります。)

「それがどうした」と思われるかもしれませんが、もしメモリ追加を実施した後で
「もうもサーバの調子が良くない」と感じている方がいましたら、今までお話した
箇所を一度調べてみる事をお勧めします。
まだまだ('A`)は勉強不足のところがありますが、もしこれらの現象に関して何か
情報を持っている方がおりましたら、('A`)まで教えて頂けるととても助かります。

今回の現象は今後64ビットのOSを使用する上で設定等を弄れば解決できる問題なのか、
それともFreeBSDそのものが潜在的に持っている問題なのか、問題のレベルすら
判っていない状況です。
世の中で同じ様な現象に遭っている人がいらっしゃるなら、(ほんのわずかですが)
情報としてご紹介できたら、と思いまして書いてみました。
(オチも何もなくてスミマセン・・・)


引き続きmatdとの格闘です。また明日もJ( 'ー`)しに言われるのかなあ・・・・
まあ、がんばります。
それでは、また。

11日目に戻る。   13日目に続く。

目次に戻る
1日目 2日目 3日目 4日目 5日目 6日目 7日目
8日目 9日目 10日目 11日目 12日目 13日目 14日目
15日目 16日目 17日目 18日目 19日目 20日目 21日目
22日目 23日目 24日目 25日目 26日目 27日目 28日目
29日目 30日目 31日目 32日目 33日目 34日目 35日目
36日目 37日目 38日目 39日目 40日目 41日目 42日目
43日目 44日目 45日目 46日目 47日目 48日目 49日目
50日目 51日目 52日目 53日目 54日目 55日目 56日目
57日目 58日目 59日目 60日目 61日目 62日目 63日目
64日目 65日目 66日目 67日目 68日目 69日目 70日目
71日目 72日目 73日目 74日目 75日目 76日目 77日目
78日目 79日目 80日目 81日目 82日目 83日目 84日目
85日目 86日目 87日目 88日目 89日目 90日目 91日目
92日目 93日目 94日目 95日目 96日目 97日目 98日目
99日目 100日目 101日目 102日目 103日目 104日目 105日目
106日目 107日目 108日目 109日目 110日目 111日目 112日目
113日目 114日目 115日目 116日目 117日目 118日目 119日目
120日目 121日目 122日目 123日目 124日目 125日目 126日目
127日目 128日目 129日目 130日目 131日目 132日目 133日目
134日目 135日目 136日目 137日目 138日目 139日目 140日目
141日目 142日目 143日目 144日目 145日目 146日目 147日目
148日目 149日目 150日目 151日目 152日目 153日目 154日目
155日目 156日目 157日目 158日目 159日目 160日目 161日目
162日目 163日目 164日目 165日目 166日目 167日目 168日目
169日目 170日目 171日目 172日目 173日目 174日目 175日目
176日目 177日目 178日目 179日目 180日目 181日目 182日目
183日目 184日目 185日目 186日目 187日目 188日目 189日目
190日目 191日目 192日目 193日目 194日目 195日目 196日目
197日目 198日目 199日目 200日目 201日目 202日目 203日目
204日目 205日目 206日目 207日目 208日目 209日目 210日目
211日目 212日目 213日目 214日目 215日目 216日目 217日目
218日目 219日目 220日目 221日目 222日目 223日目 224日目
225日目 226日目 227日目 228日目 229日目 230日目 231日目
232日目 233日目 234日目 235日目 236日目 237日目 238日目
239日目 240日目 241日目 242日目 243日目 244日目 245日目
246日目 247日目 248日目 249日目 250日目 251日目 252日目
253日目 254日目 255日目 256日目 257日目 258日目 259日目
260日目 261日目 262日目 263日目 264日目 265日目 266日目
267日目 268日目 269日目 270日目 271日目 272日目 273日目
274日目 275日目 276日目 277日目 278日目 279日目 280日目
281日目 282日目 283日目 284日目 285日目 286日目 287日目
288日目 289日目 290日目 291日目 292日目 293日目 294日目
295日目 296日目 297日目 298日目 299日目 300日目 301日目
302日目 303日目 304日目 305日目 306日目 307日目 308日目
309日目 310日目 311日目 312日目 313日目 314日目 315日目
316日目 317日目 318日目 319日目 320日目 321日目 322日目
323日目 324日目 325日目 326日目 327日目 328日目 329日目
330日目 331日目 332日目 333日目 334日目 335日目 336日目
337日目 338日目 339日目 340日目 341日目 342日目 343日目
344日目 345日目 346日目 347日目 348日目 349日目 350日目
351日目 352日目 353日目 354日目 355日目 356日目 357日目
358日目 359日目 360日目 361日目 362日目 363日目 364日目

いま一番お得なページ! 解析
[an error occurred while processing this directive]