【業務連絡】ACアダプター到着。fsckちう

Begin: Loading essential drivers … done.
Begin: Running /scripts/init-premount … done.
Begin: Mounting root file system … Begin: Running /scripts/local-top … done.
Begin: Running /scripts/local-premount … done.
Begin: Will now check root file system … fsck from util-linux 2.29.2
[/sbin/fsck.ext3 (1) — /dev/sda2] fsck.ext3 -a -C0 /dev/sda2
/dev/sda2: recovering journal

ハードディスクのチェックが入ってるので、もう暫く掛かります。

【追加】
復旧しますた。

Raspberry PI4 で動かした新しいZoneminder、何かカッコイイぞ。

【OpenRD Ultimate】原因判明。ACアダプター故障

ハードディスクケースの12V3AのACアダプターを OpenRD Ultimateに接続したら電源が入った。

ACアダプターの故障のようだ。慌てて raspberry PI4 買う事も無かったのう。

そしてACアダプターを発注。多分変換プラグが無いと合わないので、変換プラグ付きを注文。

ハードディスクケースのACアダプターはOpenRD Ultimateに繋いでいるハードディスクケース用なので、これをOpenRD Ultimateに接続すると、今度はハードディスクの電源が無くなってしまって結局起動できないんだな。

【業務連絡】再起動のfsckで引っかかる

サーバーがおかしくなったので、シリアルで繋いでみたら

[6879670.724188] ata2.00: failed to read SCR 1 (Emask=0x40)
[6879670.729572] ata2.00: failed to read SCR 0 (Emask=0x40)
[6879670.734932] ata2.01: failed to read SCR 1 (Emask=0x40)
[6879670.740297] ata2.15: exception Emask 0x4 SAct 0x0 SErr 0x0 action 0x6 frozen
[6879670.747575] ata2.00: exception Emask 0x100 SAct 0x0 SErr 0x0 action 0x6 frozen
[6879670.755037] ata2.00: failed command: READ DMA EXT
[6879670.759975] ata2.00: cmd 25/00:08:20:bc:c9/00:00:e8:00:00/e0 tag 2 dma 4096 in
[6879670.759975] res 40/00:00:00:4f:c2/00:00:00:00:00/00 Emask 0x4 (timeout)
[6879670.775019] ata2.00: status: { DRDY }
[6879670.778896] ata2.01: exception Emask 0x100 SAct 0x0 SErr 0x0 action 0x6 frozen
[6879670.786353] ata2.15: hard resetting link
[6879671.272764] ata2.15: SATA link up 1.5 Gbps (SStatus 113 SControl F310)
[6879671.280206] ata2.00: hard resetting link
[6879672.380925] ata2.01: hard resetting link
[6879673.424658] ata2.01: failed to resume link (SControl 0)
[6879673.435971] ata2.00: configured for UDMA/33
[6879673.441275] ata2: EH complete

なんてのが延々出ていた。
そして強引に電源ブチで再起動してみると、fsckが走り出し、異常終了。

/dev/sda2: UNEXPECTED INCONSISTENCY; RUN fsck MANUALLY.
(i.e., without -a or -p options)
fsck exited with status code 4
done.
Failure: File system check of the root filesystem failed
The root filesystem on /dev/disk/by-uuid/a655bf7a-3a32-4f2a-b0f1-fa0086bc9c39 requires a manual fsck

マニュアルで fsck をやれというのでやっているがとてつもなく時間が掛かりそう。

監視カメラダウン?

zoneminder で監視カメラの運用をしているが、ふと見てみると、2月19日以降映像が撮れていない。

ディスク容量80%で古いやつを自動削除する設定にしているが、filter の設定見てみると100件該当があり、それが何らかの理由で削除できずにデッドロックしてるのかな? と思い、削除するも変わらず。

監視カメラの raspberry pi 3 をチェックすると、応答なし……。
ssh に応答しないとなると、ディスプレイとキーボード繋がないとどうなっているのか分からないが、面倒なので電源ブチ(^^;;

raspberry pi 3 は、SDカード延命の為、ログ類はシステムシャットダウンを実行すると、SDカードに書き戻すが、電源ブチではRAMDISK上で揮発してしまう。
なので、応答無しになっていた理由は分からず。

暫くシステムアップデートやってなかったし、長期間再起動してなかったから、メモリーリークのアプリケーションがメモリ食い潰したのかなあ。

という訳で、raspberry pi に自動アップデートをやってくれる cron-apt をどうにう。
ファイルサーバの openrd ultimate で導入しているが、セキュリティアップデートは自動で適用してくれ、カーネルは「更新あるで」とメールで通知してくれる。

いや、「更新あるで」と関西弁では言ってくれないが(^^;、次の様な感じ。

The following NEW packages will be installed:
  linux-image-4.9.0-12-marvell

ただ、こいつはメールシステムが動いていないと通知してくれないので、raspberry pi 3に exim4 のスマートホストによるメール配送を設定。

# dpkg-reconfigure exim4-config

raspberry pi 3 でメール読まないので、全部 noizumi@silverfox.p.noizumi.org へ配送。スマートホストは openrd ultimateのIPアドレスを設定。
※@は全角に変えてます。以後、コピペ注意

openrd ultimate の exim4 もスマートホストの設定だが、メールを受信する設定になっているので、raspberry pi 3 からメールを投げれば届くはず。

メールの運用にはDNSが必要で、DNSはローカルで立てているから、raspberrypi.p.noizumi.org の正引きと逆引きを設定。

raspberry pi 3 の端末から、noizumi@silverfox.p.noizumi.org へメール送ったら届いたので、apt cron がメール投げても多分、大丈夫。

cron-apt の設定で、 /etc/cron-apt/config を編集

# Configuration for cron-apt. For further information about the possible
# configuration settings see /usr/share/doc/cron-apt/README.gz.
MAILTO="noizumi@silverfox.p.noizumi.org"
MAILON="upgrade"

確か前に openrd ultimate の設定弄っていい感じにニギッたはずなので、設定をパクる!次のファイルを追加

[/etc/cron-apt/actions.d/5-security]

upgrade -y -o APT::Get::Show-Upgraded=true

[etc/cron-apt/config.d/5-security]

OPTIONS="-o quiet=1 -o APT::Get::List-Cleanup=false -o Dir::Etc::SourceList=/etc/apt/sources.list.d/security.list -o Dir::Etc::SourceParts=\"/dev/null\""

確かこの設定はセキュリティアップデートを問答無用で適用する為に設定したはずなので、これで危ない穴はパッチ提供時に即座に適用されるはず。

設定が終わったので、取り敢えず cron-apt の手動実行

# /usr/sbin/cron-apt

更新したばっかりだったので、メールは飛ばず。/var/log/cron-apt/log を確認

CRON-APT RUN [/etc/cron-apt/config]: Sat Mar 14 09:39:21 JST 2020
CRON-APT ACTION: 0-update
CRON-APT LINE: /usr/bin/apt-get -o quiet=1 update -o quiet=2
CRON-APT ACTION: 3-download
CRON-APT LINE: /usr/bin/apt-get -o quiet=1 autoclean -y
Reading package lists...
Building dependency tree...
Reading state information...
Del libqt5opengl5 5.7.1+dfsg-3+rpi1+deb9u1 [133 kB]
<中略>
CRON-APT LINE: /usr/bin/apt-get -o quiet=1 dist-upgrade -d -y -o APT::Get::Show-Upgraded=true
Reading package lists...
Building dependency tree...
Reading state information...
Calculating upgrade...
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
CRON-APT ACTION: 5-security
CRON-APT LINE: /usr/bin/apt-get -o quiet=1 upgrade -y -o APT::Get::Show-Upgraded=true
Reading package lists...
Building dependency tree...
Reading state information...
Calculating upgrade...
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.

autoclean やってくれるのね。問題は無い模様。

カーネルはさすがに自動でやっちゃうと、起動不能になる可能性もあるので、メールで通知が来たら手動で行おうと思う。

カーネル更新も自動で行ないたい場合は、/etc/cron-apt/action.d/3-download の -d オプションを削ればOK。

【業務連絡】サーバー復旧しますた

センチュリーのCRNS35EU3S6G というハードディスクケースがおかしくなって、RAID1なのに、PCに繋いだら不明な領域のDisk1とLinuxの内容のDisk0の二台見える始末。

切り替えスイッチで一旦STANDARDに切り替えた後、MIRRORINGに切り替えたらRAID1のディスク1台になったけど、中身は不明な領域。

昨晩、Disk0の内容をLogitecのLHR-2BRHEU3へパーティションコピーして、朝になっても終わらんから、そのまま出社して、家に帰ったらコピーできてたから、OpenRD Ultimateに接続したらすんなり起動。

LogitecのRAID1のディスクケースは何がイカンのかと言えば、停電とかで電源落ちたらそのまんま。費用ケチってソフトスイッチにしてやがるので、電源ボタン長押ししないと電源入らない。

そして、OpenRD起動させる時も結構問題があって、ディスクケースの電源入れて、OpenRDの電源再投入しても、起動せず、シリアル端末開いて、enter押したら、Marvell>> ってプロンプトが出るので、 boot[enter]ってやると起動する。

それに買ってすぐにACアダプタぶっ壊れるし、eSATAで接続できて、RAID1なハードディスクケースって、もうこの二社しか無いからセンチュリーがいつRAID解除されるか分からん不具合があるから、Logitec使うしか無いよなあ。

OpenRD Ultimateをだましだまし使う

debian jassie から stretch へアップグレードしたが、nandフラッシュのエラーで新カーネルを書き込めず、ファイルが無いにも関わらず、3.16.0-10-kirkwood のカーネルが起動していた。

/lib/modules/3.16.0-10-kirkwood 以下が無いので、組み込みモジュールを使用するcdc-acm.ko が読み込めず、GPSが使用できない状態になっていた。

noizumi@silverfox:~$ wget http://security.debian.org/debian-security/pool/updates/main/l/linux/linux-image-3.16.0-10-kirkwood_3.16.70-1_armel.deb
noizumi@silverfox:~$ sudo dpkg -i linux-image-3.16.0-10-kirkwood_3.16.70-1_armel.deb

モジュールを読み込めないせいで、GPSを有効にできないので、jassieのカーネル取ってきて、インストール。

これだと、nandのエラーが出ない。

noizumi@silverfox:~$ sudo depmod -a
noizumi@silverfox:~$ sudo /sbin/modprobe cdc-acm
noizumi@silverfox:~$ ls -l /dev/ttyACM0 
crw-rw---- 1 root dialout 166, 0  8月 14 11:47 /dev/ttyACM0

よし、GPSのデバイスが使えるようになった。

noizumi@silverfox:~$ sudo service gpsd start
noizumi@silverfox:~$ ntpq -p
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*SHM(0)          .GPS.            0 l    4   16  177    0.000    1.359   9.931
 LOCAL(0)        .LOCL.           6 l  15h   64    0    0.000    0.000   0.000
 ntp.nict.go.jp  .POOL.          16 p    -   64    0    0.000    0.000   0.004
 ntp.jst.mfeed.a .POOL.          16 p    -   64    0    0.000    0.000   0.004
 s2csntp.miz.nao .POOL.          16 p    -   64    0    0.000    0.000   0.004
 ntp.ring.gr.jp  .POOL.          16 p    -   64    0    0.000    0.000   0.004
#x.ns.gin.ntt.ne 249.224.99.213   2 u 2028  512   44   22.854    0.359   0.333
#ntp-5.jonlight. 133.243.238.243  2 u 1796  512    4   22.958   -0.892   0.474
+61.114.187.55 ( .PPS.            1 u  279  512  377   22.818   -0.701   0.455
+time1.google.co .GOOG.           1 u  157  512  377   53.408   -0.355   0.766
+time2.google.co .GOOG.           1 u  497  512  377   55.005    0.369   1.280
+time4.google.co .GOOG.           1 u  273  512  377   53.236   -0.602   0.163
+kuroa.me        141.32.131.246   2 u  511  512  375   30.312   -1.825   0.518
+203.178.135.73  103.1.106.69     2 u 1065  512  376   21.122   -1.449  20.575
-extendwings.com 133.243.238.243  2 u   40   64  375   22.022   10.335  10.877
+ntp-a2.nict.go. .NICT.           1 u  400  512  377   21.561   -0.832   0.664
+time3.google.co .GOOG.           1 u  337  512  377   53.321   -0.925   0.403

これで時刻サーバーとしてバッチリ 🙂

OpenRD Ultimateお陀仏

debian 8→9へアップデートしたところ、カーネルのNANDフラッシュ書き込みでエラーが出た。

[ 6508.167779] __nand_correct_data: uncorrectable ECC error
[ 6508.173165] end_request: I/O error, dev mtdblock0, sector 8
[ 6508.178767] Buffer I/O error on device mtdblock0, logical block 1

NANDフラッシュは起動時に読み込まれる起動プログラムが書いてあるところで、そいつの書き込み失敗という事は、もう寿命という事だな。

起動はするが、Debian 9 で、カーネルは4.9.0なのに
Linux silverfox 3.16.0-10-kirkwood #1 Debian 3.16.70-1 (2019-07-22) armv5tel GNU/Linux

なんてのが動いている。多分、NANDに書き込まれているカーネルだろう。

1GbpsのEthernetでファイルサーバーにしていたが、置き換えるとしたら、1Gbps Etherになった raspberry pi 4 かな。

まだ発売してないから、発売したら早速置き換えよう。

VK-172到着

ゆうパケットで4日ほどかかって到着。

思ってたよりも小さくてコンパクト。
早速Ubunt 18.04に差して試験。

 

May 10 20:34:50 greyhound kernel: [  208.360172] usb 3-12: new full-speed USB device number 16 using xhci_hcd
May 10 20:34:50 greyhound kernel: [  208.508752] usb 3-12: New USB device found, idVendor=1546, idProduct=01a7
May 10 20:34:50 greyhound kernel: [  208.508754] usb 3-12: New USB device strings: Mfr=1, Product=2, SerialNumber=0
May 10 20:34:50 greyhound kernel: [  208.508755] usb 3-12: Product: u-blox 7 - GPS/GNSS Receiver
May 10 20:34:50 greyhound kernel: [  208.508756] usb 3-12: Manufacturer: u-blox AG - www.u-blox.com
May 10 20:34:50 greyhound mtp-probe: checking bus 3, device 16: "/sys/devices/pci0000:00/0000:00:14.0/usb3/3-12"
May 10 20:34:50 greyhound mtp-probe: bus: 3, device: 16 was not an MTP device
May 10 20:34:50 greyhound kernel: [  208.637379] cdc_acm 3-12:1.0: ttyACM0: USB ACM device
May 10 20:34:50 greyhound kernel: [  208.637555] usbcore: registered new interface driver cdc_acm
May 10 20:34:50 greyhound kernel: [  208.637556] cdc_acm: USB Abstract Control Model driver for USB modems and ISDN adapters
May 10 20:34:50 greyhound upowerd[1803]: unhandled action 'bind' on /sys/devices/pci0000:00/0000:00:14.0/usb3/3-12
May 10 20:34:50 greyhound upowerd[1803]: unhandled action 'bind' on /sys/devices/pci0000:00/0000:00:14.0/usb3/3-12/3-12:1.1
May 10 20:34:50 greyhound upowerd[1803]: unhandled action 'bind' on /sys/devices/pci0000:00/0000:00:14.0/usb3/3-12/3-12:1.0
May 10 20:34:50 greyhound systemd[1]: Created slice system-gpsdctl.slice.
May 10 20:34:50 greyhound systemd[1]: Starting Manage ttyACM0 for GPS daemon...
May 10 20:34:50 greyhound gpsdctl: gpsd_control(action=add, arg=/dev/ttyACM0)
May 10 20:34:50 greyhound gpsdctl: reached a running gpsd
May 10 20:34:50 greyhound systemd[1]: Started Manage ttyACM0 for GPS daemon.
May 10 20:34:54 greyhound systemd[1]: Starting Stop ureadahead data collection...
May 10 20:34:54 greyhound systemd[1]: Started Stop ureadahead data collection.

自動的に gpsd が起動した。

みちびきに対応しているとの事なので、窓の外に出して試してみた。

今まで信号が強くても Used: Y になる事が無かったPRN129とPRN137が Y になってますな。

PRN129が MTSAT-1Rで、PRN137はMTSAT-2。

静止軌道にあるから、窓の外に出してテストしてみたが、結構信号強度は強いな。

さて、OpenRD Ultimateに繋いで、NTPサーバーの復旧をしよう 🙂