linux – ページ 11 – Yuji Noizumi's blog

皇紀2678年2月27日2018年2月27日

Raspberry pi3のWifi

新しい無線LANルータの環境になったので、IEEE802.11nで接続したら、今までIEEE802.11g の 56Mbps だったRaspberry pi3 のWifi も高速化できるかなと思って、新無線LANルータ用に接続設定を作成。

繋いでみたが、72.2Mbpsになる。
IEEE802.11nって150Mbpsとかじゃないの? なんで? と色々調べたら、謎が解けた。

実は、今までIEEE802.11nを詳しく理解して居なかったのだが、「IEEE802.11nとは」を読んだら分かった。物によって、150Mbpsだったり、300Mbpsだったり、600Mbpsだったりするのはボンディングとストリーム数が関係する訳ね。

安物の無線LANドングルだと、1ストリームの40MHzの帯域幅で 150Mbpsくらい。
Raspberry pi3 は Broadcom の BCM43430 で、今どきありがちな安物Wifi の firmwareドライバをPCで制御するSDIO方式。

性能的には、150Mbpsくらい行けるはずなのだが、
/lib/firmware/brcm/brcmfmac43430-sdio.txt の先頭には次の文言がある。

# NVRAM file for BCM943430WLSELG
# 2.4 GHz, 20 MHz BW mode

2.4GHz の 20MHz Band Width modeって、要は 72.2Mbpsが最大速度な訳ね。
1ストリームでも40MHz使えば、150Mbpsまで速度アップが見込めるから、今後のlinuxのfirmwareの更新に期待しよう。

皇紀2678年2月22日2018年2月27日

raspberry pi3 ログをramdisk化

ラズパイ壊れた?

結局、micro SDが壊れてたっぽい。

正常起動確率50%位でだましだまし動かしてたが、新しいmicro SDにしたら起動確率100%になった。

二年位で寿命とは情けない。とはいえ、/var/log に毎日ゴリゴリ書き込んでるんだからしょうがないか。

そこで！

Ubuntu 9.04 on USB Memory

こいつの出番。
/etc/init.d/ramdisklog を作成。

#! /bin/sh
### BEGIN INIT INFO
# Provides:          ramdisklog
# Required-Start:    $local_fs
# Required-Stop:     $local_fs
# X-Start-Before:    $syslog
# X-Stop-After:      $syslog
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: Use ramdisk log tmp 
# Description:       Debian init script for the ramdisklog log&tmp move to
#                    ramdisk
### END INIT INFO
#
# Author:	Yuji Noizumi <webmaster_at_noizumi.org>
#

PATH=/bin:/usr/bin:/sbin:/usr/sbin

. /lib/lsb/init-functions

case "$1" in
  start)
	mkdir -p /mnt/tmp
	mkdir -p /mnt/var/tmp
	mkdir -p /mnt/var/log
	mount -t tmpfs /dev/shm /mnt/tmp
	mount -t tmpfs /dev/shm /mnt/var/tmp
	mount -t tmpfs /dev/shm /mnt/var/log

	/usr/bin/rsync -a /var/log/ /mnt/var/log

	mount --bind /mnt/tmp /tmp
	mount --bind /mnt/var/tmp /var/tmp
	mount --bind /mnt/var/log /var/log
	chmod -R 1777 /var/tmp
	chmod -R 1777 /tmp

	log_daemon_msg "Moved log&tmp to Ramdisk" "ramdisklog"
	log_end_msg $?
    ;;
  stop)
	log_daemon_msg "Write back Ramdisk log to /var/log" "ramdisklog"
	umount -l /tmp
	umount -l /var/tmp
	umount -l /var/log
	/usr/bin/rsync -a –delete /mnt/var/log/ /var/log
	log_end_msg $?
    ;;
  force-reload|restart)
    $0 stop
    $0 start
    ;;
  *)
    echo "Usage: /etc/init.d/ramdisklog {start|stop|restart|force-reload}"
    exit 1
    ;;
esac

exit 0

#! /bin/sh

### BEGIN INIT INFO

# Provides: ramdisklog

# Required-Start: $local_fs

# Required-Stop: $local_fs

# X-Start-Before: $syslog

# X-Stop-After: $syslog

# Default-Start: 2 3 4 5

# Default-Stop: 0 1 6

# Short-Description: Use ramdisk log tmp

# Description: Debian init script for the ramdisklog log&tmp move to

# ramdisk

### END INIT INFO

# Author: Yuji Noizumi <webmaster_at_noizumi.org>

PATH=/bin:/usr/bin:/sbin:/usr/sbin

. /lib/lsb/init-functions

case "$1" in

start)

mkdir -p /mnt/tmp

mkdir -p /mnt/var/tmp

mkdir -p /mnt/var/log

mount -t tmpfs /dev/shm /mnt/tmp

mount -t tmpfs /dev/shm /mnt/var/tmp

mount -t tmpfs /dev/shm /mnt/var/log

/usr/bin/rsync -a /var/log/ /mnt/var/log

mount --bind /mnt/tmp /tmp

mount --bind /mnt/var/tmp /var/tmp

mount --bind /mnt/var/log /var/log

chmod -R 1777 /var/tmp

chmod -R 1777 /tmp

log_daemon_msg "Moved log&tmp to Ramdisk" "ramdisklog"

log_end_msg $?

;;

stop)

log_daemon_msg "Write back Ramdisk log to /var/log" "ramdisklog"

umount -l /tmp

umount -l /var/tmp

umount -l /var/log

/usr/bin/rsync -a –delete /mnt/var/log/ /var/log

log_end_msg $?

;;

force-reload|restart)

$0 stop

$0 start

;;

echo "Usage: /etc/init.d/ramdisklog {start|stop|restart|force-reload}"

exit 1

;;

esac

exit 0

ramdisk 作って log コピーして、その ramdisk を bind で/var/logに被せるというしくみ。

# insserv ramdisklog

ついでにswapも無効化
# insserv -r dphys-swapfile

# reboot
で完了。

root@raspberrypi:~# df -h
ファイルシス   サイズ  使用  残り 使用% マウント位置
/dev/root         28G  8.2G   19G   31% /
devtmpfs         458M     0  458M    0% /dev
tmpfs            462M     0  462M    0% /dev/shm
tmpfs            462M  6.3M  456M    2% /run
tmpfs            5.0M  4.0K  5.0M    1% /run/lock
tmpfs            462M     0  462M    0% /sys/fs/cgroup
/dev/mmcblk0p6    63M   22M   42M   35% /boot
/dev/shm         462M     0  462M    0% /tmp
/dev/shm         462M     0  462M    0% /var/tmp
/dev/shm         462M  1.4M  461M    1% /var/log
tmpfs             93M     0   93M    0% /run/user/1000

root@raspberrypi:~# df -h

ファイルシスサイズ使用残り使用% マウント位置

/dev/root 28G 8.2G 19G 31% /

devtmpfs 458M 0 458M 0% /dev

tmpfs 462M 0 462M 0% /dev/shm

tmpfs 462M 6.3M 456M 2% /run

tmpfs 5.0M 4.0K 5.0M 1% /run/lock

tmpfs 462M 0 462M 0% /sys/fs/cgroup

/dev/mmcblk0p6 63M 22M 42M 35% /boot

/dev/shm 462M 0 462M 0% /tmp

/dev/shm 462M 0 462M 0% /var/tmp

/dev/shm 462M 1.4M 461M 1% /var/log

tmpfs 93M 0 93M 0% /run/user/1000

マウント状況はこんな感じ。

皇紀2678年2月11日

IMAPのフォルダ比較

Gmailの「すべてのメール」のフォルダのメールを新しい順に200通取り出して比較し、メールが存在する方に○、存在しない方に×を表示するプログラムを作った。

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
	"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">

	<head>
		<title>メールチェック</title>
		<meta http-equiv="content-type" content="text/html;charset=utf-8" />
		<meta name="generator" content="Geany 1.23.1" />
		<style type="text/css">
			table {
				table-layout: fixed;
				word-wrap: break-word;
				width:100%;
				border-collapse: collapse;
			}
			table, td, th{
				border: 1px #000000 solid;
				overflow: hidden;
				white-space: nowrap;
				text-overflow: ellipsis;
			}
		</style>
	</head>

	<body>
		<table>
			<tr><th style="width:250px">送信者</th><th>タイトル</th><th style="width:200px">時刻</th><th style="width:50px">主</th><th style="width:50px">副</th></tr>
<?php
$master_mbox = imap_open('{imap.gmail.com:993/imap/ssl}[Gmail]/&MFkweTBmMG4w4TD8MOs-', 'master@example.com', 'MasterPassword', OP_READONLY) or die("接続できません: " . imap_last_error());;
$slave_mbox = imap_open('{imap.gmail.com:993/imap/ssl}[Gmail]/&MFkweTBmMG4w4TD8MOs-', 'slave@example.com', 'SlavePassword', OP_READONLY) or die("接続できません: " . imap_last_error());;

$MC = imap_check($master_mbox);

$m_max = $MC->Nmsgs;
$m_min = $MC->Nmsgs - 200;
if ($m_min < 0) {
	$m_min = 1;
}
$MC = imap_check($slave_mbox);
$s_max = $MC->Nmsgs;
$s_min = $MC->Nmsgs - 200;
if ($s_min < 0) {
	$s_min = 1;
}

$master_result = imap_fetch_overview($master_mbox, $m_min . ':' . $m_max);
$slave_result = imap_fetch_overview($slave_mbox, $s_min . ':' . $s_max);

$mmsg_ids = array();
$mdates = array();
foreach($master_result as $key=>$overview){
	$mmsg_ids[$overview->message_id] = &$master_result[$key];
	$mdates[$overview->message_id] = strtotime($overview->date);
}
$smsg_ids = array();
$sdates = array();
foreach($slave_result as $key=>$overview){
	$smsg_ids[$overview->message_id] = &$slave_result[$key];
	$sdates[$overview->message_id] = strtotime($overview->date);
}

$dates = array_merge($mdates, $sdates);
$msg_ids = array_merge($mmsg_ids, $smsg_ids);

array_multisort($dates, $msg_ids);
$msg_ids = array_reverse($msg_ids);


foreach ($msg_ids as $message_id=>$overview) {

	$mmark = '×';
	$smark = '×';
	if(isset($mmsg_ids[$message_id])){
		$mmark = '○';
	}
	if(isset($smsg_ids[$message_id])){
		$smark = '○';
	}

	$subject = imap_utf8($overview->subject);
	$date = date('Y/m/d H:i:s', strtotime($overview->date));
	$from = imap_utf8($overview->from);
	$subject = htmlspecialchars($subject);
	$from = htmlspecialchars($from);

	echo "<tr><td>{$from}</td><td>{$subject}</td><td style='text-align:center;'>{$date}</td><td style='text-align:center;'>{$mmark}</td><td style='text-align:center;'>{$smark}</td></tr>\n";
}
imap_close($master_mbox);
imap_close($slave_mbox);
?>
		</table>
	</body>

</html>

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"

"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">

<head>

<title>メールチェック</title>

table {

table-layout: fixed;

word-wrap: break-word;

width:100%;

border-collapse: collapse;

}

table, td, th{

border: 1px #000000 solid;

overflow: hidden;

white-space: nowrap;

text-overflow: ellipsis;

}

</style>

</head>

<body>

<table>

<?php

$master_mbox = imap_open('{imap.gmail.com:993/imap/ssl}[Gmail]/&MFkweTBmMG4w4TD8MOs-', 'master@example.com', 'MasterPassword', OP_READONLY) or die("接続できません: " . imap_last_error());;

$slave_mbox = imap_open('{imap.gmail.com:993/imap/ssl}[Gmail]/&MFkweTBmMG4w4TD8MOs-', 'slave@example.com', 'SlavePassword', OP_READONLY) or die("接続できません: " . imap_last_error());;

$MC = imap_check($master_mbox);

$m_max = $MC->Nmsgs;

$m_min = $MC->Nmsgs - 200;

if ($m_min < 0) {

$m_min = 1;

}

$MC = imap_check($slave_mbox);

$s_max = $MC->Nmsgs;

$s_min = $MC->Nmsgs - 200;

if ($s_min < 0) {

$s_min = 1;

}

$master_result = imap_fetch_overview($master_mbox, $m_min . ':' . $m_max);

$slave_result = imap_fetch_overview($slave_mbox, $s_min . ':' . $s_max);

$mmsg_ids = array();

$mdates = array();

foreach($master_result as $key=>$overview){

$mmsg_ids[$overview->message_id] = &$master_result[$key];

$mdates[$overview->message_id] = strtotime($overview->date);

}

$smsg_ids = array();

$sdates = array();

foreach($slave_result as $key=>$overview){

$smsg_ids[$overview->message_id] = &$slave_result[$key];

$sdates[$overview->message_id] = strtotime($overview->date);

}

$dates = array_merge($mdates, $sdates);

$msg_ids = array_merge($mmsg_ids, $smsg_ids);

array_multisort($dates, $msg_ids);

$msg_ids = array_reverse($msg_ids);

foreach ($msg_ids as $message_id=>$overview) {

$mmark = '×';

$smark = '×';

if(isset($mmsg_ids[$message_id])){

$mmark = '○';

}

if(isset($smsg_ids[$message_id])){

$smark = '○';

}

$subject = imap_utf8($overview->subject);

$date = date('Y/m/d H:i:s', strtotime($overview->date));

$from = imap_utf8($overview->from);

$subject = htmlspecialchars($subject);

$from = htmlspecialchars($from);

echo "<tr><td>{$from}</td><td>{$subject}</td><td style='text-align:center;'>{$date}</td><td style='text-align:center;'>{$mmark}</td><td style='text-align:center;'>{$smark}</td></tr>\n";

}

imap_close($master_mbox);

imap_close($slave_mbox);

</table>

</body>

</html>

array_column()が使えれば、もっとシンプルに書けるけど、オブジェクトのキー検索が使えるのは、PHP7以降なんだな。

ちなみに php5-imap が必要。

意外と使えないIMAPのSEARCH

皇紀2678年2月8日2018年2月10日

意外と使えないIMAPのSEARCH

Ubuntu 14.04に php5-imap入れて、メールを抽出しようと思って、Message-Id で抽出できるかと思ったらできない。

Subject 検索も取り出したメールのSubject を imap_utf8()掛けてimap_search()で検索してもUTF8のMIMEエンコードされているとSubjectが一致しない。

日時で一致するものを抽出しようとして ON のキーワードを使おうとするも、日付は見てるけど、時間は見てないし、タイムゾーンが勝手にlocalになっているのか、+6:00 とかが引っ掛からない。

多分、英文だったら結構使えるのかもしれないけど、MIMEエンコードが絡むメールだと検索が凄く弱い。

IMAPって使えると思ってたけど、意外と駄目なのねん。

root@silverfox:~# apt-get install php5-imap
パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています
状態情報を読み取っています... 完了
以下の追加パッケージがインストールされます:
libc-client2007e mlock
提案パッケージ:
uw-mailutils
以下のパッケージが新たにインストールされます:
libc-client2007e mlock php5-imap
アップグレード: 0 個、新規インストール: 3 個、削除: 0 個、保留: 0 個。
628 kB のアーカイブを取得する必要があります。
この操作後に追加で 1,535 kB のディスク容量が消費されます。
続行しますか? [Y/n]

root@silverfox:~# php5enmod imap
root@silverfox:~# service apache2 restart