perlfilter - ソースフィルタ
この記事は、ほとんど知られていない Perl の機能である ソースフィルタ に 関するものです。 C プリプロセッサが C プログラムのソーステキストをコンパイラが見る前に 変更するように、ソースフィルタはモジュールのプログラム文を Perl が 見る前に変更します。 この記事は、ソースフィルタとは何か、どのように動作するのか、自分自身で 書くにはどうすればいいかについての情報を提供します。
ソースフィルタの本来の目的は、カジュアルな盗み見を防ぐためにプログラム ソースを暗号化するためでした。 これから学ぶように、出来ることはこれだけではありません。 しかしまずは基本からです。
Perl インタプリタが Perl スクリプトを実行できるようにする前に、
パースとコンパイルのためにまずファイルをメモリに読み込まなければなりません。
このスクリプト自身が use 文や require 文で他のスクリプトを
インクルードしているなら、それらのスクリプトも同様にファイルから読み込む
必要があります。
ここで、Perl パーサと個々のファイルとの論理的な接続を ソースストリーム
(source stream) として考えます。
ソースストリームは Perl パーサがファイルを開いたときに作成され、
ソースコードがメモリに読み込まれている間存在し、Perl がファイルを
パースし終えたときに破壊されます。
パーサがソースストリーム中に require 文や use 文に出会うと、
新しく異なったストリームがそのファイルのために作成されます。
以下の図は単一のソースストリームを表現していて、左側の Perl スクリプト ファイルから右側の Perl パーサへのソースの流れです。 これは Perl が普通処理する方法です。
file -------> parser
覚えておくべき重要なポイントが二つあります:
同時に任意の数のソースストリームが存在できますが、一つだけが 有効となります。
各ソースストリームはただ一つのファイルと関連づけられます。
ソースフィルタは、ソースストリームがパーサに届く前に捕まえて修正する、 特別な種類の Perl モジュールです。 ソースフィルタは以下のようにダイアグラムを変更します:
file ----> filter ----> parser
これにあまり納得が出来ないなら、コマンドパイプラインの例えを 考えてみてください。 圧縮されたファイル trial.gz に補完されたシェルスクリプトを 考えてみてください。 後述の単純なパイプラインコマンドは展開されたファイルを保管するための 一時ファイルを作ることなくスクリプトを実行します。
gunzip -c trial.gz | sh
この場合、パイプラインからのデータフローは以下のように表現できます:
trial.gz ----> gunzip ----> sh
ソースフィルタがあると、スクリプトのテキストを圧縮して、Perl パーサのために 展開するソースフィルタを使います:
compressed gunzip
Perl program ---> source filter ---> parser
それで、どうやって Perl スクリプトでソースフィルタを使うのでしょう? 先に、ソースフィルタは単に特別な種類のモジュールであると言いました。 その他全ての Perl モジュールと同様、ソースフィルタは use 文で 起動されます。
Perl のソースを実行前に C のプリプロセッサを通したいとします。
これをするには既にある -P コマンドラインオプションを使えますが、
たまたまソースフィルタ配布には Filter::cpp と呼ばれる C プリプロセッサ
フィルタモジュールが含まれています。
代わりにこれを使ってみましょう。
以下は、このフィルタを使うためのサンプルプログラムである cpp_test です。
行番号は、特定の行を参照しやすくするために追加されています。
1: use Filter::cpp;
2: #define TRUE 1
3: $a = TRUE;
4: print "a = $a\n";
このスクリプトを実行すると、Perl はこのファイルのためのソースストリームを 作成します。 パーサがファイルから行を処理する前、ソースストリームは以下のように なります:
cpp_test ---------> parser
1 行目の use Filter::cpp で、cpp モジュールをインクルードして
インストールします。
全てのソースフィルタはこのようにして動作します。
use 文はコンパイルされてコンパイル時に、ファイルの残りの部分が読み込まれる
前に実行され、背後でソースフィルタに cpp フィルタをくっつけます。
ここでデータフローは以下のようになります:
cpp_test ----> cpp filter ----> parser
パーサがソースストリームから 2 行目以降を読むにつれて、処理する前に
cpp ソースフィルタを通して行が供給されます。
cpp フィルタは単に各行を実際の C プリプロセッサに通します。
C プリプロセッサからの出力はそれからフィルタによってソースストリームに
再挿入されます。
.-> cpp --.
| |
| |
| <-'
cpp_test ----> cpp filter ----> parser
それからパーサは以下のコードを見ます:
use Filter::cpp;
$a = 1;
print "a = $a\n";
フィルタされたコードに use を使ったもう一つのモジュールを含んでいる 場合に何が起きるかを考えてみましょう:
1: use Filter::cpp;
2: #define TRUE 1
3: use Fred;
4: $a = TRUE;
5: print "a = $a\n";
cpp フィルタは Fred モジュールのテキストには適用されず、
フィルタが使われているファイル (cpp_test) のテキストにのみ
適用されます。
3 行目の use 文は cpp フィルタに渡されますが、インクルードされる
モジュール (Fred) は渡されません。
3 行目がパースされ、4 行目がパースされる前のソースストリームは
以下のようになります:
cpp_test ---> cpp filter ---> parser (INACTIVE)
Fred.pm ----> parser
見て分かるように、Fred.pm からソースを読み込むための新しいストリームが
作成されます。
このストリームは Fred.pm を全て読み込むまで有効のままです。
cpp_test のためのソースストリームは存在したままですが、無効に
なっています。
パーサが Fred.pm からの読み込みを終了すると、これに関連づけられた
ソースストリームは破壊されます。
それから cpp_test のためのソースストリームが再び有効になり、
パーサは cpp_test から 4 行目以降を読み込みます。
一つのファイルに複数のソースフィルタを使うことができます。 同様に、好きなだけ多くのファイルに対して同じフィルタを 再使用することができます。
例えば、uuencode されて圧縮されているソースファイルがある場合、 次のようにして uudecode フィルタと uncompress フィルタを スタックさせることができます:
use Filter::uudecode; use Filter::uncompress;
M'XL(".H<US4''V9I;F%L')Q;>7/;1I;_>_I3=&E=%:F*I"T?22Q/
M6]9*<IQCO*XFT"0[PL%%'Y+IG?WN^ZYN-$'J.[.JE$,20/?K=_[>
...
最初の行が処理されると、フローは以下のようになります:
file ---> uudecode ---> uncompress ---> parser
filter filter
データはソースファイルに現れたのと同じ順でフィルタを流れます。 uudecode フィルタは uncompress フィルタの前に現れるので、ソースファイルは 展開される前に uudecode されます。
独自のソースフィルタを書くには三つの方法があります。 C で書くか、フィルタとして外部プログラムを使うか、Perl でフィルタを 書くかです。 最初の二つについてはあまり詳しくは記述しないので、先にこれらについて 触れます。 Perl でフィルタを書くのが一番便利なので、これに最大のスペースを割きます。
利用可能な三つのテクニックのうちの一つ目は、フィルタを完全に C で 書くことです。 作成した外部モジュールは Perl によって提供されるソースフィルタフックと 直接接続されます。
このテクニックの利点は、フィルタの実装を完全に制御できることです。
大きな弱点は、フィルタを書くために必要な複雑性が増すことです -
ソースフィルタフックについて理解するだけでなく、Perl の内部に関する
ある程度の知識も必要です。
この困難に向かう価値のある数回に一回はソースのスクランブル化を
書くときです。
(Perl がパースする前にソースのスクランブルを解除する) decrypt フィルタは
C ソースフィルタの例です (以下の Decryption Filters を参照してください)。
全ての復号フィルタは「不明瞭さによるセキュリティ」の原則に則っています。 どれだけうまく復号フィルタを書いて、どんなに強い暗号化アルゴリズムを 使っても、十分な決意があれば元のソースコードを取得できます。 その理由はとても単純です - 一旦復号フィルタがソースを元の形に戻すと、その 一部は Perl がパースするためにコンピュータのメモリに保管されます。 ソースは短い時間の間だけしかメモリにないかもしれませんが、デバッガ、スキル、 多大な忍耐がある人なら最終的にはプログラムを再構成できます。
潜在的なクラッカーに対して物事を難しくするために取るいくつかのステップが あります。 最も重要なのは: 復号フィルタを C で書いて、復号モジュールを Perl バイナリと 静的にリンクすることです。 潜在的なクラッカーに対して物事を難しくするために取るさらなるステップは、 ソースフィルタモジュールの decrypt.pm ファイルを参照してください。
C でフィルタを書くための代替案は、好みの言語で独立した実行ファイルを
作ることです。
独立した実行ファイルは標準出力から読み込み、何か必要な処理を行い、
フィルタされたデータを標準出力に書き込みます。
Filter::cpp は、独立した実行ファイルとして実行されたソースフィルタの
例です - 実行ファイルは C コンパイラに付いている C プリプロセッサです。
ソースフィルタ配布にはこのタスクを簡単にするための二つのモジュールが
あります: Filter::exec と Filter::sh です。
どちらも外部実行ファイルを実行します。
どちらも外部実行ファイルとのデータのやりとりを制御するのにコプロセスを
使います。
(コプロセスの詳細については、Stephens, W.R. による
"Advanced Programming in the UNIX Environment."
Addison-Wesley, ISBN 0-210-56317-7, 441-445 ページ を参照してください。)
二つの違いは、Filter::exec は外部コマンドを直接起動しますが、
Filter::sh は外部コマンドを起動するためのシェルを起動します。
(Unix は Bourne シェルを使います; NT は cmd シェルを使います。)
シェルを起動することにより、シェルのメタ文字とリダイレクト機構を
使えるようになります。
以下は Filter::sh を使ったスクリプトの例です:
use Filter::sh 'tr XYZ PQR';
$a = 1;
print "XYZ a = $a\n";
スクリプトが実行されたときに得られる出力は:
PQR a = 1
独立した実行ファイルとしてソースフィルタを書くとうまく動作しますが、
小さい性能上のペナルティがあります。
例えば、上述の小さい例を実行すると、Unix の tr コマンドを実行するために
別々のサブプロセスが作られます。
サブシステムの作成のコストが高いシステムでは、ソースフィルタを作るための
その他の選択肢を考えたいかもしれません。
独自のソースフィルタを作成するためのもっとも簡単でもっとも移植性のある 選択肢は、完全に Perl で書くことです。 これを前述の二つのテクニックと区別するために、ここではこれを Perl ソースフィルタと呼びます。
Perl ソースフィルタの書き方を理解するのを助けるために、学習するための 例が必要です。 以下は rot13 復号を行う完全なソースフィルタです。 (rot13 は、攻撃的な投稿を隠すために Usenet 投稿で使われたとても簡単な 暗号スキームです。 これはそれぞれの英文字を 13 ずらします; 従って A は N に、B は O に、 Z は M になります。)
package Rot13;
use Filter::Util::Call;
sub import {
my ($type) = @_;
my ($ref) = [];
filter_add(bless $ref);
}
sub filter {
my ($self) = @_;
my ($status);
tr/n-za-mN-ZA-M/a-zA-Z/
if ($status = filter_read()) > 0;
$status;
}
1;
全ての Perl ソースフィルタは Perl クラスとして実装され、上述の例と 同じ基本構造を持ちます。
まず、Filter::Util::Call をインクルードして、多くの関数をフィルタの
名前空間にエクスポートします。
上述のフィルタはこれらの関数の内 filter_add() と filter_read() の
二つの関数を使います。
次に、フィルタオブジェクトを作って、import 関数を定義することによって
これをソースストリームと結びつけます。
Perl のことを十分知っているなら、
import は use 文でモジュールがインクルードされる旅に自動的に
呼び出されることを知っているでしょう。
これにより、import はフィルタオブジェクトの作成とインストールに
最適の場所と言えます。
例のフィルタでは、オブジェクト ($ref) はその他の Perl オブジェクトと
同じように bless されます。
この例では無名配列を使っていますが、これは必須ではありません。
この例では内容の情報を補完する必要がないので、スカラリファレンスや
ハッシュリファレンスでを使うこともできます。
次の節ではコンテキストデータを図示します。
フィルタオブジェクトとソースストリームの関連付けは filter_add() 関数で
行われます。
これはフィルタオブジェクト (今回の場合では $ref) を引数に取って、
これをソースストリームに取り付けます。
最後に、実際にフィルタリングを行うコードがあります。
この種の Perl ソースフィルタのために、フィルタリングの全ては
filter() と呼ばれるメソッドで行われます。
(クロージャを使って Perl ソースフィルタを書くことも可能です。
さらなる詳細については Filter::Util::Call マニュアルページを
参照してください。)
これは Perl パーサが処理するソースの行が必要になる度に毎回呼び出されます。
filter() メソッドは、filter_read() 関数を使ってソースストリームから
順番に行を読み込みます。
ソースストリームから 1 行が利用可能になったら、filter_read() は
0 より大きいステータス値を返して、$_ に行を追加します。
ステータス値が 0 の場合はファイル末尾を示し、0 より小さい場合は
エラーを意味します。
filter 関数自身はステータスを同じ方法で返し、ソースストリームに
書き込みたいフィルタリングされた行を $_ に入れることを
想定されています。
$_ の使い方はほとんどの Perl ソースフィルタの簡潔さを考慮に
入れています。
rot13 フィルタを使うには、ソースファイルを rot13 形式で符号化する
方法が必要です。
以下のスクリプト mkrot13 はそれを行います。
die "usage mkrot13 filename\n" unless @ARGV;
my $in = $ARGV[0];
my $out = "$in.tmp";
open(IN, "<$in") or die "Cannot open file $in: $!\n";
open(OUT, ">$out") or die "Cannot open file $out: $!\n";
print OUT "use Rot13;\n";
while (<IN>) {
tr/a-zA-Z/n-za-mN-ZA-M/;
print OUT;
}
close IN;
close OUT;
unlink $in;
rename $out, $in;
これを mkrot13 で暗号化すると:
print " hello fred \n";
結果は以下のようになります:
use Rot13;
cevag "uryyb serq\a";
これを実行すると以下の出力を生成します:
hello fred
rot13 の例はつまらない例でした。 以下は、もういくつかの機能を見せるための例です。
開発中に Perl スクリプトに大量のデバッグコードを含めておきたいけれども、
リリース製品では利用可能にしたくないとします。
ソースフィルタが解決法を提供します。
例を単純なままにするために、環境変数 DEBUG で制御されるデバッグ出力が
ほしいとします。
デバッグコードは、環境変数が存在すれば有効になり、さもなければ
無効になります。
次のように、二つの特殊なマーカー行でデバッグするコードを囲みます:
## DEBUG_BEGIN
if ($year > 1999) {
warn "Debug: millennium bug in year $year\n";
}
## DEBUG_END
DEBUG 環境変数が存在するとき、フィルタは Perl が DEBUG_BEGIN と
DEBUG_END のマーカーの間のコードだけをパースするようにします。
これにより、DEBUG が存在すると、上述のコードはフィルタを変更なしで
通過して渡されます。
マーカー行もそのまま渡されます; Perl パーサはこれらをコメント行として
扱うからです。
DEBUG が設定されていないとき、デバッグコードを無効にする方法が
必要になります。
これを達成する簡単な方法は、二つのマーカーの間の行をコメントに
変換することです:
## DEBUG_BEGIN
#if ($year > 1999) {
# warn "Debug: millennium bug in year $year\n";
#}
## DEBUG_END
以下は完全な Debug フィルタです:
package Debug;
use strict;
use warnings;
use Filter::Util::Call;
use constant TRUE => 1;
use constant FALSE => 0;
sub import {
my ($type) = @_;
my (%context) = (
Enabled => defined $ENV{DEBUG},
InTraceBlock => FALSE,
Filename => (caller)[1],
LineNo => 0,
LastBegin => 0,
);
filter_add(bless \%context);
}
sub Die {
my ($self) = shift;
my ($message) = shift;
my ($line_no) = shift || $self->{LastBegin};
die "$message at $self->{Filename} line $line_no.\n"
}
sub filter {
my ($self) = @_;
my ($status);
$status = filter_read();
++ $self->{LineNo};
# deal with EOF/error first
if ($status <= 0) {
$self->Die("DEBUG_BEGIN has no DEBUG_END")
if $self->{InTraceBlock};
return $status;
}
if ($self->{InTraceBlock}) {
if (/^\s*##\s*DEBUG_BEGIN/ ) {
$self->Die("Nested DEBUG_BEGIN", $self->{LineNo})
} elsif (/^\s*##\s*DEBUG_END/) {
$self->{InTraceBlock} = FALSE;
}
# comment out the debug lines when the filter is disabled
s/^/#/ if ! $self->{Enabled};
} elsif ( /^\s*##\s*DEBUG_BEGIN/ ) {
$self->{InTraceBlock} = TRUE;
$self->{LastBegin} = $self->{LineNo};
} elsif ( /^\s*##\s*DEBUG_END/ ) {
$self->Die("DEBUG_END has no DEBUG_BEGIN", $self->{LineNo});
}
return $status;
}
1;
このフィルタと以前の例との大きな違いは、フィルタオブジェクトの
コンテキストデータの使用です。
フィルタオブジェクトはハッシュリファレンスを基礎としていて、フィルタ関数の
呼び出し間のコンテキスト情報の様々な断片を保持するために使われます。
二つを除いた全てのハッシュフィールドはエラー報告のために使われます。
二つの内一番目である Enabled は、デバッグコードが Perl パーサに
与えられるべきかどうかを決定するために使われます。
二番目である InTraceBlock は、フィルタが DEBUG_BEGIN に遭遇したけれども
まだ引き続く DEBUG_END 行に出会っていないときに真となります。
コードのほとんどが行っているエラーチェックの全てを無視すると、フィルタの 本質は以下のようになります:
sub filter {
my ($self) = @_;
my ($status);
$status = filter_read();
# deal with EOF/error first
return $status if $status <= 0;
if ($self->{InTraceBlock}) {
if (/^\s*##\s*DEBUG_END/) {
$self->{InTraceBlock} = FALSE
}
# comment out debug lines when the filter is disabled
s/^/#/ if ! $self->{Enabled};
} elsif ( /^\s*##\s*DEBUG_BEGIN/ ) {
$self->{InTraceBlock} = TRUE;
}
return $status;
}
警告: C プリプロセッサが C のことを知らないのと同様、Debug フィルタは Perl のことを知りません。 簡単にだませます:
print <<EOM;
##DEBUG_BEGIN
EOM
そのようなことを置いておいても、それほどでもない量のコードで多くのことが 達成できるのが分かります。
これで、ソースフィルタとは何かについてよりよく理解できたと思います; さらにこれらの可能性のある使い方を持っているかもしれません。 もしソースフィルタで遊んでみたいと思っているけれどもちょっとした インスピレーションが必要なら、以下はデバッグフィルタに加えることが出来る 追加機能です。
まずは簡単なものです。
デバッグコードをオールオアナッシングにするのではなく、どのブロックを
デバッグコードとして使うかを制御できるようにすればもっと便利です。
それぞれのデバッグブロックを識別できるように文法に文法を
拡張してみてください。
DEBUG 環境変数の内容はどのブロックを使うかを制御するのに使えます。
個々のブロックを識別できるようになったら、ネストできるように してみてください。 これも難しくはありません。
これはデバッグフィルタに関係ない面白いアイデアです。
今のところ Perl サブルーチンは公式な引数リストに限定的に対応しています。
パラメータの数とその型は指定できますが、自力で @_ 配列から取り出す
必要があります。
名前付き引数リストを使えるようなソースフィルタを書きましょう。
そのようなフィルタは以下のようなものを:
sub MySub ($first, $second, @rest) { ... }
次のように変更します:
sub MySub($$@) {
my ($first) = shift;
my ($second) = shift;
my (@rest) = @_;
...
}
最後に、本当の挑戦を好むなら、本格的な Perl マクロプリプロセッサを ソースフィルタとして書いてみてください。 C プリプロセッサやその他のマクロプロセッサから便利な機能を 借りてきてください。 トリッキーなところは、Perl の文法のどれくらいの知識をフィルタに持たせるかを 選ぶところです。
DATA ハンドルを上書きします一部のソースフィルタは、呼び出したプログラムを読み込むために
DATA ハンドルを使います。
これらのソースフィルタを使うときには、このハンドルに依存したり、これを
操作したときに何らかの特定の振る舞いを想定できません。
Filter::Util::Call (従って Filter::Simple) を基礎としたフィルタは
DATA ファイルハンドルを変更しません。
ソースフィルタディストリビューションは CPAN の以下から利用可能です
CPAN/modules/by-module/Filter
Perl 5.8 から、Filter::Util::Call (ソースフィルタ配布のコアの部分) は 標準 Perl 配布の一部です。 また、Damian Conway によるより親しみやすいインターフェースである Filter::Simple も含まれています。
Paul Marquess <Paul.Marquess@btinternet.com>
This article originally appeared in The Perl Journal #11, and is copyright 1998 The Perl Journal. It appears courtesy of Jon Orwant and The Perl Journal. This document may be distributed under the same terms as Perl itself.