秀スクリプトの話

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

秀スクリプトの話
徳丸浩

徳丸浩の自己紹介
• 経歴
– 1985年京セラ株式会社入社
– 1995年京セラコミュニケーションシステム株式会社(KCCS)に出向・転籍
– 2008年 KCCS退職、HASHコンサルティング株式会社(現社名:EGセキュアソリューション...

なぜ秀スクリプトを作ろうと思ったか?
• テキストエディタとして普段秀丸を使っているのですが…
• なんとなく、秀丸のことを見下されているような気がするわけですよ
– 気のせいかもしれないけど
• vimは賞賛されるのに、秀丸は賞賛されない、こ...

言語処理系とわたし
• 実は若い頃からコンパイラ作りを趣味としていた
• 代表作は Pascal コンパイラ Cabezon （カベソン）
– Cabezon 自体でコンパイラが記述され、自身をコンパイルできる
– MS-DOS上で動作
– M...

秀丸マクロのサンプル
#n=1; // コメント形式1 #で始まる識別子は数値型変数
while (#n <= 10) { /* コメント形式2 while や if が使える */
call fib #n; // 関数・サブルーチンは cal...

秀丸マクロのイケテナイ点
• 全体的に独自仕様が強く、いかにも昔のマクロという感じ
• 変数に型があり、一文字が $ か # で決まる
• 関数の戻り値を疑似変数 $$return または ##return で受けとる
• 変数の宣言は必要ない...

関数の戻り値を疑似変数 $$return または ##return で受けとる
• 以下のように書きたいが書けない
while (foo() > 0) {
// 色々な処理
}
• こうなる（辛い）
call foo;
while (##ret...

目標を決める
• 少なくとも外見上は、今風の言語仕様に見えること
• 当初は以下の目標を考えていたが…
– 秀丸マクロを生成するトランスパイラ型の処理系
– コンパイラ自体は秀丸マクロで記述
• 秀丸マクロで開発は辛い…
• 自分自身が書けると...

ブートストラップ方針
• 一般に言語Aの処理系を言語A自体で開発するためには、「最初はどう
するのだ」という、鶏が先か卵が先かというジレンマが生じる
– ブートストラップ問題という
• 考えられる方法は以下の２つ…
A) 秀スクリプトを既存言語...

親言語を決める
• 秀スクリプトの記述言語（親言語）として何を選択するか?
• 求められる条件は下記の通り
– 親言語は、秀スクリプトのスーパーセットになるので、親言語を決めることは、
秀スクリプトの言語仕様を決めることに近い
– 秀丸マクロを...

秀スクリプトの言語仕様
• TypeScriptに似た言語仕様を持つ…と言っても高度な機能はないので、
昔のBASIC程度の機能
• 変数、関数の宣言時には型を直接または間接に指定すること
var x: number; // 明示的な型指定
v...

Demo
秀スクリプトコンパイラをコンパイルしてみる
1. node.js で
2. 秀丸で
12

配列について
• 数値型と文字列型配列が可能
var a1 : number[]; // 整数型の配列変数
var a2 : number[] = new Array(); // 同上
// TypeScriptとしても動作させたい時はこの記述...

Inside 秀スクリプト(1) 構文解析
• 手書きコンパイラの構文解析は、再帰下降型が主流…かと
• EBNF (拡張バッカスナウアーフォーム)をそのままプログラミング
• 掛け算と足し算のみの文法の構文解析の例
14
primary : ...

JavaScript(TypeScript)は演算子の優先順位が複雑…
15
演算子の種類対応する演算子
メンバ . []
インスタンスの呼び出し/作成 () new
否定/インクリメント ! ~ - + ++ -- typeof void ...

演算子の優先順位が複雑だと関数の呼び出しネストも深くなる
logicalOrExpression
logicalAndExpression
bitwiseOrExpression
bitwiseXorExpression
bitwiseAndE...

式の構文解析に演算子順位構文解析を併用する
• 演算子順位構文解析とは、演算子の優先順位を元にテーブル駆動で構
文解析する手法
• 教科書的にはこんな表を使うが…
• 秀スクリプトでは2次元データ構造は難しいので1次元にしたい
• 簡単にするた...

秀スクリプトの演算子順位表
operators[0] = "!"; opPriority[0] = 2; hidePriority[0] = "5";
operators[1] = "*"; opPriority[1] = 3; hidePri...

演算子順位構文解析の様子(初期状態)
19
5
4
3
2
1
0
a * b + c * d
スタック（空）

演算子順位構文解析の様子(a をプッシュ)
20
5
4
3
2
1
0 #a
a * b + c * d
スタック

演算子順位構文解析の様子(* b をプッシュ)
21
5
4
3
2 #b
1 *
0 #a
a * b + c * d
スタック

スタックトップと次の演算子の優先順位を比較
22
5
4
3
2 #b
1 *
0 #a
a * b + c * d
演算子の優先順位を比較
→乗算の方が優先なので還元処理
スタック

演算子順位構文解析の様子(還元処理)
23
5
4
3
2
1
0 (#a*#b)
a * b + c * d
スタック

演算子順位構文解析の様子( + c をプッシュ)
24
5
4
3
2 #c
1 +
0 (#a*#b)
a * b + c * d
スタック

スタックトップと次の演算子の優先順位を比較
25
5
4
3
2 #c
1 +
0 (#a*#b)
a * b + c * d
演算子の優先順位を比較
→乗算の方が優先なので還元しない
スタック

演算子順位構文解析の様子( * d をプッシュ)
26
5
4 #d
3 *
2 #c
1 +
0 (#a*#b)
a * b + c * d
式の処理が終わったので、この後は
スタックの中身を還元処理していく
スタック

演算子順位構文解析の様子(スタックトップを還元処理)
27
5
4 #d
3 *
2 #c
1 +
0 (#a*#b)
a * b + c * d
5
4
3
2 (#c*#d)
1 +
0 (#a*#b)
還元
スタックスタック

演算子順位構文解析の様子(スタックトップを還元処理)
28
5
4
3
2 (#c*#d)
1 +
0 (#a*#b)
a * b + c * d
5
4
3
2
1
0 ((#a*#b)+(#c*#d))
還元
スタックスタック

生成コードが括弧だらけになるのはちょっといや
• 人が見るソースではないので「気にしない」という選択はあり
• 僕はいやだった
• 秀スクリプト(TypeScript)と秀丸マクロは式の優先順位が異なる
• a * b | c * d は、 #...

式の意味解析とデータ形式
• 意味解析とコード生成では、式のコンパイル結果をデータとして保持
する必要がある
– ツリーなどの形式が一般的だが
– 秀スクリプトは構造体的なものがないので苦しい
• 以下の文字列形式とした( a*b+c/d のコ...

秀丸マクロのいやらしいところ
特に注意！
「!」の優先順位が「||」や「&&」と同じなので、例えば
if( #a || !#b)
if( !#a || #b)
のような表記はうまくいきません。このような表記は、
if( #a || (!#b) ...

2項演算子のコード生成
function genBianryOp(code1: string, op: string, code2: string): string {
var bopPriority = getHidePriority(op)...

関数の前方参照
• JavaScriptやTypeScriptは、関数の前方参照ができる
– まだ関数が定義されていない状態で関数を呼び出せる
foo(); // 関数の呼び出し…この段階ではまだ関数は定義されていない
….
function ...

関数の前方参照…関数の前方宣言の導入
• TypeScriptと秀スクリプトのつじつまを合わせる形で、関数の前方宣
言をサポートした
34
// アロー演算子を使って関数の前方宣言を行う
var foo: (x: number) => numb...

$コード生成の例 • 以下の秀スクリプトは function foo():number { } while (foo() > 0) { } • 以下のようにコンパイルされる goto _end_foo foo: // ここに関数の中身 retur...$

TypeScriptと秀スクリプトの両方でコンパイルする工夫
• 秀スクリプトはTypeScriptと互換性があるので、コンパイラはどちら
でもコンパイルできるようにしたい
• できるだけTypeScriptと秀スクリプトの共通部分でコンパイラ...

TypeScriptと秀スクリプトの両方でコンパイルする工夫
37
• 以下のようにした
if (version() > 0) { // version()は秀丸マクロでは正の値を返す
… // 秀スクリプト固有の処理
}
//EOF //E...

サブルーチンのネスト制限問題(1)
• 秀丸マクロには、サブルーチンのネスト回数の厳しい制限がある
– callされたサブルーチンからさらにサブルーチンを呼ぶこともできます。最高
20回程度重複可能です。
• 20ネストで十分と思うでしょ? 再...

サブルーチンのネスト制限問題(2)
• 秀シリーズサポートフォーラムでお願いしてみた
• ockeghem さん
…「callされたサブルーチンからさらにサブルーチンを呼ぶこともできます。最高20回程度重複可
能です。」という制限にひっかかって...

秀スクリプトのコンパイル・実行方法
(1) TypeScript+Node.jsとして実行する
– hidescript.ts をTypeScriptコンパイラによりコンパイルする。hidescript.jsが生成される
– hidescrip...

テストについて
41

当初、テストはなかった（ぼそっ）
42

,、,,,、,,,
_,,;' '" '' ;;,,
（rヽ,;''""''゛゛;,ﾉｒ）
,; i ___ 、___iヽ゛;, テスト書いてないとかお前それ@t_wadaの前でも同じ事言えんの？
,;'''|ヽ・〉〈・ノ |ﾞ ';,
,;'...

すっ、すまん…儂が悪かった
44

テストを書くにはどうしたらよいか?
• 秀スクリプトはNode.js上で動くので、Node.jsに対応したテストシス
テムを使えば良いが…
• 実機テストとしては秀丸を起動しないといけない
• 秀丸上でコンパイル、実行結果などを把握する必要があ...

秀スクリプト・テストシステムの概要(1)
ディレクトリ構成
hs-test hs-test.js hs-test.cmd が置かれている
|
+-- Test テストコード
|
+-- TestRef テストの基準データ
|
+-- TestR...

秀スクリプト・テストシステムの概要(2)
テストファイルの構成
テストコード（拡張子は .hst）は、秀スクリプトのコードに以下のテスト指令を追加したものです。
//status=0 または 1 [省略不可; コンパイラのステータス正常:0 ...

テスト・システムは作って本当によかった
• 自分自身をコンパイルできるとは言え、それは正常系が一応動くとい
うこと
• コンパイラは、異常系の処理（構文エラー、意味的なエラー）の処理
が割合としては多い
• テストも、異常系のテストが多い
• ...

Demo
49

まとめ
• TypeScriptに似た文法を持ち、秀丸マクロを生成する「秀スクリプ
ト」という言語処理系を作成した
• 秀スクリプトは秀スクリプト自身で記述されており、（やろうと思え
ば）秀丸上で自分自身をコンパイル可能…
– ただし、すごく遅...

謝辞
秀スクリプトの開発にあたり、秀丸マクロのサブルーチンのネスト回数
が20回までという制限が厳しく、サポートフォーラムにて制限の緩和を
要望したところ、200回までに緩和いただきました。この仕様緩和で、
秀スクリプトを秀丸上でコンパイルでき...