2012年4月22日　カーネル／ＶＭ探検隊

コマンドとシェルスクリプトで企業システムを作る
― USP 研究所の取り組み

有限会社ユニバーサル・シェル・プログラミング研究所
上田隆一

第七回　カーネル／ＶＭ探検隊　2012/4/22 @東京　　　　　　　　　　　　　　　© usp lab. 2012

本日の発表内容
1. 会社の話
 ちゃんと仕事をしている
2. 技術の話
 かなり独創的
3. お知らせ

「かなり独創的な方法で、ちゃんと仕事をしている話」
（そしてお知らせも聞いてください）


その前に自己紹介（誰？）
 名前：上田隆一
 USP 研究所社員 @ uecinfo
 USP 友の会

会長

@usptomo の中の人

bash で CGI を書く人
 その他

連載：開眼シェルスクリプト（ SD 誌）

「Ryuichi Ueda robotics」で検索


USP 研究所
 シェルスクリプトでシステム開発する会社
 社員数：20人++
 元受け・少人数で開発・自社開発指導


自社開発指導
 顧客企業の情報システム部にて・・・
 CUI で OS を使う講習
 vim の講習
 awk・ sed の講習
 シェルスクリプトの書き方講習
 イントラ用 CGI の書き方講習
 ・・・


「いわゆる SI 業界」の常識

 ウォーターフォール

 「どの RDBMS（以下 DB）を入れるか」から始まる


なぜそうなるか？
 問い
「あなたは長年卵焼きを製造販売している会社の社長です。
最近、1台の卵焼きマシーンがへたってきました。
予算1億円、納期半年で新型マシーンを
発注したいと考えています。どこに頼みますか？」

A) 実績ある企業（見積もり1億円）
B) 知らない企業（見積もり3千万円）

 最終的にどっちが選ばれるか分からないが、
B は警戒される。


システム開発は（卵焼きマシーンより）厄介
 見えない
 「安い」といわれても実物がどんなものになるか分からない

完成と同時に分かる

 失敗リスク
 抱える人・ものが多くなる


そんなに人がいない。どう戦うか？
 実績をコツコツと
 自分たちで作ってもらう

 仲間作り
 我々の取り組みを知ってもらう

 失敗しない仕組みを
 人
 マニュアル
 見通しのよいアーキテクチャ


ＵＳＰ手法（ユニケージ）
 コマンド＋シェルスクリプト

 データをテキストファイルで持つ
 ファイルシステムを使う

 余計なソフトウェアを入れない（ブラックボックスを作らない）
 コマンド、 apache、NFS、その他標準のもの

 データを整理整頓するノウハウの塊
 自由度の高いファイルシステムにデータ基盤を作る


データの整理整頓（レベル分け）
 実社会でのデータの流れを意識
 データ基盤の構築

受け取った伝票は捨てないで綴じておく →レベル１

綴じた伝票をノートに全部書き出して台帳とする →レベル２

台帳からなにか統計データを集計する →レベル３

 データを利用するアプリケーション

統計データを加工、聞かれたら答えるデータを準備 →レベル４

（レベル５もある）


実物 ―ウェブサイトのアクセス解析
 ごちゃごちゃしたログをグラフィカルに
表示するまで
 レベル１→４のプロセスを踏む

生のログ
ウェブ画面


 レベル１
$ tail -n 1 access_log
1.2.3.4 - - [21/Apr/2012:06:15:10 +0900] "GET
/TUKUBAI_MAN/CGI/TUKUBAI_MAN.CGI?POMPA=MAN1_yarr
HTTP/1.1" 200 16814 "-" "Mozilla/5.0 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)"

 レベル２
 キーを左に、キーの整形・ソート、 awk で扱える形式
$ tail -n 1 ACCESS_LOG.CURRENT
20120421 062410 1.2.3.4 - - GET_/COMMON/HTML/
rss20.xml_HTTP/1.1 304 - - Feedfetcher-Google;
_(+http://www.google.com/feedfetcher.html;_6_subscri
bers;_feed-id=4796065779311373044)


 レベル３
 項目別に集計
$ tail VISIT/VISIT_COUNT.HOUR
 様々な切り口で 20120420 18 6
有意な情報を作成 20120420 19 5
20120420 20 4
20120420 21 5
20120420 22 4
20120420 23 22
20120421 00 78
20120421 01 23
20120421 02 10
20120421 03 7

例）時間ごとの訪問者数


 レベル４
 表示する形式にしておく

$ cat HIT.ACCUM
89138
$ cat UPDATE.TIME
2012 年& nbsp; 4 月& nbsp;21 日& nbsp; 土曜日
& nbsp;06:40:01 JST
$ tail -n 5 VISIT_COUNT.HOUR.REV
20120406 09 5
20120406 08 4
20120406 07 6
20120406 06 4
20120406 05 1


「DB を使う」方法との差異
 DB v.s. テキストという話ではない
 「DB を使う」は道具の話
 レベル1-5はアーキテクチャの話なのでもっと親切

データを整理して失敗を避ける仕組み

 レベル1-5を実現する道具: DB よりも生の UNIX
 DB は木構造の概念が薄い→ディレクトリの方が便利
 ファイルからファイルへの変換は伝統的な UNIX そのもの

ファイルの入力リダイレクト => コマンド => パイプ =>
コマンド => 出力リダイレクト


ＵＳＰ手法（ユニケージ）
 コマンド＋シェルスクリプト
 コマンド

C 言語で爆速
 シェルスクリプト

プログラムというよりは、レベル間をつなぐ変換器
（データの方が大事）

 データをテキストファイルで持つ
 余計なソフトを入れない（ black box を作らない）
 データを整理整頓するノウハウの塊


デモ
 ログファイル変換のシェルスクリプト
 速いソート
 オープン版


もし興味があったら・・・
 usp engineers' community (UEC)
 https://uec.usp-lab.com, @uecinfo

 Open-usp-Tukubai
 オープン版で SQL ライクな処理をするコマンドを公開
 GitHub, FreeBSD ports （ /usr/ports/devel/open-usp-tukubai/ ）

 SoftwareDesign 連載：「開眼シェルスクリプト」


おわりに
 USP 研究所は・・・
 ファイルシステム上にデータを整理
 UNIX 系 OS を極限まで使用
 爆速を目指す


2012年4月22日　カーネル／ＶＭ探検隊

Recommended

Recommended

More Related Content

Similar to 2012年4月22日　カーネル／ＶＭ探検隊

Similar to 2012年4月22日　カーネル／ＶＭ探検隊 (20)

More from Ryuichi Ueda

More from Ryuichi Ueda (20)