2009年9月25日 TechFieldersセミナー 「SQL Server 2008 R2 を使用して統合ログ管理 システムを構築しよう」

1. SQL Server 2008 で統合ログ管理システムを構築しよう マイクロソフト株式会社 エバンジェリスト 安納 順一 http://blogs.technet.com/junichia/

2. 本日のスケジュール 13:30～16:30 SQL Server2008で統合ログ管理システムを構築しよう 16:45～17:45 SQL Serverエキスパートによる特別セッション 「Hyper-V による SQL Server の統合」 講師： 伊藤忠テクノソリューションズ株式会社 後藤 真人 様 17:45～18:30 ライトニングトーク 18:30～ 懇親会

3. 本セミナーの目的と内容 目的：SQL Server は単なる「必須ソフト」ではないことを知る 「なんか新しいことができそうだな」という夢を見る 内容：インフラ上のログをSQL Serverに集めて一元管理する

5. SSIS/SSRS の考え方と「難解な部分」の解説を中心に行います

6. 本日作成したプロジェクトと、その手順はBLOGに掲載しますhttp://blogs.technet.com/junichia/

7. より理解を深めるためにおすすめ（私もこれで勉強しました）■SQL Server 2008 自習書シリーズ http://technet.microsoft.com/ja-jp/sqlserver/dd610200.aspx■SQL Server バーチャルラボ http://technet.microsoft.com/ja-jp/virtuallabs/cc879114.aspx

9. ログ管理システムのイメージ 【取り込み】 ・イベントログをデータベースに蓄積 ・定期的に取り込みタスクを実行 ・サーバーが増えても柔軟に対応可能 【統計資料】 ・期間を指定してレポートを作成 ・レポートの体裁は事前に定義できる ・レポートはブラウザから表示できる イベントログ SSIS SQL DB SSRS SSAS

10. ITPROを支える3つの機能 必要最小限のSQL文の知識と、若干のコーディング力が求められる SSIS：SQL Server Integration Service データ移入作業の可視化 ・外部ファイル、データベースからの取り込み ・データ変換 SSRS：SQL Server Reporting Service 資料作成の単純化 ・レポートテンプレートの作成、表示、印刷 ・パラメタ化による動的なレポートの生成 SSAS：SQL Server Analysis Service ・多次元データベースによる分析（OLAP） ・データマイニング

11. イベントログ 第1章 ログの取り込み SSIS データが無ければはじまらない！ SQL DB 取り込みプロセスの部品化と可視化

12. テーブル構成 ComputerList ComputerName LogFileName EventLogData_<Logfile> Number(int)(key) Category(nvarchar(50)) <logfile> には、Application, System, Security などが入る CategoryString(nvarchar(50)) ComputerName(nvarchar(50)) Data(nvarchar(max)) Server01 Server02 EventCode(nvarchar(50)) EventIdentifier(nvarchar(50)) InsertionStrings(nvarchar(50)) Logfile(nvarchar(50)) Message(ntext) System Application Security RecordNumber(int) SourceName(nvarchar(max)) TimeGenerated(datetime) TimeWritten(datetime) Type(nvarchar(50)) User(nvarchar(50))

13. Eventlogを取り込む際の留意点 Category カテゴリ番号 CategoryString カテゴリ名 ComputerName イベントを生成したコンピュータ名 Data イベントの付帯情報 EventCode Uint16 形式のイベントID EventIdentifier Uint32 形式のイベントID イベントの付帯情報 InsertionStrings Logfile ログファイルの名前（System,Application,Security など） イベントの説明文。4000文字（bstr）を超える可能性あり。 シングルクオーテーションが含まれることが多い。 Message 2,147,483,647 RecordNumber イベントレコードの通番 int32（max 9,223,372,036,854,775,807） SourceName イベントを生成したソースプロセス（MSSQL,MSInstaller など） イベントが発生した日時。標準時で生成。 TimeGenerated TimeWritten イベントが書き込まれた日時。標準時で生成。 Type イベントのタイプ（情報、エラー、警告、成功の監査、失敗の監査） User イベントを発生させたユーザー

14. イベントログを取得するスクリプト例 strComputer = “.” Set objService= GetObject(“winmgmts:“ & strComputer & “ootimv2”) Set objEvtSet = objService.ExecQuery_ ("Select * From Win32_NTLogEvent Where Logfile='System'") For Each e In objEvtSet wscript.echoe.ComputerName & "," & e.EventCode Next

15. Logfile 属性について 使用可能なLogfile属性は、以下のコマンドで調査できる C:amp;gt; wmicnteventlog list brief FileSizeLogfileName Name NumberOfRecords 6361088 Application C:indowsystem32inevtogspplication.evtx 8022 69632 HardwareEvents C:indowsystem32inevtogsardwareEvents.evtx 0 69632 Internet Explorer C:indowsystem32inevtogsnternet Explorer.evtx 0 69632 Key Management Service C:indowsystem32inevtogsey Management Service.evtx 0 69632 Media Center C:indowsystem32inevtogsedia Center.evtx 0 1052672 OAlerts C:indowsystem32inevtogsAlerts.evtx 254 69632 ODiag C:indowsystem32inevtogsDiag.evtx 0 69632 Operations Manager C:indowsystem32inevtogsperations Manager.evtx 120 69632 OSession C:indowsystem32inevtogsSession.evtx 4 30740480 Security C:indowsystem32inevtogsecurity.evtx 40359 8458240 System C:indowsystem32inevtogsystem.evtx 20623 1118208 Windows PowerShell C:indowsystem32inevtogsindows PowerShell.evtx

16. （参考）WINEVThannels 配下のイベント HKLMOFTWAREicrosoftindowsurrentVersionINEVThannels 配下のイベントは Win32_NTLogEvent では取得できない。 C:amp;gt;wevtutil.exe 代替策

17. 制御フローを実装する 取り込みプロセスをSSISでデザイン ※利用手順は自習書を！

20. SQL Server Business Intelligence Development Studioを起動し、[ファイル]-[新規作成]-[プロジェクト]から「Integration Service プロジェクト」を選択

21. 制御フローを考えてみる 開始 ＳＳＩＳ ソース取得 Computer List 取り込みソースのリスト ソースごとに処理を繰り返し テーブル作成 取り込み範囲のチェック イベントログを一括取得 レコードを1件ずつ取り出し Insert 文を生成 Insert into … EventLog Database 終了

23. 各部品のパラメタを設定する

24. 部品同士を矢印で接続して「フロー」を決めるＳＳＩＳ ソース取得 事前に処理の流れを決めておくことが重要 ソースごとに処理を繰り返し テーブル作成 取り込み範囲のチェック イベントログを一括取得 レコードごとに Insert 繰り返し Insert into … 終了

26. 「接続オブジェクト」の定義が必要

27. 処理を繰り返すための部品

28. ファイルや変数、レコードセットの読み込みに使用

29. 処理回数が未定の場合に使用する

30. VB.NETまたはC#を使用して柔軟な処理を実装したい場合に使用

31. 文字列の細かな処理などに使用すると便利

32. WMIを使用した処理結果を受け取る場合に使用

33. 今回はイベントログの取得に使用している

35. 部品（制御フロー項目）のI/O 各部品は、複数のI/Oから選択することができる 接続マネージャー Input Output 直接入力 部品 データベース データベース ファイル ファイル 変数 変数 （例） SQL文 変数 変数 結果のレコードセットを変数に格納し、次の処理で使用できる ループの中で処理する場合に、SQL文を変えながら処理が可能

37. 部品間で共有が可能部品 WMIデータリーダー ファイル接続 WQL 変数 WMI接続

39. Expressions属性により、変数が呼び出されたときに、ダイナミックに値を挿入することができる超便利！

41. Expression（式）を記載することで、指定した他の属性にダイナミックに値を代入することができる（例）SQL実行タスク SqlStatementSource属性にはSQL文を記載するが、処理によって接続先のテーブルを変えたい場合がある。 Expressions属性を使用することで、SqlStatementSourceの値を部品が呼ばれる都度変更することができる。

42. Expressions属性の使用例 "IF NOT EXISTS (SELECT * FROM sys.objects WHERE object_id= OBJECT_ID(N'[dbo].[EventLogData_"+ @[User::tmpLogfileName] +"]') AND type in (N'U') ) "+ "CREATE TABLE [dbo].[EventLogData_"+ @[User::tmpLogfileName] +"] ( [Number] [int] IDENTITY(1,1) NOT NULL, [Category] [nvarchar](50) NULL, [CategoryString] [nvarchar](50) NULL, [ComputerName] [nvarchar](50) NULL, [Data] [nvarchar](max) NULL, [EventCode] [nvarchar](50) NULL, [EventIdentifier] [nvarchar](50) NULL, [EventType] [nvarchar](50) NULL, [InsertionStrings] [nvarchar](50) NULL, [LogFile] [nvarchar](50) NULL, [Message] [ntext] NULL, [RecordNumber] [int] NULL, [SourceName] [nvarchar](max) NULL, [TimeGenerated] [datetime] NULL, [TimeWritten] [datetime] NULL, [Type] [nvarchar](50) NULL, [User] [nvarchar](50) NULL, CONSTRAINT [PK_EventLogData_"+ @[User::tmpLogfileName] +"] PRIMARY KEY CLUSTERED ( [Number] ASC)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]" テーブル名に、変数@[User::tmpLogfileName] を使用することで、部品が呼ばれるたびに、異なるテーブルに対して処理を行うことができる

43. スクリプトタスク内での変数の使用 スクリプト内で変数取り扱うことで、VB.NETやC#を使用した柔軟な加工が可能 （例）DateTimeカラムに保存する前にDateTime形式に変換 Dim strTimeGenerated As String = “19000101 00:00:00” If Not IsDBNull(Dts.Variables(“User::TimeGenerated”).Value)Then strTimeGenerated= Dts.Variables(“User::TimeGenerated”).Value strTimeGenerated = Mid(strTimeGenerated, 1, 8) & “ “ & _ Mid(strTimeGenerated, 9, 2) & “ “ & _ Mid(strTimeGenerated , 11, 2) & “ “ & _ Mid(strTimeGenerated, 13, 2)

44. 処理を実装してみる

45. 処理1：ソース（ｺﾝﾋﾟｭｰﾀ一覧）の取得 イベントログの取り込み元を取得する 接続マネージャ SQLタスク SQLStatement Select ComputerName,LogfileName From dbo.ComputerList dbo.ComputerList User::ComputerList

46. 処理2：ソースごとに処理を繰り返し User::ComputerList ADO列挙子 （データセット） Foreachループ User::tmpComputerName User::tmpLogfileName テーブル作成 取り込み範囲のチェック イベントログを一括取得 Foreachループ レコードを1件ずつ取り出し Insert 文を生成 Insert into …

47. 処理3：テーブルを作成 <LogfileName>イベントログを格納するテーブルが無い場合には作成する User::tmpComputerName User::tmpLogfileName dbo.Eventlog_<LogfileName> SQL文タスク Expressions(SQLStatement) 接続マネージャ "IF NOT EXISTS (SELECT * FROM sys.objects WHERE object_id = OBJECT_ID(N'[dbo].[EventLogData_"+ @[User::tmpLogfileName] +"]') AND type in (N'U') ) "+ "CREATE TABLE [dbo].[EventLogData_"+ @[User::tmpLogfileName] +"] ([Number] [int] IDENTITY(1,1) NOT NULL, [Category] [nvarchar](50) NULL, [CategoryString] [nvarchar](50) NULL, [ComputerName] [nvarchar](50) NULL, [Data] [nvarchar](max) NULL, [EventCode] [nvarchar](50) ・ ・ [User] [nvarchar](50) NULL, CONSTRAINT [PK_EventLogData_"+ @[User::tmpLogfileName] +"] PRIMARY KEY CLUSTERED ( [Number] ASC)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]" 完全なSQL文はAppendixに掲載

48. 処理4：取り込み範囲のチェック 変数はスコープ内であればどこででも使える User::tmpComputerName User::tmpLogfileName dbo.Eventlog_<LogfileName> SQLタスク 接続マネージャ Expressions(SQLStatement) SelectMAX(RecordNumber) as MaxRecordNumber from [EventLog].[dbo].[EventLogData” + @[User::tmpLogfileName] + “] Where [ComputerName] Like ‘“ + @[User::tmpComputerName]” + “’%” テーブルには複数のコンピュータのイベントログが格納されていることに注意 User::MaxRecordNumber

49. 処理4：イベントログを一括取得 User::tmpComputerName User::tmpLogfileName User::MaxRecordNumber 接続マネージャ（WMI） Expression(ConnectionString) WMIデータリーダー WQLQuerySource 属性値に変数を使用できる User::ConnectionString User::WQL Expression（Value） Expression（Value） “ServerName=”+@[User::tmpComputerName]+”;Namespace=rootcimv2;UserNtAuth;UserName=;” “Select *from Win32_NTLogEvent where logfile=“ + @[User::tmpLogfileName] + “’ and RecordNumber > “ + (DT_WSTR 10) @(User::MaxRecordNumber) Expressionsの中では「は制御記号 キャストが可能 User::EventData

50. 処理5：レコードを1件ずつ取り出し User::EventData 取り出した値が見えずらい場合にはObject形式にしておくと便利 Foreachループ User::Category User::CategoryString User::ComputerName User::Type User::User Insert 文を生成 Insert into を実行

51. 処理6：Insert 文を生成 SQL文を生成するにあたり、各値をSQLServerに取り込み可能な形式に整形する User::Category User::User 変数の値がNullかどうかをチェックしてから取り出す Scriptタスク Dim strCategory As String = "" If Not IsDBNull(Dts.Variables("User::Category").Value) Then strCategory= Dts.Variables("User::Category").Value.ToString End If Dim strMessage As String = "" If Not IsDBNull(Dts.Variables("User::Message").Value) Then strMessage = Dts.Variables("User::Message").Value.ToString strMessage = Replace(strMessage, "'", "-") End If Messageにはｼﾝｸﾞﾙｸｵｰﾃｰｼｮﾝが含まれているので置き換え

52. Scriptタスク Dim strTimeGenerated As String = "19000101 00:00:00" If Not IsDBNull(Dts.Variables("User::TimeGenerated").Value) Then strTimeGenerated = Dts.Variables("User::TimeGenerated").Value.ToString strTimeGenerated= Mid(strTimeGenerated, 1, 8) & " " & _ Mid(strTimeGenerated, 9, 2) & ":" & _ Mid(strTimeGenerated, 11, 2) & ":" & _ Mid(strTimeGenerated, 13, 2) End If Dim strSQL As String = "INSERT INTO [EventLog].[dbo].[EventLogData_" & strLogfile & "] ([Category]" & _ ",[CategoryString]" & _ ",[ComputerName]" & _ " VALUES('" & strCategory & "'," & _ "'" & strCategoryString & "'," & _ "'" & strComputerName & "'," & _ Dts.Variables("User::InsertSQL").Value = strSQL DateTime列に取り込めるように整形 SQL文を生成 User::InsertSQL

53. 処理7：Insert Into を実行 User::InsertSQL SQLタスク SQLStatement dbo.Eventlog_<LogfileName> ') User::InsertSQL Value INSERT INTO [EventLog].[dbo].[EventLogData_Application] ([Category],[CategoryString],[ComputerName],[Data],[EventCode],[EventIdentifier],[EventType],[InsertionStrings],[LogFile],[Message],[RecordNumber],[SourceName],[TimeGenerated],[TimeWritten],[Type],[User]) VALUES('0','','TF-SQL01-01.t6303.contoso.co.jp','','12290','1073819650','3','System.String[]','Application','Package "Package" has been cancelled.',3205,'SQLISPackage100','20090923 03:23:31','20090923 03:23:31','情報','T6303dministrator') 接続マネージャ

54. 最後に：処理の自動化 プロセスを実装し終えたら ・[ビルド]する - binフォルダに .dtsxファイルが作成される ・SQL Server Agent ジョブとして登録 - SQLServerAgent サービスを起動しておく（自動起動にする） - .dtsxファイル（パッケージファイル）を登録

55. SSIS SQL DB SSRS 第２章 レポートの作成 資料は時間をかけずに作りたい！ 報告書のテンプレート化

57. 日時をキーに、それぞれのデータを比較、分析するのがおすすめ日時 System Application Security パフォーマンスログ ・・・・・・・・ 本件は、次回のセミナーにて…

60. グラフフィールドの設定 比較したい数字 Count（type） 凡例 グラフフィールド 横軸が持つ要素 Type 横軸の指標 ComputerName

61. マトリックスの設定 行ごとに比較したい指標 行グループ コンピュータごとに複数のソース名が表示される 比較したい値

64. まとめ

66. SQL Server はもはやツールの一部です

67. SSIS/SSRS/SSAS も価格の一部です

69. 「オラクル都市伝説」を読み解くシリーズ（動画） YouTube上で近日公開！ SQL Server プロダクトマネージャー 北川が、オラクル社の人気コラム「都市伝説シリーズ シーズン２」を正しく読み解きます。 詳しくは、9月30日発行の TechNet Flashをご覧ください！ 北川のBLOGもご覧ください http://blogs.technet.com/sqlpm-j/

70. Appendix

71. SQL文タスク「テーブルが無ければ作成する」で使われているSQL文 "IF NOT EXISTS (SELECT * FROM sys.objects WHERE object_id = OBJECT_ID(N'[dbo].[EventLogData_"+ @[User::tmpLogfileName] +"]') AND type in (N'U') ) "+ "CREATE TABLE [dbo].[EventLogData_"+ @[User::tmpLogfileName] +"] ( [Number] [int] IDENTITY(1,1) NOT NULL, [Category] [nvarchar](50) NULL, [CategoryString] [nvarchar](50) NULL, [ComputerName] [nvarchar](50) NULL, [Data] [nvarchar](max) NULL, [EventCode] [nvarchar](50) NULL, [EventIdentifier] [nvarchar](50) NULL, [EventType] [nvarchar](50) NULL, [InsertionStrings] [nvarchar](50) NULL, [LogFile] [nvarchar](50) NULL, [Message] [ntext] NULL, [RecordNumber] [int] NULL, [SourceName] [nvarchar](max) NULL, [TimeGenerated] [datetime] NULL, [TimeWritten] [datetime] NULL, [Type] [nvarchar](50) NULL, [User] [nvarchar](50) NULL, CONSTRAINT [PK_EventLogData_"+ @[User::tmpLogfileName] +"] PRIMARY KEY CLUSTERED ( [Number] ASC)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]"