Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
1
2015年2月6日
株式会社アトミテック
Hyper-V上での大規模監視システム構築事例
のご紹介
Copyright (c) 2015 Atomitech CORPORATION
内容
Copyright (c) 2015 Atomitech CORPORATION 2
 会社概要
 事例紹介
 Hyper-V上での大規模監視システム構築事例
 関連したアトミテックの取り組み
 ルールエンジンによる自動運用管理...
会社概要
 社名
株式会社アトミテック
 設立
2004年07月01日
 営業拠点
東京本社
山口本社
福岡営業所
Copyright (c) 2015 Atomitech CORPORATION 3
 Hinemosビジネスへの取り組...
Hyper-V上での大規模監視システム
構築事例のご紹介
4Copyright (c) 2015 Atomitech CORPORATION
背景
Copyright (c) 2015 Atomitech CORPORATION 5
お客様
• 某通信会社系データセンタ
業務内容
• ホスティングとホスティング顧客システムの監視
システム環境(監視)
• OS:WindowsServ...
構成(アクティブ/スタンバイ構成)
Copyright (c) 2015 Atomitech CORPORATION 6
専用物理マシン、Hyper-V、OpenStack、VMware、KVM、etc
・・・顧客
システム
顧客
システム
顧...
課題と対処
Copyright (c) 2015 Atomitech CORPORATION 7
課題
• Hinemosのメンテナスが煩雑
• 正副のHinemosは独立しており、監視対象や監視項目の変更は
それぞれに行う必要がある
• 2台...
専用物理マシン、Hyper-V、OpenStack、VMware、KVM、etc
・・・顧客
システム
顧客
システム
顧客
システム
WSFC
構成(WSFC)
Copyright (c) 2015 Atomitech CORPORATION...
仮想マシンの移動について
ライブマイグレーション
•共有ディスクを使用しない
•ディスク情報とメモリ情報をネットワークで移動先に転送
•ダウンタイムがほとんど発生しない
クイックマイグレーション
•共有ディスクを使用する
•メモリ情報をディスク...
仮想マシンの移動について
Copyright (c) 2015 Atomitech CORPORATION 10
 ライブマイグレーション方式を検討するも課題あり
 ライブマイグレーションは高速なネットワークが必要
 事例の環境ではネット...
WSFCへの移行について
Copyright (c) 2015 Atomitech CORPORATION 11
 顧客のシステムを停止できないので、監視も停止できない
 監視を停止せずに正副冗長構成をWSFC構成に移行
 移行手順
1....
構成変更
Copyright (c) 2015 Atomitech CORPORATION 12
仮想マシン
仮想化ホスト
Hyper-V
・・・
仮想化ホスト
Hyper-V
・・・
副系正系
1.仮想化ホストを1台追加
2.追加した仮想化ホストと副系の仮想化ホストのHyper-V間でWSFCを構築
WSFC
構成変更
Copyright (c) 2015 Atomitech CORPORATION 13
仮想マシン
仮想化ホスト
H...
3.Hinemosによる監視を正系から副系への切り替え
WSFC
構成変更
Copyright (c) 2015 Atomitech CORPORATION 14
仮想マシン
仮想化ホスト
Hyper-V
・・・
共有ストレージ
仮想化ホスト
...
4.正系の仮想化ホストを加えWSFCを構築
WSFC
構成変更
Copyright (c) 2015 Atomitech CORPORATION 15
仮想マシン
仮想化ホスト
Hyper-V
・・・
共有ストレージ
仮想化ホスト
Hyper-...
5.正副2台のHinemos用仮想ノードを1台に整理し、仮想化ホストへ配置
WSFC
構成変更
Copyright (c) 2015 Atomitech CORPORATION 16
仮想マシン
仮想化ホスト
Hyper-V
・・・
共有ストレ...
まとめ
Copyright (c) 2015 Atomitech CORPORATION 17
 操作しやすいGUI
 オペレータにとって慣れ親しんだWindowsのGUIによる操作
 監視を継続しながらの仮想ノードの移動
 高速なネッ...
アトミテックの運用環境構築
Copyright (c) 2015 Atomitech CORPORATION 18
最適な
ソリューションの
ご提案・ご提供
様々な運用基盤
に対応(構築)
• オンプレ
• 仮想化(Hyper-V等)
• クラ...
運用管理業務にも解決すべき問題が
19Copyright (c) 2015 Atomitech CORPORATION
運用状況:
• 運用管理ツールからアラート情報を運用管理者にメール通知してい
る
• 運用管理者はアラート情報の内容を判断し...
「SLA高」顧客
問題発生時の運用管理
ログ収集ツール
運用
手順書
運用管理者
顧客
20
顧客担当者
監視対象
監視対象
監視対象
監視対象
監視対象
監視対象
ある顧客のシ
ステムで重大
な障害発生!
障害を検知してアラート
情報として大...
ルールエンジンによる自動運用管理
関連したアトミテックの取り組み
21Copyright (c) 2015 Atomitech CORPORATION
運用管理
運用監視ツール
インシデント監視ツール
運用
手順書経験則
ノウハウ
通知
運用管理者
システム外
情報
開発・システム管理者
インシデント
操作
情報
22Copyright (c) 2015 Atomitech CORPORATI...
運用管理(自動運用管理機能導入)
通知
運用管理者
システム外
情報
開発・システム管理者
インシデント
操作
情報
自動運用管理機能
判断
操作
手順実行
運用手
順書
経験則
ノウハウ
操作・情報
取得
インシデント登録
23
ルールエンジ...
問題解決に自動運用管理
解決策:
•アラート情報メールの集約
•同じイベント(同じホストの同じ監視項目で発生したイベント)が発生した場合は、
指定された間隔で集約して通知
•重大エラー発生時の通知停止
•顧客担当者から予め重大エラーが発生した場...
「SLA高」顧客
自動運用管理適用イメージ
ログ収集ツール
顧客
25
顧客担当者
監視対象
監視対象
監視対象
監視対象
監視対象
監視対象
運用
手順書
監視解除依頼
運用管理者
自動運用管理
機能
ルール
エンジン
ルールルールルール
C...
「SLA高」顧客
自動運用管理適用イメージ
ログ収集ツール
顧客
26
顧客担当者
監視対象
監視対象
監視対象
監視対象
監視対象
監視対象
運用
手順書
監視解除依頼
自動運用管理
機能
ルール
エンジン
運用管理者
ルールルールルール
条...
「SLA高」顧客
自動運用管理適用イメージ
ログ収集ツール
顧客
27
顧客担当者
監視対象
監視対象
監視対象
監視対象
監視対象
監視対象
運用
手順書
監視解除依頼
自動運用管理
機能
ルール
エンジン
監視解除
運用管理者
ある顧客のシ...
自動運用管理化ツールの今後
 2つの方向性でソリューションを検討中
28
インシデント監視
ツール
自動運用管
理機能
ルール
エンジン
リポジトリ
監視
ジョブ
性能
Hinemosの機能拡張
各種運用管理
ツール インシデント監視
ツール...
その他アトミテックの取り組み
29Copyright (c) 2015 Atomitech CORPORATION
Hinemos関連サービス
Copyright (c) 2015 Atomitech CORPORATION 30
移行・構築
最適なHinemos環境を
提供します。
保守
年間1,000件を超
えるサポート実績
で、安心を提供し
ます。
開...
Atomitech OnCloud Service
for Hinemos
 アトミテックの豊富なノウハウにより構築したクラウド上のHinemosマネージャと、
その維持管理を含めた運用環境をサービスとして提供いたします。
 お客様のシステ...
ご清聴ありがとうございました
ご不明な点等ございましたら、お気軽にお問い合わ
せ下さい。
本資料をご希望の方も、下記までご連絡ください。
お問い合わせ先
 株式会社アトミテック
 050-3775-7632
 sales@atomitec...
Upcoming SlideShare
Loading in …5
×

Hyper-V上での大規模監視システム構築事例のご紹介

4,205 views

Published on

本資料は、2015/02/6(金)に、 「『Hinemos with Microsoft Azure×Hyper-V』クラウド運用管理ソリューション紹介セミナ」
にて講演しました
「」セッションの発表資料となります。

Published in: Technology
  • Login to see the comments

Hyper-V上での大規模監視システム構築事例のご紹介

  1. 1. 1 2015年2月6日 株式会社アトミテック Hyper-V上での大規模監視システム構築事例 のご紹介 Copyright (c) 2015 Atomitech CORPORATION
  2. 2. 内容 Copyright (c) 2015 Atomitech CORPORATION 2  会社概要  事例紹介  Hyper-V上での大規模監視システム構築事例  関連したアトミテックの取り組み  ルールエンジンによる自動運用管理  その他アトミテックの取り組み
  3. 3. 会社概要  社名 株式会社アトミテック  設立 2004年07月01日  営業拠点 東京本社 山口本社 福岡営業所 Copyright (c) 2015 Atomitech CORPORATION 3  Hinemosビジネスへの取り組み 移行・ 構築 保守開発 Hinemosにする幅広い ソリューションをご提供 いたします。
  4. 4. Hyper-V上での大規模監視システム 構築事例のご紹介 4Copyright (c) 2015 Atomitech CORPORATION
  5. 5. 背景 Copyright (c) 2015 Atomitech CORPORATION 5 お客様 • 某通信会社系データセンタ 業務内容 • ホスティングとホスティング顧客システムの監視 システム環境(監視) • OS:WindowsServer 2012 • 仮想環境:Hyper-V(KVM環境から移行) • 正副2系統の冗長構成のアクティブ/スタンバイ構成 • 正系と副系それぞれにホストマシンを用意 • マルチテナント構成 • 1ホスティング顧客(システム)に対し2台のHinemos(正系1台、副系1台) • Hinemosは複数バージョンが存在 規模 • 監視システム数(Hinemosサーバ数):100台程度(正副それぞれ:40~50台程度) ・運用のしやすさを考慮 ・Windows GUIによるオペレーション
  6. 6. 構成(アクティブ/スタンバイ構成) Copyright (c) 2015 Atomitech CORPORATION 6 専用物理マシン、Hyper-V、OpenStack、VMware、KVM、etc ・・・顧客 システム 顧客 システム 顧客 システム 仮想マシン 仮想化ホスト Hyper-V ・・・ 顧客用 ホスティング環境 監視システム 仮想化ホスト Hyper-V ・・・ 正系 副系
  7. 7. 課題と対処 Copyright (c) 2015 Atomitech CORPORATION 7 課題 • Hinemosのメンテナスが煩雑 • 正副のHinemosは独立しており、監視対象や監視項目の変更は それぞれに行う必要がある • 2台ホストだと可用性とメンテナンスに制限 対処 • WSFC/MSFC(Windows Server Failover Clustering/Microsoft Failover Cluster)構成 • 1ホスティング顧客(システム)に対し1台のHinemos • 仮想マシン移動で簡単に切り替え • 3台以上のホストで可用性を担保しながら柔軟なメンテナスが可能
  8. 8. 専用物理マシン、Hyper-V、OpenStack、VMware、KVM、etc ・・・顧客 システム 顧客 システム 顧客 システム WSFC 構成(WSFC) Copyright (c) 2015 Atomitech CORPORATION 8 仮想マシン 仮想化ホスト Hyper-V ・・・ 顧客用 ホスティング環境 監視システム 共有ストレージ 仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・・・・
  9. 9. 仮想マシンの移動について ライブマイグレーション •共有ディスクを使用しない •ディスク情報とメモリ情報をネットワークで移動先に転送 •ダウンタイムがほとんど発生しない クイックマイグレーション •共有ディスクを使用する •メモリ情報をディスクに保存し、そのメモリ情報を移動先で読み込み仮想マシンを再 開させる •ダウンタイムが発生(通常、数秒~数十秒程度) 9Copyright (c) 2015 Atomitech CORPORATION 仮想化ホストのメンテナス を行う際にも監視を継続 仮想マシンの移動 でHinemosの動作に影響がない WSFC の仮想マシンの移動方式
  10. 10. 仮想マシンの移動について Copyright (c) 2015 Atomitech CORPORATION 10  ライブマイグレーション方式を検討するも課題あり  ライブマイグレーションは高速なネットワークが必要  事例の環境ではネットワークは100Mbps  当時10Gbpsは出始めたばかりで高価  クイックマイグレーション方式を採用  対障害性のために共有ストレージは必要  共有ストレージは高速なものを採用  ライブマイグレーションより高速に仮想マシンの移動が可能  ダウンタイムが数秒程度 仮想マシンの移動にかかる時間 100Mbps:数十秒 10Gbps:数秒 Hinemosの監視処理継続性に影響なし クイックマイグレーション方式でライブマイグレーションを実現
  11. 11. WSFCへの移行について Copyright (c) 2015 Atomitech CORPORATION 11  顧客のシステムを停止できないので、監視も停止できない  監視を停止せずに正副冗長構成をWSFC構成に移行  移行手順 1. 仮想化ホストを1台追加 2. 追加した仮想化ホストと副系仮想化ホストのHyper-V間でWSFC を構築 3. Hinemosによる監視を正系から副系への切り替え 4. 正系の仮想化ホストを加えWSFCを構築 5. 正副2台のHinemos用仮想ノードを1台に整理し、仮想化ホストへ 配置
  12. 12. 構成変更 Copyright (c) 2015 Atomitech CORPORATION 12 仮想マシン 仮想化ホスト Hyper-V ・・・ 仮想化ホスト Hyper-V ・・・ 副系正系
  13. 13. 1.仮想化ホストを1台追加 2.追加した仮想化ホストと副系の仮想化ホストのHyper-V間でWSFCを構築 WSFC 構成変更 Copyright (c) 2015 Atomitech CORPORATION 13 仮想マシン 仮想化ホスト Hyper-V ・・・ 共有ストレージ 仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・ ・・・ 副系 正系
  14. 14. 3.Hinemosによる監視を正系から副系への切り替え WSFC 構成変更 Copyright (c) 2015 Atomitech CORPORATION 14 仮想マシン 仮想化ホスト Hyper-V ・・・ 共有ストレージ 仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・ ・・・ 副系 正系
  15. 15. 4.正系の仮想化ホストを加えWSFCを構築 WSFC 構成変更 Copyright (c) 2015 Atomitech CORPORATION 15 仮想マシン 仮想化ホスト Hyper-V ・・・ 共有ストレージ 仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・・・・ 副系 正系
  16. 16. 5.正副2台のHinemos用仮想ノードを1台に整理し、仮想化ホストへ配置 WSFC 構成変更 Copyright (c) 2015 Atomitech CORPORATION 16 仮想マシン 仮想化ホスト Hyper-V ・・・ 共有ストレージ 仮想化ホスト Hyper-V 仮想化ホスト Hyper-V ・・・・・・
  17. 17. まとめ Copyright (c) 2015 Atomitech CORPORATION 17  操作しやすいGUI  オペレータにとって慣れ親しんだWindowsのGUIによる操作  監視を継続しながらの仮想ノードの移動  高速なネットワークがなくても、クイックマイグレーションで、監視に 影響を与えずに監視用の仮想ノードを移動し、ライブマイグレーショ ンを実現  監視を停止せずにWSFCへ移行  正副2系統の冗長構成から、WSFC+共有ストレージ構成による監視 仮想ノードの集約を、ホスティング顧客システムとその監視を停止 することなく実現
  18. 18. アトミテックの運用環境構築 Copyright (c) 2015 Atomitech CORPORATION 18 最適な ソリューションの ご提案・ご提供 様々な運用基盤 に対応(構築) • オンプレ • 仮想化(Hyper-V等) • クラウド(Azure等) Hinemos環境構築 • 監視 • JOB 柔軟な移行支援 • 監視を継続しなら • JOBを実行しながら
  19. 19. 運用管理業務にも解決すべき問題が 19Copyright (c) 2015 Atomitech CORPORATION 運用状況: • 運用管理ツールからアラート情報を運用管理者にメール通知してい る • 運用管理者はアラート情報の内容を判断して、顧客担当者および顧 客へメール通知を行っている • 顧客ごとにアラート発生からメール通知までの通知時間に関する SLAが異なる 課題: • アラートメール通知時間が長い(SLA低)顧客システムで、大量にア ラートが発生すると、メール通知が運用管理者に大量に送られる • この時、アラートメール通知時間の短い(SLA高)顧客システムでア ラートが発生しメール通知が来ても、大量メールに埋もれてしまい、 顧客へのメール通知が遅れてしまう
  20. 20. 「SLA高」顧客 問題発生時の運用管理 ログ収集ツール 運用 手順書 運用管理者 顧客 20 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 ある顧客のシ ステムで重大 な障害発生! 障害を検知してアラート 情報として大量にメール 通知 運用管理者の処理が間に合 わず大量のメールが蓄積 「SLA高」顧客の監視 対象でも障害発生 「SLA高」顧客のア ラート情報が埋もれる 大量のアラート情 報を受け取る アラート情報を受け取 るまで時間がかかる Copyright (c) 2015 Atomitech CORPORATION 「ルールエンジンによる運用管理自動化」 で解決へ
  21. 21. ルールエンジンによる自動運用管理 関連したアトミテックの取り組み 21Copyright (c) 2015 Atomitech CORPORATION
  22. 22. 運用管理 運用監視ツール インシデント監視ツール 運用 手順書経験則 ノウハウ 通知 運用管理者 システム外 情報 開発・システム管理者 インシデント 操作 情報 22Copyright (c) 2015 Atomitech CORPORATION
  23. 23. 運用管理(自動運用管理機能導入) 通知 運用管理者 システム外 情報 開発・システム管理者 インシデント 操作 情報 自動運用管理機能 判断 操作 手順実行 運用手 順書 経験則 ノウハウ 操作・情報 取得 インシデント登録 23 ルールエンジン 技術の活用 運用監視ツール インシデント監視ツール Copyright (c) 2015 Atomitech CORPORATION
  24. 24. 問題解決に自動運用管理 解決策: •アラート情報メールの集約 •同じイベント(同じホストの同じ監視項目で発生したイベント)が発生した場合は、 指定された間隔で集約して通知 •重大エラー発生時の通知停止 •顧客担当者から予め重大エラーが発生した場合に監視を停止する「監視解除 依頼届」を受け付け、該当エラー発生時に監視対象機器の監視を停止 •顧客と顧客担当者へのメール自動送信 •アラート情報の内容を判断し、宛先、件名、本文を設定してメール送信 運用自動化(ルールエンジン)の適用個所: •メールの集約条件 •監視停止依頼による監視停止判断 •アラートの発生箇所と項目、重要度によるメールの宛先、件名、本文(アラート内 容、担当者の署名)の設定 24Copyright (c) 2015 Atomitech CORPORATION
  25. 25. 「SLA高」顧客 自動運用管理適用イメージ ログ収集ツール 顧客 25 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 運用 手順書 監視解除依頼 運用管理者 自動運用管理 機能 ルール エンジン ルールルールルール Copyright (c) 2015 Atomitech CORPORATION
  26. 26. 「SLA高」顧客 自動運用管理適用イメージ ログ収集ツール 顧客 26 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 運用 手順書 監視解除依頼 自動運用管理 機能 ルール エンジン 運用管理者 ルールルールルール 条件の定義 アクションの定義 監視を解除する アラートを監視項目と重 要度で指定 監視を解除する監視 項目を設定する 判断する項目 アクションの内容 (Javaコード) 判断する項目に マッチする値 アクションの内容 でセットするパラ メータ ルール設定例(監視解除ルール) rule "Monitor_Control_10" no-loop true when //条件 ei: EventInfo(managerFacilityId == “HINEMOS_MANAGER_003”, //運用監視ツールID facility_id == “DB_SERVER_001”, //ファシリテイID monitor_id == “DB_PING”, //監視項目ID priority_num == “0”) //重要度 act: ActionFlg(flg == "0") then //アクション //停止するプラグインID,監視項目ID(1) SetValidMonitorActionInfo monitorActionInfo = new SetValidMonitorActionInfo($ei.getManagerFacilityId()); monitorActionInfo.setMonitorTypeId(“MON_PNG”); //プラグインID monitorActionInfo.setMonitorId(“DB_PING”); //監視項目ID monitorActionInfo.setValidFlag(false); sysActInfoList.add(monitorActionInfo); //停止するプラグインID,監視項目ID(2) ・ ・ ・ end ルールエンジンにより 1行1ルールとして変換 される Copyright (c) 2015 Atomitech CORPORATION
  27. 27. 「SLA高」顧客 自動運用管理適用イメージ ログ収集ツール 顧客 27 顧客担当者 監視対象 監視対象 監視対象 監視対象 監視対象 監視対象 運用 手順書 監視解除依頼 自動運用管理 機能 ルール エンジン 監視解除 運用管理者 ある顧客のシ ステムで重大 な障害発生! 「SLA高」顧客の監視 対象でも障害発生 障害を検知してアラート情 報として大量にメール通知 ルールルールルール 監視の停止によるア ラート発生の抑止 アラート情報を受 け取る 同一アラート 情報の集約 メール自動送信 遅延なくアラート 情報を受け取る 項目 値 運用HinemosID HINEMOS_MANAGER_003 ファシリティID DB_SERVER_001 重要度 0 プラグインID MON_PNG 監視項目ID DB_PING 発生日時 2014/12/4 14:35:10 メッセージ Packets: Sent = 1, Received = 0, Lost = 1 (100% loss), 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PNG 監視種別ID DB_PING 有効/無効 無効 アラート情報 監視制御情報 アラート情報にマッ チするルール 停止する監視項目 情報の作成 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_SNMP 監視種別ID DB_SNMP 有効/無効 無効 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PRC 監視種別ID DB_PROCESS 有効/無効 無効 項目 値 運用HinemosID HINEMOS_MANAGER_003 監視項目ID MON_PRT 監視種別ID DB_PORT 有効/無効 無効 ルール動作例(監視解除ルール) Copyright (c) 2015 Atomitech CORPORATION
  28. 28. 自動運用管理化ツールの今後  2つの方向性でソリューションを検討中 28 インシデント監視 ツール 自動運用管 理機能 ルール エンジン リポジトリ 監視 ジョブ 性能 Hinemosの機能拡張 各種運用管理 ツール インシデント監視 ツール 自動運用管理 機能 ルール エンジン 自動運用管理 ツール 独立した自動運用管理ツール Hinemosに限らず各種の運用管理ツー ルからの情報を集約し、ルールエンジン により的確な判断を施し、運用の自動化 を目指すソリューション ルールエンジンによる的確な判断機能 をHinemos自身に組み込み、運用の自 動化を目指すソリューション ご期待ください!! Copyright (c) 2015 Atomitech CORPORATION
  29. 29. その他アトミテックの取り組み 29Copyright (c) 2015 Atomitech CORPORATION
  30. 30. Hinemos関連サービス Copyright (c) 2015 Atomitech CORPORATION 30 移行・構築 最適なHinemos環境を 提供します。 保守 年間1,000件を超 えるサポート実績 で、安心を提供し ます。 開発 新たな機能を提供 します。 あらゆるフェーズで 最適なソリューション をご提供いたします。
  31. 31. Atomitech OnCloud Service for Hinemos  アトミテックの豊富なノウハウにより構築したクラウド上のHinemosマネージャと、 その維持管理を含めた運用環境をサービスとして提供いたします。  お客様のシステムを管理する為の最適な機能と環境を備えたHinemosをご利用に なれます。  対応予定クラウドサービス: Microsoft Azure , Cloudn Copyright (c) 2015 Atomitech CORPORATION 31 バックアップ バージョンアップ 保守サポート お客様システム マネージャ お客様 クライアント Elastic Load Balancin g Web サーバ Web サーバ Web サーバ EC2 EC2 EC2 DynamoDB Memcache d 各種テンプレート 死活監視・性能管理 クラウド管理 ジョブ管理 障害通知 パッチ適用 お客様は、Hinemosマネージャーの 環境構築・維持管理を意識すること なく、豊富な機能を利用できます
  32. 32. ご清聴ありがとうございました ご不明な点等ございましたら、お気軽にお問い合わ せ下さい。 本資料をご希望の方も、下記までご連絡ください。 お問い合わせ先  株式会社アトミテック  050-3775-7632  sales@atomitech.jp  担当:中西、加藤 Copyright (c) 2015 Atomitech CORPORATION 32

×