![43
x. 執行 fscdsconv 指令 (改變 Byte Order)
[root@rhel4u6 /]# /opt/VRTS/bin/fscdsconv -e -f /tmp/1.out -t os_name=SunOS,arch=x86 /dev/vx/dsk/oracle_dg/oradata_lv0
UX:vxfs fscdsconv: INFO: V-3-26040: Please verify if the following details identify the migration target for /dev/vx/dsk/oracle_dg/oradata_lv0:
Operating system : SunOS
Operating system version : any
Architecture : SPARC
VxFS version : any
Bits : any
UX:vxfs fscdsconv: INFO: V-3-26037: Would you like to proceed further with migration? (ynq) y
UX:vxfs fscdsconv: INFO: V-3-26042: The filesystem does not need to be byteswapped for use on this target.
UX:vxfs fscdsconv: INFO: V-3-26130: There are no files violating the CDS limits for this target.
UX:vxfs fscdsconv: INFO: V-3-26034: Since no byteswapping was required, the file /tmp/1.out has not been used.
UX:vxfs fscdsconv: INFO: V-3-26045: The filesystem is now ready for use on the specified target.
如果沒有必要執行轉換動作的話, 這個步驟可以省略 (所有格式都是 little endian 狀態).
如果是在 AIX, HP-UX, 及 Solaris 系統之間執行 PDC, 則不需要執行此指令
如果是在 AIX/HP-UX/Solaris 與 Linux 系統之間執行 PDC, 則需要執行此指令
統一實體與虛擬環境的儲存管理工作](https://image.slidesharecdn.com/sf6016thjul2013rev2-140628033449-phpapp01/85/Storage-Foundation-6-0-43-320.jpg)
Uploaded byWales Chen
賽門鐵克 Storage Foundation 6.0 簡報
本文件讨论了在数据中心中统一管理实体和虚拟环境的存储挑战与解决方案，包括存储增长的复杂性、成本控制和高可用性。文中提到的解决方案涉及跨平台可视化管理、动态磁碟移动及在线扩展等技术，旨在优化存储资源和提升性能。还强调了数据去重和压缩等功能，以减少存储需求和提高效率。
賽門鐵克 Storage Foundation 6.0 簡報
- 1. 統一實體與虛擬環境的儲存管理工作 1 統一實體與虛擬環境的儲存管理工作 - StorageFoundation Wales Chen (陳瑞文) 資深顧問 技術暨解決方案
- 2. 在資料中心內的 儲存部署 &複雜度趨勢 基礎架構成長比預算編列速度還快 • 儲存的成長率通常最高 • 儲存費用像氣球一樣膨脹 • 重複的資料持續增加 • 針對層級的資料分類, 強化 TCO 資料中心的複雜度逐漸增加 • 多種平台的支援問題 • 缺乏能見度 • 移轉時的靈活性 • 因效能問題讓虛擬化變的不可 能 “非結構性資料以每年 62% 成長” “使用多家原廠設備的資料中心逐漸變成常態” 2統一實體與虛擬環境的儲存管理工作
- 3.
- 4. Storage Foundation HighAvailability: 任何工作負載, 任何系統平台, 任何儲存硬體 4 SF 避免儲存 空間的浪費 針對 Local, Metro 及 Global 的應用程式還原 加速應用程式 的還原速度 強化資料庫儲存 及可用性 … Cluster File System High Availability … VCS SF VCS SF VCS SF … SFRAC & SFSYBCEDMP 降低儲存 可用性成本 透過 Veritas Operations Manager 集中管理 統一實體與虛擬環境的儲存管理工作
- 5. 透過 Storage Foundation有效的管理你的磁碟陣列 5 以線上儲存移轉功 能退休老舊的儲存 硬體 透過 DMP 降低取得 成本並支援任何儲 存設備 透過儲存樣板 更快速的部署 應用程式 透過壓縮與重複資 料刪除, 將儲存空間 使用率進行最佳化 取得 thin 並隨著 時間保持 thin Centralized Management and Reporting 統一實體與虛擬環境的儲存管理工作
- 6. 儲存架構虛擬化 • 以邏輯磁碟取代 實體磁碟 • 可將邏輯磁碟視 做一般磁碟使用 •可動態擴充、 配置、移動磁碟 線上伺服器 (操作介面) “A” 品牌 磁碟陣列 “B” 品牌 磁碟陣列 LAN 資料流 JBOD 已虛擬化的磁碟 6統一實體與虛擬環境的儲存管理工作
- 7. I/O Data Path 提高可用性與增進效能 •增加可用性 – 軟體 RAID: Mirrored, Striped, Mirrored Striped, RAID-5 – 提供線上動態磁碟擴充 – 可以拖拉方式搬移磁碟 – 自由選擇使用中的鏡像磁區 • 效能自動調校 – VxCache 磁碟層級快取 – 監控所有I/O，線上搬移磁區以獲得最 佳效能，終結效能瓶頸 “儲存虛擬化” 統一實體與虛擬環境的儲存管理工作 7 增加可用性 效能自動調校
- 8. 線上擴充叢集磁碟 • 線上擴充所有種類的磁碟 – Striped,Mirrored, Mirrored-Stripes 及 RAID-5 – 儲存裝置重新設定時，不需要停機 (Online Re-layout) 統一實體與虛擬環境的儲存管理工作 8 線上擴充所有種類的磁碟
- 9. 拖拉式搬移磁碟 • 動態磁區搬移 – 儲存空間的匯整 –DAS 到 SAN的轉移 – 效能 – 陣列升級 – 陣列退休 • 額外功能 – Sub-Disk 加入 – Sub-Disk 切開 統一實體與虛擬環境的儲存管理工作 9 動態磁區搬移 額外功能
- 10. 線上縮小 & 絞碎 •縮小磁卷 – 做到儲存使用率的最佳化 • 重新取回沒有使用的空間 • ‘Max Shrink’ 功能 – 將資料移到剩餘空間 – 最多可取回 15% 額外空間 • 會使用到 15% 左右的空間來執行磁碟重整 • 絞碎磁卷 – 1 Pass (我們經常在做的) – 3 Pass • 建立在 Dod-5200.22-M 規格 – 7 Pass • 建立在 Dod-5200.22-STD 10 10統一實體與虛擬環境的儲存管理工作 縮小磁卷 絞碎磁卷
- 11. 使用空間監控 & 自動磁卷放大 •空間的監控 – 監控磁卷的空間 – 自動增加磁卷可用空間 • 自動化的磁卷放大 – 自動放大磁卷 – 使用者定義的政策 • 需增加的大小 • 最大的磁卷大小 – 無上限的放大 – 有限制的放大 11統一實體與虛擬環境的儲存管理工作 空間的監控 自動化的磁卷放大
- 12. 儲存效能的監視與調校 • 線上搬移 subdisk將磁碟效能最佳化 將 I/O 平均分散在各磁碟間，維持儲存設備最佳效能 追蹤 subdisk 或 動態磁區 層級的平均 I/O: • 每秒讀取次數 • 每秒寫入次數 • 每秒讀取 block 數量 • 每秒寫入 block 數量 • 每次讀取 block 的平均時間 • 每次寫入 block 的平均時間 統一實體與虛擬環境的儲存管理工作 12 線上搬移 subdisk 將磁碟效能最佳化
- 13. 透過 Dynamic Multi-Pathing簡化儲存的取得與可用性 13 要考慮的關鍵項目 • 支援多家原廠的環境 • 降低儲存取得費用至少 30% • 跨越價格合算的作業系統與 儲存平台的標準化架構 • 套用主動式路徑管理 • 將儲存架構與伺服器小組以 進階的能見度與報表系統串 連起來 • 透過 Veritas Operations Manager 進行集中管理 自由選擇最有效益的儲存設備與伺服器環境 DMX Clariion IBM XIVHDS – AMS Dynamic Multipathing (DMP) 我們讓客戶以 DMP 做為標準變的更容易了 Dynamic Multi-Pathing 任何 File System 任何 Volume Manager 統一實體與虛擬環境的儲存管理工作
- 14. 透過檔案層級的重複資料刪除降低儲存空間需求 14 功能概述 • 定期, Out-of-band重複資料刪除動作 • 在檔案系統層級進行重複資料刪除 • 套用 VxFS 的共享 extent, 透過 cache 強化讀取的 I/O 效能 • 指令為主的排程功能 • 指令為主的重複資料刪除分析功能 重複資料刪除的藍圖 • In-band 選項 • Write I/O 效能最佳化的關鍵目標 • 整合 VOM 排程與報表機制 沒有使用重複資料刪除 使用 VxFS 重複資料刪除 New in 6.0 統一實體與虛擬環境的儲存管理工作
- 15. 透過檔案系統壓縮降低儲存空間使用量 15 功能概述 • 壓縮動作是在 extent層級發生 • 壓力檔案, 目錄, 或整個檔案系統 • 解壓縮動作會在記載體內執行, 不在磁碟上 • 資料量最多可降低 65% • 降低資料複製及快照時間 • 對主機的效能影響很低 • 此 6.0 功能支援 Solaris 與 Linux 6.0 重複資料刪除的藍圖 • 增加含蓋的平台 • 與 SmartTier 整合以便自動壓縮歸檔檔案 • 與 VOM 排程與報表機制整合 沒有使用壓縮 使用檔案壓縮 New in 6.0 統一實體與虛擬環境的儲存管理工作
- 16. SmartTier 讓 DBA有更好的控制 將 Oracle 物件移在任何時間移轉到你想到的地方 16 TABLE CALL_DETAILS FILE 1 FILE 2 FILE 3 $> dbdst_obj_move –S PROD -H ORACLE_HOME –T CALL_DETAILS –C SSD_CLASS FCSSD • 你所需要的是 SF Enterprise 並將 Oracle data files 放置在 VxFS multi- volume 檔案系統上 • SmartTier 允許 DBAs 將任何 TABLE 或 OBJECT 在不同層級的儲存設備 上進行移轉, 不會造成任何影響 • 根據你的企業流程, 將 Oracle 物件 在你需要的時間與地點進行移轉 • 將資料存放在 SSD 的空間, 以 因應有時效性的處理 • 歸檔到便宜的儲存設備上, 當 你知道你完成時 • 不需要購買 Oracle Partitioning 授權 統一實體與虛擬環境的儲存管理工作
- 17. 強化混合環境的工作量與效能 Oracle Disk Manager(ODM) & Cached ODM 17 Buffer Cache Disk I/O path ODM Buffer Cache System Global Area File System Instance Instance Instance Instance Instance Instance Instance Instance SGA SGA SGA SGA SGA SGA SGA SGA Dynamic Cache 智慧型檔案系統緩沖區 在吞吐量上最多有 50% 的增加 (TPCC) 更好的混合式工作效能 DynamicCache 統一實體與虛擬環境的儲存管理工作
- 18. Storage Foundation 協助你從Thin Provisioned 陣列拿 到更多 18 在線上移轉時 進行自動取回 持續的取回所有 未使用的儲存空間 Reclamation 單一且唯一的解決方案, 提供無影響的 Thin Optimization • 支援所有領導品牌的儲存硬體 • Unix, Linux 及 Windows! • 透過 VOM 針對陣列的 Thin Pool 進行最佳化 統一實體與虛擬環境的儲存管理工作
- 19. Native OS stack•File Systems •VolumeManagement •Clustering •Hypervisors 針對你的環境進行挖掘, 提供報表, 及進行管理 19 透過更好的能見度, 加速 運作與做決定的速度 Site 1 Site 3 Site 2 Veritas Operations Manager AdvancedVeritas Operations Manager SF / VCS / DMP / AppHA 透過自動化的機制, 避免 人為錯誤 透過點對點的報表與修 正功能, 將儲存的使用率 進行最佳化 統一實體與虛擬環境的儲存管理工作
- 20. 儲存到應用程式的點對點的對應關係 20 應用程式與 LUN 之間的對應發現設備屬性及名稱 LUN LUN LUNCLONE REPLICA DB 或 App Files File System Volume 陣列 RAIDS LUN LUNCLONE REPLICA 陣列 Veritas Dynamic Multi-Pathing SSD Vxdisk list output DEVICE TYPE DISK GROUP STATUS MyApp-lun1 auto:cdsdisk - - online CLARiion-lun2 auto:cdsdisk - - online CLARiion-oralun1 auto:cdsdisk - oradg online CLARiion-oralun2 auto:cdsdisk - oradg online Veritas Operations Manager 統一實體與虛擬環境的儲存管理工作
- 21. 增加靈活性: 無痛移轉儲存設備 & 伺服器平台 在作業系統及儲存設備上無縫的移轉環境 •透過Portable Data Containers 在系統之間移轉 •透過 VOM/SF 在儲存陣列之間移轉 •線上 & 儲存最佳化的無縫移轉 無痛移轉作業系統平台 • 透過 PDC, 從任何 OS 移轉到任何作業系統 • 在移轉過程中降低停機時間 • 線上執行 ANY 到 ANY 的儲存移轉動作 • 透過 SmartMove 做的更快, VOM 提供更良好的管理 現上快速移轉儲存陣列 21統一實體與虛擬環境的儲存管理工作
- 22.
- 23. Volume Replication 強化 •資料的壓縮降低頻寬的需求 • 效能加強並降低對 CPU 的負載 • 針對叢集的強化, 可擴充到 8 台 Veritas Volume Replicator 的強化 23 UP TO 8 NODES VVR 可支援 Thin Provisioning 架構 • 僅將使用過的資料送到異地 • 降低目的地端的儲存空間需求 • 降低主機 CPU 與頻寬 • 在 thick 到 thin 之間移轉時取回 儲存空間 OPTIMIZED SYNC New in 6.0 統一實體與虛擬環境的儲存管理工作
- 24. Storage Foundation -File Level Replication • 檔案層級的複製 – 能夠複製檔案, 目錄 – 一致性群組的概念 – 對 VMDK 的複製很有用 – 複製重要的資料很有用處 • 定期的特性 – 執行你每個星期或定期的快照 – 在異地機房進行備份 – 最短可每 15 分鐘執行動作 – 可支援重複資料刪除 • DR 的整合 (在 6.0 版本之後) – 高可用性的 GCO/VCS 功能 – 在 VMware 環境中, 與 SRM 的整合 24 File Replication 及 DR New in 6.0 統一實體與虛擬環境的儲存管理工作
- 25. Portable Data Container(PDC) – 適用在資料跨平台移轉需求 運作說明 統一實體與虛擬環境的儲存管理工作 25
- 26. 介紹 • 移轉到 Linux平台所需注意的部份 ? – 技術 – 應用程式 • Linux 對資料中心的重大影響? – 重要的應用程式 – 災難備援 – 效能 • 架構上的異動 – 管理大量的主機及儲存設備 統一實體與虛擬環境的儲存管理工作 26
- 27. 將資料移轉到 Linux 平台上 •不同種類的資料 – 資料庫 – 檔案系統 – RAW • 如果將資料移轉 ? – 網路方式 • FTP, NFS, RCP, SCP …. • 大量的網路負載 • 對大量檔案及路徑並沒有經濟效益 – 磁帶 – SAN 統一實體與虛擬環境的儲存管理工作 27
- 28. Portable Data Containers •Portable Data Containers – 在 Storage Foundation 4.0 便已推出 – 降低資料移轉的費用及複雜度 • 資料移轉 – 大大降低移轉所需的時間及人力 • 單一流程 – 多個平台可存取相同資料 • 但並非在同一時間…它並不是跨平台叢集檔案系統 – 舉例來說: • 將資料載入到 Sun 平台 • 使用 PDC 將資料移轉到 Linux 上進行處理 • 使用 PDC 將資料移轉到 AIX 儲存結果 統一實體與虛擬環境的儲存管理工作 28
- 29. Portable Data Containers– 工作流程 • 在 UNIX 平台上將檔案系統進行 unmount 動作 • 執行轉換指令 • 從 UNIX 平台將磁碟執行 deport 動作 • 自 Linux 平台將磁碟執行 import 動作 • 在 Linux 平台上將 volume 啟動並 mount 其 檔案系統 • 你資料的大小沒有任何關係 – 1 KB 檔案或 1 GB 檔案所花的轉換時間都一樣 – 資料本身不會被異動 • 應用程式資料不會被轉換 UNIX LINUX /data /data 統一實體與虛擬環境的儲存管理工作 29
- 30. Portable Data Containers與資料庫 • DB2, Oracle 8i and 9i – Export/import utility • Oracle 10g – Transportable Table Spaces 允許架構的移轉 – 工作流程: • 在 target 伺服器 (Oracle) 上, 建立一個空的資料庫 • 停止資料庫運作, 準備資料庫 (Oracle) • 透過 PDC 執行檔案系統的轉換 (Symantec) • 啟動資料庫並帶起其程序 (Oracle) 統一實體與虛擬環境的儲存管理工作 30
- 31. 移轉到 Storage Foundation •當工作負載變大時會提高效能及穩定度 • Volume Manager – vxvmconvert • Converts LVM volumes to VxVM • File System – vxfsconvert • Converts Ext2/3 to VxFS • Be aware that file system journal will be located at end of file system – Fix with Multi-Volume File System 統一實體與虛擬環境的儲存管理工作 31
- 32. 自動的效能調校 • File System及 Volume Manager 進行互動以取得最佳化的 I/O 設定 • 針對大量 I/O 套育 Discovered_direct_io 設定 • 主動式的 read_ahead 運算公式 • 自動化的 inode 及 buffer cache 調校 • 延展的 mount 選項 – 確保資料有存放在磁碟上 – 處理預期外的 I/O 問題 統一實體與虛擬環境的儲存管理工作 32
- 33. Portable Data Container(PDC) – 適用在資料跨平台移轉需求 運作示範 統一實體與虛擬環境的儲存管理工作 33
- 34. 環境 • 主機一 – 作業系統:Solaris 10 • 主機二 – 作業系統: Red Hat Enterprise Linux 4 Update 6 (x86_64) (rhel4u6) • 儲存空間 – 1 個 16 GB LUN 可同時被 Linux 及 Solaris 偵測到 • Oracle 資料庫 – 建了一個 “oracle” user 及其 group “dba”, 兩者在 Linux 及 Solaris 上都有相同的 ID – 各別安裝 Oracle 10.2.0.1 執行檔在 Linux 及 Solaris 伺服器上 – 建立一個 Oracle 資料庫, 設定其 DB files 在 mount point "/oradata“ – 拷貝並修改 (如有必要) Oracle 相關設定檔案 (“listener.ora”, “$ORACLE_HOMEdbs”, 等等.) 統一實體與虛擬環境的儲存管理工作 34
- 35. 35 1. 檢查 Linux系統上的設定 # 初始化 sdb 磁碟, 並將它放置到 一個叫做 “oracle_dg” 的 disk group # 建立一個名稱為 “oradata_lv0” 的 volume, 並設定 VxFS 檔案 系統 # 將此 “oradata_lv0” mount 到 “/oradata” 上 # 接著便可將 Oracle instance 進 行設定及啟動
- 36. 36 2. 在 Linux系統上啟動 Oracle Instance
- 37.
- 38. 38 4. 準備執行移轉 # 將 Oracleinstance 停下來 # Unmount “oradata_lv0” volume # 執行 fscdsconv (最後一張簡報有說明 ) # Deport 相關的 DG (oracle_dg). # 將 Linux 關機
- 39. 39 5. 在 Solaris系統上存取資料 Step #0 將 Solaris 主機開起來 Step #1 檢查是否可看到 cdsdisk 磁碟 Step #2 Import 相關的 DG Step #3 將載入的 DG 啟動 Step #4 將 “oradata_lv0” volume mount 到 “/oradata” 上面
- 40. 40 6. 在 Solaris系統上啟動 Oracle Instance
- 41. 41 7. 執行查詢動作 # Query tosample table created while the Oracle instance was up in Linux.
- 42.
- 43. 43 x. 執行 fscdsconv指令 (改變 Byte Order) [root@rhel4u6 /]# /opt/VRTS/bin/fscdsconv -e -f /tmp/1.out -t os_name=SunOS,arch=x86 /dev/vx/dsk/oracle_dg/oradata_lv0 UX:vxfs fscdsconv: INFO: V-3-26040: Please verify if the following details identify the migration target for /dev/vx/dsk/oracle_dg/oradata_lv0: Operating system : SunOS Operating system version : any Architecture : SPARC VxFS version : any Bits : any UX:vxfs fscdsconv: INFO: V-3-26037: Would you like to proceed further with migration? (ynq) y UX:vxfs fscdsconv: INFO: V-3-26042: The filesystem does not need to be byteswapped for use on this target. UX:vxfs fscdsconv: INFO: V-3-26130: There are no files violating the CDS limits for this target. UX:vxfs fscdsconv: INFO: V-3-26034: Since no byteswapping was required, the file /tmp/1.out has not been used. UX:vxfs fscdsconv: INFO: V-3-26045: The filesystem is now ready for use on the specified target. 如果沒有必要執行轉換動作的話, 這個步驟可以省略 (所有格式都是 little endian 狀態). 如果是在 AIX, HP-UX, 及 Solaris 系統之間執行 PDC, 則不需要執行此指令 如果是在 AIX/HP-UX/Solaris 與 Linux 系統之間執行 PDC, 則需要執行此指令 統一實體與虛擬環境的儲存管理工作
- 44.
- 45. 未來儲存管理的願景 45 建議的修正 • 建議資料存放政策以 便降低費用並增快效 能 • 辨識出效能上的瓶頸 及問題 •辨識出不常存取的資 料並建議壓縮 混合雲 以服務方式 管理 雲端為主的 檔案系統 • 使用公有雲及私有雲 的混搭方式 • 檢查資料是否適合放 在內部或外部機房 • 資料擺放政策被歸檔 至公有儲存雲上 • 自我服務的提供 • QoS 及 SLA 為內建 • 將儲存空間集中 • 真正的計價方式 • 散佈在多個地區 • 無限大的可擴充空間 • 儲存空間會因行動應 用程式而擴大 Hybrid New York London 統一實體與虛擬環境的儲存管理工作
- 46.
- 47. Thank you! Copyright ©2010 Symantec Corporation. All rights reserved. Symantec and the Symantec Logo are trademarks or registered trademarks of Symantec Corporation or its affiliates in the U.S. and other countries. Other names may be trademarks of their respective owners. This document is provided for informational purposes only and is not intended as advertising. All warranties relating to the information in this document, either express or implied, are disclaimed to the maximum extent allowed by law. The information in this document is subject to change without notice. Thank you! 統一實體與虛擬環境的儲存管理工作 47 Wales Chen (陳瑞文)