Slovak SanEd Training Day 2012 - New Networking in Solaris 11

335 views

Published on

Presentation from SanEd training day for Oracle Solaris customers to explain new networking features in Solaris 11.
Presentation covers following themes:
- Infiniband
- administration of virtualized networks (dladm, dlstat, flowadm, flowstat, ipadm), network automagic (NWAM) (netadm, netcfg), ip multipathing (ipmpstat)
- network storage (CIFS/SMB filesystem - sharectl, idmap, smbadm), COMSTAR (stmfadm, sdbadm, itadm)

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
335
On SlideShare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
5
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Slovak SanEd Training Day 2012 - New Networking in Solaris 11

  1. 1. Nové sítě v Solaris 11 SanEd Day 2012 Martin Červený M.Cerveny@computer.org
  2. 2. Architektura sítě Infiniband Administrace sítí v Solaris 11 Síťové úložiště NAS a SAN v Solaris 11
  3. 3. Architektura sítě Infiniband
  4. 4. 5 infiniband Vývoj sítě Infiniband ● vývoj od 1999 - system area network – Future I/O (IBM, HP, Compaq (Tandem)) – Next Generation I/O (Sun, Intel, Microsoft) ● InfiniBand Trade Association (infinibandta.org) ● OpenFabrics Alliance (openfabrics.org) – OpenFabrics Enterprise Distribution (OFED) ● TOP500 superpočítačů Čer 2003 Lis 2003 Čer 2004 Lis 2004 Čer 2005 Lis 2005 Čer 2006 Lis 2006 Čer 2007 Lis 2007 Čer 2008 Lis 2008 Čer 2009 Lis 2009 Čer 2010 Lis 2010 Čer 2011 Lis 2011 0 100 200 300 400 500 gigabit ethernet infiniband ostatní
  5. 5. 6 Funkce nabízené sítí Infiniband ● koncept – přímý přístup k síťovému rozhraní (kernel bypass) – založeno na vzdáleném přístupu k paměti s daty ● Remote Direct Memory Access (RDMA) – virtuální komunikační kanál/spojení ● spojený lokální a vzdálený pár odesílacích a přijímacích front (Queue Pair) ● transportní služby – Infiniband Reliable/Unreliable, Connected/Datagram ● RC, RD, UC, UD – také přímo (raw) Ethernet a IPv6 (rfc4392) ● operace Infiniband transportních služeb – zaslání a příjem zpráv (i multicast) – čtení a zápis RDMA – atomické operace (cmp&swap a fetch&add) infiniband funkce
  6. 6. 7 Správa sítě Infiniband ● bezpečnost – klíče pro dělení sítě (partitions), klíče pro operace – sekvenční čísla paketů (PSN) ● zjednodušená správa Infinibandu – centrální řízení sítě (primární a případně záložní) ● konfigurátor sítě - Subnet Manager (SM) ● databáze informací - Subnet Administrator (SA), dotazován je z Subnet Administrator Client (SAC) – na všech uzlech ● agent pro konfiguraci sítě, Subnet Manager Agent (SMA), ovládán je ze Subnet Manager (SM) ● General Services Agents (GSA), ovládáni jsou z General Services Managers (GSM) – sestavení spojení QP - Communication (CM) – statistiky rozhraní - Performance (PM) – monitor a správa hw - Baseboard (BM) – správa rozhraní - Device (DM) – Vendor-specific, Application-specific, SNMP infiniband funkce
  7. 7. 8 Fyzická topologie ● fyzické spojení – více linek najednou ● 1x, 4x, 12x (byte striping) – kódovací rychlost ● SDR (2,5GHz), DDR (5GHz), QDR (10GHz) – kódování 8/10 (4xQDR=4GB/s) ● FDR (14GHz), EDR (26GHz) ... – kódování 64/66 (4xFDR=6.8GB/s) – nízké zpoždění v přepínačích (~100ns) – řízení toku (FCP na každé VL, FECN/BECN) – obvyklé topologie přepínané sítě fat tree (CBB) 3D torus infiniband
  8. 8. 9 ETH Datagram (8B) Reliable Datagram (4B) RDMA (16B) Atomic (28B) ACK (4B) Atomic ACK (8B) Immediate Data (4B) Invalidate (4B) Datový rámec sítě Infiniband infiniband LHRGHRBTH iCRCvCRCdata 8B 40B 12B8B 0-4096B 4B 2B VL vr SL NH dest LID len src LID adresace (Local IDentifier) ● 48k pro koncové zařízení (s podporou více cest) ● 16k pro multicast kvalita služby ●Virtual Lines (VL) ● až 16 QoS front ●Service level (SL) vr tclass flow label len NH hops src GID(128bit) dest GID(128bit) invariant a variant CRC opcode SMP vr p-key dest QP (24bit) A PSN GHR≡IPv6 není vložena při lokální komunikaci ! A PSN operace send, RDMA write, RDMA read, atomické cmp&swap a fetch&add, pomocné ack, resync
  9. 9. 10 Párové komunikační fronty infiniband transport + RDMA offload engine port VL VL VLVLVL ... send receive queue queue completion queue QP software zaslání WQEs příjem CQEs transport + RDMA offload engine port VL VL VLVLVL ... send receive queue queue completion queue QP software
  10. 10. 11 IB transport framework Softwarová architektura v Solarisu user MAD diag SM/SA user verbs user DAPL MPI NET DEV FS cluster SDP IPoIBEoIB SDP SRP iSER rNFSRDS MAD SMA GSA hermon mellanox connectX/X-2 tavor mellanox tavor/arbel+withmem arbel mellanox arbel-nomem FCoIB sysusr infiniband verbs iSCSIIP solaris CM,PM,DM,BM ASM, VSM, SNMP FC všechny protokoly obsahují GSM a SAC GLD
  11. 11. 12 Síťové aplikace a Infiniband infiniband solaris ● Ethernet over IB (EoIB) – přenos UD, Mellanox BridgeX most do ethernetu – nabízí GLDv3 (vnic, vlan), IB partitions ● IP over IB (IPoIB) – rfc4391, rfc4755, rfc4930 – podpora "linkmode" UD a CM (RC/UC) – IB partitions ● Sockets Directs Protocol (SDP) – přímá vazba z aplikací ● SOCK_STREAM + SF_INET_SDP/ PROTO_SDP – možnost emulace standardního rozhraní pomocí knihovny ● Reliable Datagram Sockets (RDS) – Oracle protokol pro databázi – přímá vazba z aplikací ● SOCK_DGRAM, PF_INET_OFFLOAD
  12. 12. 13 Nástroje na administraci infiniband solaris ● softwarové balíky – driver/infiniband/* - ovladače – system/io/infiniband/* - komponenty – network/open-fabrics - OFED nástroje – system/storage/iscsi/iscsi-iser – system/storage/scsi-rdma/scsi-rdma-target ● nástroje – cfgadm (cfgadm_ib(1M)) – dladm(1M) ● create-part,delete-part,show-part,show-ib – datadm (1M) ● nástroje OFED – /usr/sbin/ ● ib*, perfquery, saquery, sminfo, smpquery, smpdump, dump2psl.pl, dump2slvl.pl ● (opensm) – /usr/bin/ ● ib_*, ibv_*, rdma_*, mckey, rping, ucmatose, udaddy, qperf, rds-*
  13. 13. 14 Zkratky APM Automatic Path Migration BECN Backward Explicit Congestion Notification BTH Base Transport Header CBB Constant Bisectional Bandwidth CFM Configuration Manager CQ Completion Queue CQE Completion Queue Element CRC Cyclic Redundancy Check DAPL Direct Access Programming API DDR Double Data Rate DEV SCSI device (disk,tape..) DIF Data Integrity Field EDR Twentyeight Data Rate EoIB Ethernet over Infiniband FC Fibre Channel FCP Flow Control Packet FDR Fourteen Data Rate FECN Forward Explicit Congestion Notification FS Filesystem GID Global IDentifier GRH Global Routing Header GUID Globally Unique IDentifier HCA Host Channel Adapter IB InfiniBand IBTA InfiniBand Trade Association ICRC Invariant CRC IPoIB IP over InfiniBand IPv6 Internet Protocol Version 6 iSER iSCSI Extensions for RDMA LID Local IDentifier LMC Link Mask Control LRH Local Routing Header LUN Logical Unit Number MAD Management Datagram MPI Message Passing Interface API application MR Memory Region NET Netowork API application OSD Object based Storage Device PD Protection Domain PM Performance Manager Agent QDR Quadruple Data Rate QP Queue Pair RDMA Remote DMA RDS Reliable Datagram Service rNFS RDMA for RPC under NFS RPC Remote Procedure Call SA Subnet Administrator SAC Subnet Administrator Client SDP Sockets Direct Protocol SDR Single Data Rate SL Service Level SM Subnet Manager SM Subnet Manager SMC Subnet Manager Client SRP SCSI RDMA Protocol TCA Target Channel Adapter ULP Upper Layer Protocol VCRC Variant CRC verbs verbs API VL Virtual Lane WQE Work Queue Element WRR Weighted Round Robin infiniband
  14. 14. Administrace sítí v Solaris 11
  15. 15. 16 Nová administrace a vlastnosti sítí ● L2 (datalink layer) - dladm(1m),dlstat(1m) – volitelná jména (rename-link) – zobrazení, nastavení a smazání doplňujících informací (show-ether,show-phys,delete- phys,show-link,show-linkprop,set- linkprop,reset-linkprop) – automatické VNIC do zón (zonecfg/anet) – Virtual Router Redundancy Protocol (VRRP) – Link Layer Discovery Prot.(LLDP)-lldpadm(1m) – řízení toků L3 - flowadm(1m),flowstat(1m) ● L3 (ip network layer) - ipadm(1m) – autokonfigurace - netadm(1m),netcfg(1m) ● network automagic (NWAM) – nový IP multipathing (IPMP) – konfigurace v SMF(5) - dns, nss ... ● L4 - integrovaný "loadbalancer" - ilbadm(1m) sítě
  16. 16. 17 Sítě L2 sítě L2 GLDv3 aggr nic nic nicnicnicnic nic etherstub vnitřní L2 síť nicnicnicnic aggr více spojení k jednomu přepínači LACP, A/A⇒ podle L2,L3,L4 bridge více spojení k více přepínačům ⇒ STP, A/P L2 na cestu nic nicnic nic vnic více vNIC z jedné NIC každá vNIC⇒ má vlastní L2 addr vlan více vNIC z jedné NIC ⇒ každá vNIC má vlastní VLAN id
  17. 17. 18 Konfigurace L2 sítě ● etherstub (802.1D) – dladm create-etherstub switchname ● bridge (802.1D) – "spanning tree" protokoly (trill, spt) – dladm create-bridge -l ethdev -l ethdev… switchname ● agregace linek (802.3ad, LACP) – agregační politiky (L2,L3,L4), LACP mód – dladm create-aggr -l ethdev -l ethdev… aggrname ● konfigurace VNIC – šířka pásma, priorita a přiřazení na cpu – dladm create-vnic -l ethdev|switchname|aggrname -p maxbw=#M,priority=low vnicname ● konfigurace VLAN VNIC – dladm create-vnic -l ethdev|switchname|aggrname -v vid vlaname ● konfigurace Infiniband partition – dladm create-part -l ibdev -P pkey partname ● další konfigurace – wifi včetně klíčů (*wifi,*secobj), ip tunel (*iptun) sítě L2
  18. 18. 19 chytrá NIC hloupá NIC etherstub tcp/ip tcp/iptcp/ip Virtualizace sítí sítě ● komponenty pro virtualizaci – virtuální síťové rozhraní (VNIC) ● část kapacity (maxbw) a priorita (priority) – řízení toků podle port,transport,ip,ds (flow) ● hardwarová podpora VNIC a flow – některé bge, e1000g, igb, ixgbe, nxge, nge tcp/ip vnic ip flow vnic ringbufringbuf hw flow tcp/ip vnic ip flow vnic ringbufringbuf sw flow tcp/ip vnic ip flow vnic ringbufringbuf sw flow L2 QoS
  19. 19. 20 Řízení toků - flow control ● řízení toků L3/L4 (realizace v L2) ● klasifikace toku – transport - tcp,udp,sctp,icmp,icmpv6 – lokální a vzdálené porty a ip adresy – dsfield/dscp (RFC2474) ● charakter toku – šířka pásma a priorita ● sběr dat ● konfigurace – flowadm add-flow -l vnicname -a transport=proto,remote_port=#port flow – flowadm set-flowprop -p maxbw=#M flow – flowadm show flowprop‐ – flowadm show flow‐ crossbowsítě L2 QoS
  20. 20. 21 Autokonfigurace IP ● network automagic (NWAM) - nwamd/netcfgd – automatická konfigurace ethernet a wifi – konfigurace - netcfg(1M),netadm(1M) ● Network Configuration Profile (NCP) – jaké a jak sítě aktivovat (LINK a IP) – systémové: "Automatic", "DefaultFixed" – Network Configuration Units (NCU) ● Location profile (LOC) – podmíněná aktivace služeb (NSS,IPF,IPSec) – systémové: "Automatic", "NoNet" ● External Network Modifiers (ENM) – podmíněná aktivace ext. služeb (skripty,SMF) ● Known Wifi (WLAN) – funkce 1) aktivace událostí (up/down, dhcp lease change) 2) podle zvoleného NCP postup konfigurace sítí 3) volba a aktivace právě jednoho LOC 4) volitelně volba a aktivace ENM crossbowsítě L3 vypnutí NWAM NWAM
  21. 21. 22 Konfigurace NWAM ● vytvoření profilů - netcfg(1M) create ncp "muj_ncp" create ncu phys "net0" set activation-mode=prioritized set priority-group=1 set priority-mode=shared end create ncu ip "net0" set ip-version=ipv4,ipv6 set ipv4-addrsrc=dhcp set ipv6-addrsrc=dhcp,autoconf end end create loc "muj_loc" set activation-mode=conditional-any set conditions="ip-address is-in-range 192.168.56.0/24" set nameservices=dns set nameservices-config-file="/etc/nsswitch.dns" set dns-nameservice-configsrc=dhcp end create enm "muj_enm" set activation-mode=conditional-any set conditions="loc muj_loc is active" set start="/enm_start" set stop="/enm_stop" end crossbowsítě L3 NWAM
  22. 22. 23 Správa profilů NWAM ● správa profilů - netadm(1M) – ruční výběr NCP (lze pouze jeden) ● netadm enable -p ncp "muj_ncp" ● netadm list -x – ruční výběr NCU, LOC nebo ENM pro označené ● set activation-mode=manual – vypnutí NWAM ● netadm enable -p ncp DefaultFixed crossbowsítě L3 NWAM
  23. 23. 24 Manuální konfigurace IP ● konfigurace IP vrstvy - ipadm(1m) – IP konfigurace ● aktivace IP vrstvy – dladm show-phys; dladm show-link – ipadm create-ip vnicname – ipadm show-if ● přidání IP adresy – ipadm create-addr -T static|dhcp|addrconf ... vnicname/addrname – ipadm show-addr – ipadm show-addrprop ● další nastavení IP adresy – up-addr,down-addr,enable-addr,disable- addr,refresh-addr,delete-addr – show-addrprop,set-addrprop,reset-addrpro – parametry sítě (*-prop, *-ifprop) ● konfigurace NSS ● svccfg -s dns/client setprop config/domain = "domain" ● svccfg -s dns/client setprop config/nameserver = ipaddr ● svccfg -s switch setprop config/host = '"files dns"' ● svcadm refresh dns/client switch crossbowsítě L3 bez NWAM
  24. 24. 25 IP multipathing ● konfigurace IPMP - ipadm(1m),ipmpstat(1m) dladm rename-link vnicname0 ipmplink0 dladm rename-link vnicname1 ipmplink1 dladm rename-link vnicname2 ipmplink2 ipadm create-ipmp ipmpname ipadm create-ip ipmplink0 ipadm create-ip ipmplink1 ipadm create-ip ipmplink2 ipadm add-ipmp -i ipmplink0 -i ipmplink1 -i ipmplink2 ipmpname ipadm create-addr -T dhcp|static|addrconf ipmpname/addrname0 ipadm create-addr -T dhcp|static|addrconf ipmpname/addrname1 … ipadm create-addr -T dhcp|static|addrconf ipmplink0/addrname ipadm create-addr -T dhcp|static|addrconf ipmplink1/addrname ipadm create-addr -T dhcp|static|addrconf ipmplink2/addrname ipadm set-ifprop -p standby=on ipmplink2 crossbowsítě L3 bez NWAM IPMP nic0 nic1 nic2 ip0 ip1 nic0 nic1 nic2 ip0 ip1 fail nebo offline
  25. 25. Síťové úložiště NAS a SAN v Solaris 11
  26. 26. 27 Síťové úložiště ● Network Attached Storage (NAS) – síťové souborové systémy (fileserver) – NFS, Server Message Block (SMB) (CIFS) ● Storage Area Netowork (SAN) – síťové zařízení s SCSI příkazy (t10.org) – FC, FCoE, iSCSI, iSCSI/iSER, SRP úložiště
  27. 27. 28 Síťové souborové systémy ● konfigurace a integrace – sjednocené příkazy ● share(share_smb,share_nfs(1M)),mount(mount_s mbfs,mount_nfs(1M)),sharectl(1m) ... – NFS - podpora InfiniBand (-o proto=rdma) – SMB 1) mapování identity (idmap) - idmap(1m) – z adresářové služby (AD,AD+IDMU,LDAP) – mapovací pravidla – dočasné mapování (ephemeral) 2) spuštění serveru v doméně nebo pracovní skupině ● smbadm(1M),sharectl(1M),smbstat(1M) ● nastavení globálních parametrů – sharectl set|get [-pproperty=value] smb úložiště NAS
  28. 28. 29 Idmap z adresářové služby ● AD - rozšířit schéma o unix jména – attributeTypes: unixUserName,unixGroupName – objectClasses: unixNameInfo ● LDAP - rozšířit schéma o win jména – attributeTypes: winAccountName – objectClasses: winAccount ● nastavení idmap (setprop svc:/system/idmap) – config/directory_based_mapping = name|idmu|none – config/ad_unixuser_attr = unixUserName – config/ad_unixgroup_attr = unixGroupName – config/nldap_winname_attr = winAccountName ● doplňující mapování – pro AD ● idmap set-namemap winuser:username@domain-name unixuser:username ● idmap set-namemap wingroup:groupname@domain-name unixgroup:groupname – pro LDAP ● idmap set-namemap unixuser:username winuser:username@domain-name ● idmap set-namemap unixgroup:groupname wingroup:group- name@domainname úložiště NAS SMB idmap
  29. 29. 30 Idmap mapovacími pravidly ● mapovací pravidla – jednosměrné, obousměrné mapování – idmap add 'winuser:*@example.com' 'unixuser:*' – idmap add 'wingroup:*@example.com' 'unixgroup:*' – idmap add winname:username unixuser:username – idmap add wingroup:groupname unixgroup:groupname – idmap import -f file format úložiště NAS SMB idmap
  30. 30. 31 Spuštění serveru ● server ve windows doméně 1) nastavení KRB5 + NTP ● /etc/krb5/krb5.conf 2) spuštění serveru ● svcadm enable -r smb/server 3) připojení k doméně ● smbadm join -u username domain-name ● server ve windows pracovní skupině 1) spuštění serveru ● svcadm enable -r smb/server 2) připojení k doméně ● smbadm join -w workgroup-name 3) nastavit PAM ● /etc/pam.conf ● other password required pam_smb_passwd.so.1 nowarn ● /var/smb/smbpasswd 4) přenastavit všechna hesla úložiště NAS SMB
  31. 31. 32 Konfigurace serveru ● sdílení – vynucené zamykání - nbmand=on – mapování "guest" ● guestok=true ● idmap add winname:Guest unixuser:guest – Access-Based Enumeration - abe=on – překlad znaků CATIA - catia=true – mapování domovských adresářů na serveru ● /etc/smbautohome – SMB privilegované skupiny – tisková fronta ● standardní sdílení - /etc/dfs/dfstab ● sdílení na zfs – zfs create -o nbmand=on,utf8only=on pool- name/fsname – zfs set share=name=myshare, path=/mntpnt/directory,prot=smb pool- name/fsname úložiště NAS SMB
  32. 32. 33 Konfigurace klienta ● nastavení – spuštění klientských služeb ● svcadm enable -r network/smb/client – zjištění vzdálených sdílení ● smbadm show-shares server – uložení hesel ● smbadm add-key [-u username] ● /etc/pam.conf – login auth optional pam_smbfs_login.so.1 ● připojení – přímé ● mount -F smbfs [-o user=username, domain=domain-name,gid=#,uid=#,noprompt,...] //server/share mount-point – automounter/autofs úložiště NAS SMB
  33. 33. 34 Diskové pole s architekturou COMSTAR ● Common Multiprotocol SCSI Target – instalace pkg:/group/feature/storage-server – vytvoření zařízení pro diskové operace – stmfadm(1M),sbdadm(1M),itadm(1M)... – SCSI Target Mode Framework (STMF) kernel libstmf nástroje logical unit API stmf port provider API ZFS volume passthroughsoubor tenký soubor SRP iSCSIFibreChannel FCoE úložiště SAN
  34. 34. 35 Vytvoření disku úložiště SAN ● start služeb – svcadm enable stmf – stmfadm list-state ● zdrojový diskový prostor – diskový soubor ● mkfile size /fn ● sbdadm create-lu /fn – tenký diskový soubor ● touch /fn ● sbdadm create-lu -s #size /fn – ZFS volume ● zfs create -V #size pool/vol ● sbdadm create-lu /dev/zvol/rdsk/pool/vol – přímý export disku (passthrough) ● sbdadm create-lu /dev/rdsk/c#t#d#s#
  35. 35. 36 Zpřístupnění disku úložiště SAN ● omezení SCSI initator-target (lun masking) – bez omezení ● stmfadm add-view guid – jen vybraným cílům ● fcinfo hba-port ● stmfadm create-hg INITIATORjmeno ● stmfadm add-hg-member -g INITIATORjmeno wwn.WWNINITIATOR ● stmfadm list-target ● stmfadm create-tg TARGETjmeno ● stmfadm add-tg-member -g TARGETjmeno wwn.WWNTARGET ● stmfadm add-view -h INITIATORjmeno -t TARGETjmeno guid
  36. 36. 37 Konfigurace přenosových protokolů úložiště SAN ● FibreChannel target – update_drv -d -i pci# qlc – update_drv -a -i pci# qlt ● FCoE target (802.3x, jumbo) – svcadm enable fcoe_target fcoe_initiator – fcadm create-fcoe-port -t -f ethdev ● SCSI RDMA Protocol target (SRP) – svcadm enable ibsrp/target – srptadm(1m)
  37. 37. 38 Konfigurace přenosových protokolů ● iSCSI target – svcadm enable iscsi/target 1)itadm create-target 2)itadm modify-defaults --isns-server IPSNS itadm modify-defaults --isns enable 3)itadm create-tpg ibdname ipaddr itadm create-target -t ibdname ● iSCSI initiator 1)iscsiadm add static-config iqn.IQN,IP iscsiadm modify discovery -s enable 2)iscsiadm add isns-server IPSNS iscsiadm modify discovery -i enable 3)iscsiadm add discovery-address IP iscsiadm modify discovery -t enable ● iSNS server – svcadm enable isns_server – isnsadm(1m) úložiště SAN
  38. 38. Dotazy ?pro prezentaci byly použity inspirace z volně dostupných materiálů a prezentací, z dokumentace docs.oracle.com a dalších zdrojů mezi jinými t10.org, blogs.oracle.com, openfabrics.org, infinibandta.org, hpcadvisorycouncil.com, zfsbuild.com, nexentastor.org, opensolaris.org, oss.oracle.com, mellanox.com, top500.org, wikipedia.org, ietf.org ...

×