Документ описывает развертывание виртуализированных центров обработки вызовов (CC) UCCE на платформе Cisco UCS, включая разработку собственных приложений и специфические сетевые топологии. Основное внимание уделяется критериям выбора оборудования, функциональности, требованиям к QoS и архитектуре хранения данных с использованием SAN. В заключение, рассматриваются возможности программирования и управления записями для приложений Mediasense.

1. Виртуализация центров
обработки вызовов UCCE на
платформе Cisco UCS
Разработка собственных
приложений для ЦОВ
Игорь Сукайло
isukaylo@cisco.com

2. Содержание
Развертывание CUCCE на UCS
Разработка собственных
приложений для UCCE

3. Развертывание CUCCE на UCS

4. Особенности сетевой топологии
при использовании UCS

5. UCS Virtual Interface Card (VIC)
VIC является конвергентным 10GbE/FCoE
сетевым адаптером для
развёртывания как в виртуальной
так и в реальной среде
При этом OS/hypervisor видит до
58 различных PCIe устройств: Eth
FC FC Eth
• Ethernet vNIC и FC vHBA
Определяемые
пользователем
Возможность выдедить vNICs
отдельные vNIC для vmconsole,
vmkernel, vMotion
0 1 2 3 58
Аппаратная реализация
технологии VN-Link
Возможность работы в режиме
Bypass
Для среды VMware
vmnic = vNIC на UCS PCIe x16

6. Сетевая топология UCS B серии
SAN LAN MGMT SAN • Взаимодействие с внешним
миром – Fabric Interconnect
G G S S G G Switch 6100 серии
A
Fabric
Interconnect
Fabric
A
Interconnect (40 или 20 10GE портов) + (2 или 1
G G G G G G GEM слота) для подключения к
сетевым коммутаторам и для
подключения к серверам через FE.
Fabric
Compute Chassis
Fabric
• Шасси
Extender
R I C C I R
Extender До 8-и половинчатых или 4-х
x8 x8 x8 x8
полных лезвий
• Fabric Extender
Агрегирует серверные
подключения
M P P
Adapter
B
Adapter
B
Adapter Поддерживает полосу до 80Gb
• Адаптеры
X X X X X X
Виртуализируемые адаптеры
x86 Computer x86 Computer
• Серверное лезвие
Compute Blade Compute Blade
(Half slot) (Full slot)

7. Режимы работы UCS 6100
End Host Mode (EHM) Switch Mode
• Внешняя LAN видит UCS 6100 • UCS 6100 ведет себя как
как end-host с большим кол-вом традиционный сетевой
адаптеров. Не используется коммутатор с поддержкой
Spanning Tree Protocol (STP) Spanning Tree Protocol (Cisco
• Все серверные порты PVST+) на uplink портах
привязываются к uplink портам в
режиме Active/Active. Привязки
могут быть как преднастроенные
так и динамические
• Могут быть реализованы
непересекающиеся подключения
к сети
• Является предпочтительным
режимом использования

8. Рекомендации по сетевой
топологии для CUCCE

9. UCCE использует End Host режим
работы UCS B FI …
Поскольку ССЕ требует
быструю сходимость, Коммутаторы локальной сети
которую не в силах Nexus/6500
обеспечить STP
-Динамическая перепривязка
портов в случае Active/Active
возникновения проблемы MAC-A порты
gARP
Fabric InterConnect A Fabric InterConnect B
Серверные порты
Fabric Extender Fabric Extender
Адаптер
Половинчатое лезвие
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 9

10. … и не использует Fabric Failover режим
(для более быстрого переключения)
1
2
1
2
Upstream Switch 15
15
Upstream Switch
16
14
14
16
Uplink
Ports
Uplink
Ports
7
8
8
7
UCS FI-A UCS FI-B
VLAN Web VLAN Web
VLAN NFS VLAN NFS
VLAN VLAN
VMK VMK
VLAN COS VLAN COS
HA Links
1
2
3
4
5
6
1
2
3
4
5
6
Server
Ports
Server
Ports
1
2
Fabric
Ports
3
4
UCS 1
2
Fabric
Ports
3
4
FEX-A Blade FEX-B
Backplane
1
2
3
4
5
6
7
8
Chassis 1
2
3
4
5
6
7
8
Backplane
Ports
Ports
Blade Server
Eth
1/1/4
Adapter Eth
1/1/4
MAC –A Eth
0
Eth
1
MAC –B
Veth10
Veth11
Veth20
Veth5
Veth10
Hypervisor MAC-C, E
Profile
Web
Profile
Web
Profile
NFS
Profile
VMK
Profile
COS
Switch gARP
MAC –C Service
MAC –D MAC –E Kernel
Console

11. Clustering over WAN (CoW) при
развертывании UCCE на UCS B

12. Основные требования к CoW UCCE
• Коммуникации UCCE Visible и Private должны происходить
различными сетевыми маршрутами, чтобы сделать невозможным
одновременный их выход из строя.
• В случае збоя трафик должен быть перенаправлен по запасному
маршруту в течении 500мс
• WAN должна быть построена по отказоустойчивой модели и в
соответствии с требованиям SRND с точки зрения задержек, полосы и
т.д.
• Синхронизируемые службы на Site A и Site B (Router, Logger и PGs)
должны иметь идентичное аппаратное обеспечение. Так, если Rogger A
установлен на UCS, то Rogger B не может быть установлен на MCS.
• Однако совместное использование в одной инсталляции MCS и UCS
для
• компонент, которые не поддерживают виртуализацию или не
Коммуникации UCCE Visible и Private должны происходить

13. Типовая архитектура CoW на MCS
VLAN 10 VLAN 20
Два
разных
сетевых
Адаптера
подключе
ны к двум
непересек
ающимся
сетям:
Public и
Private

14. Два варианта архитектуры CoW на UCS
VLAN 10 CCE Public VLAN 10
Disjointed L2 LAN Disjointed L2
HA WAN
LAN
VLAN 20
SAN VLAN 20
VLAN 10 CCE Private
VLAN 20 SAN
10GE Uplinks
Fabric InterConnect A End Host Fabric InterConnect B Non-Disjointed
L2 LAN
mode
Non Fabric
Fabric Extender Failover Fabric Extender
UCS Adapter UCS Adapter
vmnic 0 vmnic 1
VMware (active) (active)
NIC
teaming Side-A Side-B
Port Port
Group
Group
for vSwitch 0 for UCCE vSwitch 0 UCCE
Public Private
VLAN 10 VLAN 20
Public Private Public Private vNIC 1 vNIC 2
VLAN 10 VLAN 20 VLAN 10 VLAN 20
CCE VM 1 CCE VM 2
(Rogger) (Agent PG) VM
ESXi Host 1A / Blade 1A ESXi Host 1B / Blade 1B

15. Использование Virtual PortCannel
vPC (или Virtual Switching System для 65ХХ)
– технология, позволяющая объединить
два физических коммутатора в единый
логический/виртуальный, который видится
коммутаторами нижнего уровня как одно
a
vPortChannel
целое.
a
PortChannel
Данная технология позволяет
организовать отказоустойчивое
соединение между коммутаторами.
L2
Switch
MAC
MAC
MAC
MAC
A
B
C
D

16. Использование vPC для организации
CoW UCCE
Без vPC/VSS vPC/VSS
Upstream Access/Distribution Layer Upstream Access/Distribution Layer
Fabric InterConnect A Fabric InterConnect B Fabric InterConnect A Fabric InterConnect B
Server Ports Server Ports
• Все VLAN-ы транком уходят через UCS FI, т.е. не разделенная L2 сеть
• Коммутатор следующего уровня должен разделить Public и Private VLAN-ы, как
того требует организация CoW UCCE. Технология vPC/VSS не является
обязательной, но рекомендуется ввиду быстрой отработки нештатных ситуаций и
простоты конфигурирования. Если vPC/VSS не используется, то между UCS FI и
вышестоящим коммутатором настоятельно рекомендуется использовать port
channel.
© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 16

17. Критерии выбора UCS B или
UCS C для UCCE

18. Цепочка принятия решения
Да B200Mx
Span based
Silent Нет > 24
Да
Monitoring? vCPU?
Уже есть
DC/SAN с Да Нет
10GE $$
аплинками?
Нет Да
Да
Строится
> 10 DC с 10GE
Старт аплинками?
“серверов”
Нет Нет
C210Mx
DAS
Замечание: Для виртуальных машин требующих, больше 4 vCPUs,
необходимо приобрести у Cisco либо VMware лицензию VMware
vSphere ESXi Enterprise Plus.

19. Использование QoS на UCS B
100%
75%
50%
25%
0%
Total Link Bandwidth
Reserved“Usable” Bandwidth (75%)
(33% max)
BW Assigned to LLQ Classes
Priority
ip rsvp
bandwidth

20. Особенности маркировки трафика
• При развертывании UCCE на UCS B используются возможности
настройки QoS на UCS VIC (Virtual Interface Card) M81KR.
• UCCE пока не поддерживает функциональность Nexus 1000V с точки
зрения QoS, но встроенной функциональности UCS VIC достаточно
для функционирования приложений UCCE.
- Из-за ограничения vSwitch по распознавания и маркировке трафика необходимо
использовать режим “Host Control NONE” на виртуальных адаптерах, что
позволяет Cisco VIC применять маркировку в зависимости от трафика виртуальных
адаптеров.
- Политики QoS и конфигурирование UCS VIC описано
http://www.cisco.com/en/US/docs/unified_computing/ucs/sw/gui/config/guide/1.4/
UCSM_GUI_Configuration_Guide_1_4_chapter18.html

21. Сосуществование vSwitch и Nexus 1000V
• Если Nexus 1000V необходим некоторым UC приложениям, например UCM, то
CCE использует vSwitch и работу с QoS через UCS VIC. При этом Nexus
1000V может размещаться совместно с vSwitch на одном шасси, но не на
одном лезвии.
• Но поскольку не допускается совместное размещение на одном лезвии
виртуальных машин UCM и CCE, то вышеуказанное ограничение
несущественно, кроме факта администрирования двух систем одновременно.
pSwitch
Nexus
1000V
VSM
ESXi Host for UCCE ESXi Host for UCM
VMware Nexus
vSwitch
vNetwork
standard
1000V
VEM
Switch

22. Использование SAN для UCCE
на UCS B

23. Архитектура хранилища для VMware
ESXi Host A (Rogger, Agent PG, DC VMs) ESXi Host B (AW-HDS-DDS VM)
VM 1 VM 2 VM 3 VM 4
datastore 1 datastore 2
(VMFS volume) (VMFS volume)
vdisk1
vdisk2 vdisk4
vdisk3
• VM использует vDisk созданный в
VMware File Systems (VMFS)
SAN network) • Datastore является физическим
VMFS разделом на устройствах
хранилища
• VMFS раздел может объединять
несколько хранилищ
• VMFS раздел содержит один или
более LUNs (Logical Unit Number) на
disk x
disk x
disk x
disk x
disk x
disk x
disk x
disk x
физическом хранилище.
SAN storage array

24. Рекомендации к SAN для UCCE на UCS B
HDD Рекомендации FC class (e.g 450 GB 15K, 300 GB 15K) ~ 180 IOPS
LUN ограничения размера Не более 2 TB
UC VM App Per LUN Указывается в OVA шаблоне в зависимости от типа приложения
(всего не более 10)
LUN рекомендованный размер Между 500 GB & 1.5 TB
• Необходимо контролировать
пропускную способность FI,
поскольку существует конкуренция
между FC и IP трафиком.
UCS B200 • Поэтому при расчете SAN нужно
Up to 20 UCS 5108 Blade Server строго соответствовать требованиям
Chassis UCCE SRND.
FCoE
UCS-6120XP FI Switch
Fibre Channel (FC)
10Gbps Ethernet
IP трафик
Catalyst конкурирует с
Ethernet FC
Switch
UC Apps
Disc SpaceSAN
Disc
Array

25. Пример FC SAN на 2000 агентов
3rd Party SAN
Compute Layer Cisco
• EMC CX4-240; 1 Rack; 12 DAE UCS 6100
• Общая производительность 28,000 Fabric
Interconnect
IOPS
• 14,000 IOPS на контролер
• 4 KByte размер блока
14,000 IOPS x (4KB*8) ~ 428 Mbps 4x10GE 4x10GE
Пропускная способность на контролер UCS
5100
Результат Blade
4x10GE 4x10GE Server
• Одного 4 Gbps FC интерфейса
достаточно для обработки данных всего
хранилища SAN/Storage
• Для отказоустойчивости используем 4-е
Layer – Cisco Cisco SAN
SRND Switch
FC интерфейса
FC FC
- Rogger 2000 agents VM IOPS ~ 425 (95th pct)
425 IOPS * 4KB*8 à 13.6 Mbps per Rogger VM FC FC
-HDS VM IOPS ~ 3800 à 121.6 Mbps per HDS 4
VM SP-A SP-B (Storage/
-Agent PG IOPS ~ 70 à 2.3 Mbps per APG VM service
Processor)
-UCM VM IOPS ~ 200 à 6.4 Mbps per UCM VM 3rd party layer
FC
Суммарная потребляемая Storage
производительность ниже предложенной.

26. Пример RoggerA на 2000 агентов
AW- AW-
Rogger Agent ST UCM UCM UCM
HDS- HDS- DC A
A PG A Tool Pub Sub 1 Sub 3
DDS 1 DDS 3
VM 1 VM 2 VM 3 VM 4 VM 5 VM 6 VM 7 VM 8 VM 9
Datastore Datastore
1 2
Datastore 3 Datastore 4
LUN 1 LUN 2 LUN 3 LUN 4
(500 GB) (500 GB) (720 GB) (720 GB)
RAID5 Groups
RAID5 Group(s) (disk 1-xx)
(disk Y-zz)
HD 1 HD 2 HD 3 HD 4 HD xx
450gig Y
HD 450gig
HD Y+1 450gig
HD Y+2 450gig
HD zz 450gig
15K 450gig
RPM 15K RPM
450gig 15K RPM
450gig 15K RPM
450gig 15K RPM
15K RPM 15K RPM 15K RPM 15K RPM

27. Разработка собственных
приложений для UCCE

28. Разработка приложений для
системы записи

29. Архитектура MediaSense
Приложения
Партнерские
приложения
Web 2.0 APIs
Application, User,
§ Возможность прослушивания в
& Configuration
Management
реальном времени
Сервисы
Redundant
Metadata
§ Доступ по HTTP и RTSP
database
Media § Поддержка кластеризации
Management
§ Cisco UCS (B- и C-серии)
Media
§ VMware ESXi 4.0/4.1
SIP
Capture &
Streaming
§ Fiber-channel SAN
Call
Control § Unified CM 8.5
§ Cisco IP Phones с поддержкой BiB
Сеть
Call Control

30. Производительность и масштабируемость
• Всего поддерживается до 340 одновременных различных
потока
– Запись, Мониторинг, Проигрывание, Скачивание
• MediaSense 8.5(2) поддерживает:
ü Как локальные диски так и Fiber Channel SAN устройства
ü Хранилища до 60TB для 5 нод
ü Cisco C-Series и B-Series сервера
ü VMWare ESXi 4.0/4.1

31. Два режима построения хранилища
SAN
Partner Partner
Application Application
SAN
MediaSense
MediaSense

32. Режимы записи
• Два режима работы записи
– Приоритет новых записей (значение по умолчанию). При
отсутствии места старые записи удаляются, а новые
записываются. Записи удаляются в зависимости от их
«возраста» и доступного пространства
– Приоритет существующих записей. При отсутствии
свободного места новые записи не производятся

33. MediaSense пользовательские API
Приложения
Тегирование
метаданных
Управление
Управление
Обработка
управление
контентом
RTSP & HTTP
Real-time
События
Результат
записи
поиска
Media
Web 2.0 Client Application APIs
Мультимедийные
сервисы
Multimedia
Metadata Capture &
Storage & Media
Search Streaming Storage
SIP + RTP
Call
Meta
Сеть
Data
Call Media
Control

34. MediaSense пользовательские API
§ Аутентификация
§ Аутентификация приложений MediaSense происходит через
пользователей UCM
§ Поиск записей
§ Возможность поиска по многим критериям
§ Доступ к записям и прослушиванию
§ RTSP, HTTP
§ Управление записями
§ Удаление одной или группы записей
§ Транскодирование / экспорт
§ Управление Тэгами
§ Добавление/удаление текстовых тэгов
§ Управление записью
§ Начало/конец записи
§ Пауза/Возобновление записи

35. Поддерживаемые форматы
• Audio
– G.711 A-law и mu-law
– G.729
– G.722 *
– Транскодирование и экспорт в AAC / MP4
• Video
– H.264 захват, экспорт в MP4
– Совместимость с 9971 и CUVA
– HD video 720p, 1080p *
• Metadata
– Ассоциация со звонком
• Связь с UCM, UCCE, ICM
– Информация о сессии
• Endpoints, Time, date, Call IDs: xRefCi, GUID
• Session ID
* Планируется в 2012

36. Пример приложения
• Приложение демонстрирующее базовые возможности
MediaSense API
• Исходный код доступен на CDN
– http://developer.cisco.com/web/mediasense
36

37. Пример приложения
Поиск
37

38. Пример приложения
Расширенный поиск
38

39. Пример приложения
Проигрывание
39

40. Пример приложения
Проигрывание видео
40

41. Разработка агентского места
контакт-центра

42. Cisco Finesse
Cisco Finesse
одновременно и API и
полноценное,
поддерживаемое,
агентское рабочее место
на базе данного API.

43. Стартовый экран Finesse
Доступный сразу после инсталляции Контакт-центра

44. Высокоуровневая архитектура
Cisco Finesse клиент
Cisco Finesse Server
VOS Virtual Machine
Web Gadget
Services Container
Пользовательское
приложение
Cisco
Unified
Contact Center
Enterprise
PG

45. Компоненты Finesse
Finesse Web Service
• Компонент, обрабатывающий REST запросы от клиентов
Finesse Notification Service
• Компонент, отправляющий XMPP события клиентам
CTI Server
• Компонент, используемый Finesse Web Service для интерфейса с UCCE
Finesse DB
• Компонент, используемый Finesse Web Service и Notification Service для хранения
данных
Finesse Desktop
• Компонент, который формирует клиентское отображение рабочего места

46. Формирование запросов
• Основной формат (применяется в большинстве случаев)
– http://<host>:<port>/finesse/api/<object>
• http://host/finesse/api/User/1234
• По умолчанию для HTTP используется порт 80
• Базовая аутентификация для каждого запроса
• HTTP метод GET или POST
• Ответ в XML формате
• Ошибки в XML формате

47. События, информирующие о вызове
Call Cleared Call Established
Call Failed
Call Conferenced
Call Held
Call Connection Cleared
Call Originated
Call Data Update
Call Retrieved
Call Delivered Call Transferred
Call Diverted End Call

48. Используемые инструменты
• Poster plugin для Firefox
– Отправка HTTP запросов
– https://addons.mozilla.org/en-US/firefox/addon/2691/
• XMPP Console plugin для Pidgin
– Отправка и получение XMPP сообщений
– http://www.pidgin.im/
• Firebug plugin для Firefox
– Отладчик JavaScript
– Анализирует HTTP запросы/ответы
– http://getfirebug.com/
• Fiddler (HTTP трафик анализатор)
– Анализирует HTTP запросы/ответы в IE
– http://www.fiddler2.com/fiddler2/

49. Расширение функциональности OpenSocial гаджетами
• Структура OpenSocial гаджета:
<?xml version="1.0" encoding="UTF-8" ?>
<Module>
<ModulePrefs title="Standard gadget structure">
<Require feature="opensocial-0.8"/>
</ModulePrefs>
<Content type="html">
<![CDATA[ Собственно контент гаджета]]>
</Content>
</Module>

50. HelloWorld гаджет

51. Отображение гаджетов

52. План развития Finesse
• Декабрь 2010 – Finesse 8.5(1) CCE только для разработчиков
• Июнь 2011 – Finesse 8.5(3) CCE только для разработчиков
• Декабрь 2011 - Finesse 8.5(3) готов к использованию в составе
CCE
• 2012 – Finesse готов к использованию в составе CCX

53. Спасибо!
Просим Вас заполнить анкеты.
Ваше мнение очень важно для нас.