Документ представляет собой историю успеха модернизации ядра сети пакетной передачи данных ОАО 'Мегафон' с использованием оборудования Cisco. Основная цель проекта заключалась в повышении производительности, надежности и масштабируемости сети для удовлетворения растущих потребностей пользователей. Реализация нового решения позволила компании стать лидером по числу абонентов третьего поколения связи и обеспечила экономические преимущества.

1. Модернизация ядра сети пакетной
передачи данных Центрального
филиала ОАО «МегаФон» на базе
оборудования Cisco
Конкурс историй успеха Cisco - 2011
Номинация: история успеха в сегменте крупных предприятий (более 1000 сотрудников)
История успеха
О заказчике интернет-трафика, сгенерированного российскими всевозрастающих потребностей своих абонентов. Чтобы
пользователями. решить эту объемную и комплексную задачу планировалось:
Компания «МегаФон» – один из трех крупнейших сотовых
операторов России и единственная компания, развернув- Голосовой трафик абонентов «МегаФона» в первом кварта- 1) Внедрить платформу нового поколения, сочетающую
шая собственную сеть и оказывающая весь спектр услуг ле 2010 года составил 42 046 959 тысяч минут. в себе чрезвычайно высокую надежность, масштабируе-
мобильной связи на всей территории России. Дочерние мость, производительность и широкий спектр функциональ-
компании «МегаФона» работают в Абхазии, Таджикистане В 2009 году было продано 964 тысяч 519 фирменных
ностей, включая комбинированный узел поддержки GPRS –
и Южной Осетии. В июне 2010 года «МегаФон» приобрел 3G-модемов, работающих в сети «МегаФон».
ComboGSN (SGSN + GGSN) и DPI (Deep Packet Inspection).
100% акций компании «Синтерра», что позволило укрепить Компанией заключены роуминговые соглашения
2) Внедрить инновационную технологии IuFlex, объединяю-
собственную сетевую инфраструктуру и усилить позиции с 479 GSM-операторами из 209 стран.
щую узлы ядра в единую логическую структуру и обеспе-
на рынках дальней связи, фиксированного и мобильного
Компания предоставляет услуги связи третьего поколения чивающую тем самым отказоустойчивую и гибкую распре-
широкополосного доступа в Интернет, а также конвергент-
(3G) более чем в 600 из 1099 российских городов, деленную архитектуру современной сети оператора связи.
ных услуг. Число активных абонентов компании к концу
2010 года составило 57 миллионов. что составляет 54,5% от всех крупных населенных 3) Сформировать новую гибкую линейку тарифных планов
пунктов России. на базе технологии DPI (Deep Packet Inspection), позволяю-
«МегаФон» постоянно стремится к внедрению самых пере-
Протяженность волоконно-оптических линий связи (ВОЛС) щей выполнять независимую тарификацию любого типа
довых технологий. «МегаФон» – первая в России компания,
«МегаФона» насчитывает 43,47 тысяч километров. пользовательского трафика, учитывая его специфику (тип,
запустившая в коммерческую эксплуатацию сеть нового
параметры, содержимое и пр.).
поколения 3G в самом перспективном стандарте связи Количество сотрудников компании превышает
UMTS, делающую мобильный Интернет удобным и эффек- 30 тысяч человек. Таким образом, для успешного выполнения всех постав-
тивным инструментом для пользователей. Это позволило ленных задач требовалась платформа по-настоящему уни-
компании стать лидером по числу пользователей сетей Задачи компании кальная в своем роде, которая бы отвечала высоким
третьего поколения, а также по объему выручки от реали- предъявленным требованиям производительности, надеж-
Будучи одним из передовых и инновационных операторов
зуемых в них услуг. ности и универсальности и имела существенный запас для
мобильной связи и широкополосного доступа в Интернет,
масштабирования по всем основным характеристикам.
Интернет-трафик в сетях «МегаФон» в первом квартале «МегаФон» поставил перед собой задачу модернизировать
2010 года насчитывал 6 173 449 597 Mb. В общей слож- существующее ядро сети пакетной передачи данных В соответствии с корпоративной стратегией проект по
ности на долю абонентов «МегаФона» пришлось 39% всего Центрального филиала с целью удовлетворения модернизации ядра сети пакетной передачи данных

2. Модернизация ядра сети пакетной передачи данных
Центрального филиала ОАО «МегаФон» на базе оборудования Cisco
История успеха
Центрального филиала ОАО «МегаФон» был призван • система обладает уникальным механизмом Session Для реализации проекта по модернизации ядра сети
решить задачи по повышению суммарной производитель- Recovery, обеспечивающим полное восстановление пакетной передачи данных Центрального филиала
ности ядра пакетной передачи до 3,8 Гбит/с к началу пользовательских сессий после единичного программно- ОАО «МегаФон» выбор был сделан на решениях Cisco,
2011 года, по снижению числа платформ пакетного ядра го/аппаратного сбоя; соответствующих требованиям «МегаФона» по масштаби-
до 2 ед., по обеспечению масштабируемости резервиро- • масштабируемая архитектура платформы позволяет руемости, надежности и отказоустойчивости. Системным
вания всех узлов и модулей решения и по обеспечению эффективно наращивать производительность путем интегратором выступила компания CPM Ltd. – поставщик
предлагаемого решения современной системой монито- добавления новых обрабатывающих/интерфейсных ИТ и телекоммуникационного оборудования, предлагаю-
ринга и сбора статистических данных. модулей; щий широкий выбор отказоустойчивой компьютерной тех-
• возможность горячей замены всех элементов системы ники и программных решений для систем оперативной
Предпосылки внедрения проекта (в т.ч. обновления программного обеспечения); обработки данных, а также аппаратных и программных
решений для телекоммуникаций, в частности, для интегра-
С точки зрения сетевой архитектуры сеть мобильного • полная универсальность обрабатывающих/интерфейсных
ции ТФОП и сетей передачи данных, интеллектуальных
доступа «МегаФона» состоит из радиосетей стандартов карт, позволяющая применять их для обработки любых
поддерживаемых платформой функций (SGSN, GGSN, сетей. Компания специализируется на интеграционных
GSM/GPRS (2G) и WCDMA/HSPA (3G), для обеспечения
PDSN, S-GW, P-GW, MME и др.); проектах повышенной сложности, требующих нестандарт-
работоспособности которых на уровне ядра должны
ных архитектурных решений и высококвалифицированных
использоваться узлы SGSN (Serving GPRS Support Node) • в полной комплектации платформа (2G SGSN + 3G SGSN
профессиональных услуг. Имея за плечами 10 лет работы
и GGSN (Gateway GPRS Support Node). Существовавшее + GGSN) обладает следующими показателями
в этих сферах, компания зарекомендовала себя как
ранее ядро пакетной передачи данных имело следующие производительности:
надежный партнер, ориентированный на разработку и вне-
принципиальные ограничения: 1) пропускная способность – до 40 Гбит/с; дрение оптимальных решений в максимально короткие
• недостаточная производительность; 2) количество активных PDP-контекстов – до 2 млн.; сроки.
• недостаточная масштабируемость; 3) количество активных пользователей (SAU) – до 2 млн.;
Компания CPM является первым и на сегодня единствен-
• наличие ограничений в отношении интеграции 4) производительность вызовов – до 20 тыс. вызовов ным сертифицированным партнером Cisco Mobile Internet
с IP-сетями. в секунду; Technology ATP (уполномоченный поставщик технологий
Реализация проекта по модернизации пакетного ядра на • наличие современной системы мониторинга и сбора ста- мобильного интернета, ATP-MIT) в России.
базе платформы ASR5000 позволила полностью исклю- тистики на базе SNMP/CORBA – EMS (Element
Management System); Описание решения на базе оборудования Cisco
чить подобные ограничения и недостатки. И в дополнение
к этому его реализация привнесла ряд существенных • возможность реализации широкого спектра сервисов Центральный филиал компании ОАО «МегаФон» обслужи-
преимуществ: пакетного ядра для CDMA (PDSN), GSM/GPRS вает 8 субъектов Центрального региона Российской
(SGSN, GGSN), UMTS/HSPA (SGSN, GGSN), LTE Федерации, которые было решено разделить между двумя
• возможность комбинированного размещения логических (MME, S-GW, P-GW), Femtocell (Se-GW, HNB-GW); устанавливаемыми ComboGSN узлами в примерно равной
узлов в пределах одной платформы (к примеру, 2G SGSN + • поддержка стандартов 3GPP (3rd Generation Partnership пропорции по среднему суммарному пользовательскому
3G SGSN + GGSN в пределах одного шасси ASR5000); Project); трафику. Таким образом, в зону обслуживания первого
• двойное резервирование всех элементов платформы, как • возможность активации DPI (Deep Packet Inspection) внутри узла вошли Владимирская, Нижегородская и Рязанская
аппаратных, так и программных; платформы с целью контроля контента, либо специфичной области, а в зону второго – Брянская, Калужская, Курская,
• доступность системы составляет 99,999%; тарификации на базе типа/содержимого протоколов. Орловская и Тульская области (рис. 1).

3. Модернизация ядра сети пакетной передачи данных
Центрального филиала ОАО «МегаФон» на базе оборудования Cisco
История успеха
С точки зрения логических интерфейсов узлов активной интерфейсной карте либо пропадания на нем
ComboGSN существует их взаимосвязь со следующими сигнала, происходит автоматическое переключение на
элементами сети МегаФон (рис.2): смежный порт резервной карты. В случае выхода из строя
самой активной интерфейсной карты происходит пере-
• Шлюз доступа в Internet – подключение через интерфейс
ключение всех ее портов на резервную.
Gi;
• Технологическая сеть (сеть управления) – подключение Кроме резервирования интерфейсных карт, также преду-
через интерфейс OAM; смотрено резервирование обрабатывающих карт (Packet
Services Card 2): в каждом из шасси присутствует одна
• Element Management System (система монито-
пассивная обрабатывающая карта, которая активируется
ринга и сбора статистики) – подключение через
в случае выхода из строя любой из активных карт того же
интерфейс OAM;
типа. При этом механизм Session Recovery позволяет пол-
• Биллинговая система – подключение через интерфейс Ga;
ностью восстановить данные о пользовательских сессиях
• Radio Network Controllers (3G – UTRAN) – подключение в случае выхода из строя обрабатывающей карты, что
через интерфейс IuPS; позволяет избежать потерь пользовательских сессий.
• Base Station Controllers (2G – GERAN) – подключение Рис.1
Каждая из платформ CGSN совмещает в себе функцио-
через интерфейс Gb;
нальности узлов 2G SGSN, 3G SGSN и GGSN, которые
• Home/Visitor Location Register, Mobile Switching Center
реализованы в виде отдельных сервисов внутри платформ
(SS7) – подключение через интерфейс Gr;
(рис.4, 5).
• Сторонние SGSN/GGSN (GRX) – подключение через
интерфейс Gn-Gp; • Задачей IuPS сервиса является взаимодействие
с RNC с использованием протокола RANAP для передачи
• Сервер RADIUS Accounting – подключение через интер-
пользовательских/сигнальных данных по интерфейсу
фейс Gi;
IuPS.
С целью обеспечения унификации было принято решение
• 2G SGSN сервис терминирует соединения с BSC как
реализовать максимально схожие конфигурации обеих
поверх Frame Relay, так и поверх IP, управляет пользова-
платформ, к примеру, одинаковое расположение систем-
тельскими контекстами в сети 2G (GERAN).
ных карт в обеих платформах, одинаковое наименование
интерфейсов/контекстов и прочих элементов конфигура- 3G SGSN сервис управляет пользовательскими контекстами
ции. Такой подход существенно упрощает процесс кон- в сети 3G (UTRAN), обмениваясь данными с сервисом IuPS.
фигурации и эксплуатации платформ и снижает риск воз- MAP сервис позволяет сервисам 2G SGSN и 3G SGSN
никновения ошибок. взаимодействовать с локальными/удаленными узлами HLR
Отказоустойчивость существующих логических интер- для получения пользовательских профилей, информации
фейсов обеспечивается наличием резервной интерфейс- о местоположении, состоянии пользователя и т.д.
ной карты (Line Card) для каждой активной (рис. 3). В слу- Gs сервис обеспечивает выполнение комбинированных
чае выхода из строя какого-либо физического порта на процедур для голосового и пакетного доменов Рис.2

4. Модернизация ядра сети пакетной передачи данных
Центрального филиала ОАО «МегаФон» на базе оборудования Cisco
История успеха
с использованием ресурсов только пакетного домена: • Данное решение по праву является первым решением на
Attach, Paging, Area Update и др. базе платформы ASR5000, внедренное в технологиче-
ской среде Российской Федерации с учетом всех необ-
SGTP сервис обеспечивает взаимодействие сервисов 2G
ходимых стандартов и сертификатов;
SGSN и 3G SGSN с локальными/удаленными узлами GGSN
по сети Gn-Gp. Его основная задача – туннелировать • На момент внедрения данное решение являлось флаг-
пользовательские PDP-контексты в сторону GGSN манским среди решений Cisco для операторов мобиль-
с использованием протокола GTP. ной связи; Рис.3
• Внедрение данного решения оказало существенное вли-
DNS сервис позволяет узлам 2G SGSN и 3G SGSN полу-
яние на экономические показатели заказчика, что в свою
чать информацию о запрашиваемых RAC/LAC и APN, обе-
очередь повлияло на его рыночную позицию.
спечивая тем самым корректное выполнение процедур
Area Update и PDP Activation. Хотя начало внедрения предложенного решения было
запланировано 1-е сентября 2010 года, работа по подго-
GGSN сервис терминирует GTP-туннели, в которых уста- товке к его началу была начата заранее – в начале августа.
новлены пользовательские PDP-контексты, и обеспечива- На этапе предварительной подготовки была поставлена
ет связность пользовательских сессий и Internet. задачи сбора информации о функционировании сети, кото-
В процессе внедрения было использовано следующее рая бы впоследствии позволила сформировать предполага-
оборудование компании Cisco: емую конфигурацию внедряемого решения. Сбор инфор-
мации производился в виде диалога и последующего ее
• Шасси ASR5000: 2 ед. (+1 запасная единица);
документирования в электронном виде со специалистами
• System Management Card: 4 ед. (+1 запасная единица);
заказчика, ответственными за эксплуатацию узлов пакетно-
• Packet Services Card 2: 12 ед. (+1 запасная единица); Рис.4
го ядра.
• Switch Processor I/O Card: 4 ед. (+1 запасная единица);
В начале сентября оборудование было доставлено на
• Redundancy Crossbar Card: 4 ед. (+1 запасная единица); склад заказчика в Нижнем Новгороде, откуда оно было
• Quad Gigabit Ethernet Line Card: 8 ед. (+1 запасная перевезено на техническую площадку, располагающуюся
единица); в соседнем здании. После доставки оборудования на пло-
• Optical Line Cards: 4 ед. (+1 запасная единица); щадку, была выполнена его сборка, монтирование и пер-
• Channelized Line Cards 2: 4 ед. (+1 запасная единица); вичный запуск с целью проверки работоспособности всех
установленных компонентов.
• Сервер Sun Netra T5220: 1 ед.;
Следующий этап интеграции, начатый с середины сентя-
Описание процесса внедрения бря, предполагал подготовку конфигурации платформ и ее
• Решение пакетного ядра оператора связи, внедренное согласование со специалистами заказчика. В ходе выпол-
на сети Центрального филиала ОАО «МегаФон», являет- нения поставленных задач были налажены интерфейсы
ся уникальным в своем роде в виду сочетания ряда клю- взаимодействия внедряемых узлов, необходимые для
чевых особенностей: обмена Рис.5

5. Модернизация ядра сети пакетной передачи данных
Центрального филиала ОАО «МегаФон» на базе оборудования Cisco
История успеха
сигнальной/пользовательской информацией с другими было установлено, что оборудование предложенного реше- в ограниченные часы наименьшей нагрузки. Окончательно
узлами существующей инфраструктуры (к примеру, кон- ния работает корректно. Но ввиду необходимости его ско- перевод был закончен в середине декабря, по итогам чего
троллерами радиосети – BSC, RNC, серверами тарифика- рейшего внедрения в установленные сроки заказчиком был проект модернизации пакетного ядра сети МегаФон был
ции и аккаунтинга – CGF и AAA, реестром пользователь- запрошен поиск временного обходного решения, которое бы признан успешно выполненным.
ских профилей – HLR и другими). позволило решить проблему после окончательного перевода
В ходе реализации проекта возникающие трудности были
пользовательского трафика на новое пакетное ядро. Был
К моменту завершения интеграции с узлами сетевой преимущественно обусловлены необходимостью взаимо-
предложен ряд возможных временных решений, из которых
инфраструктуры специалистами заказчика была выделена действия интегрируемого оборудования с большим коли-
заказчиком было выбрано наиболее подходящее – отключе-
служебная базовая станция, предназначенная для предва- чеством сторонних узлов различных производителей.
ние передаваемого значения временного пояса в передава-
рительного тестирования внедряемого решения – начало И хотя большинство процедур, интерфейсов и функций
емых сообщениях. По завершении процесса внедрения было
октября 2010 г. Данный этап являлся крайне значимым узлов стандартизованы в рамках проекта 3rd Generation
выработано постоянное решение для данной проблемы,
с точки зрения процесса внедрения в целом, поскольку Partnership Project, существует необходимость поддержки
и она была успешно устранена.
основной задачей проведения предварительных тестов единых версий спецификаций всеми узлами сети, что
является выявление недостатков, сложностей и проблем По итогам устранения всех выявленных недочетов было в реальных условиях зачастую труднодостижимо. Поэтому
взаимодействия внедряемого решения с существующей принято решение постепенно начать перевод узлов ради- на практике мультивендорность сети в значительной сте-
сетью. Программа тестирования внедряемого решения осети на обслуживание новыми узлами пакетного ядра. пени сказывается на сложности ее эксплуатации
была предварительно подготовлена с учетом информации, Таким образом, миграция первого контроллера базовых и модернизации.
собранной на первом этапе. станций (BSC) была запланирована на конец октября.
• Основными объектами тестирования являлись:
Наблюдение и анализ результатов миграции был выполнен Результаты проекта
в течение так называемого периода стабильности, по Проект модернизации пакетного ядра сети «МегаФона» –
• общая функциональность платформы;
завершении которого было принято решение начать мас- первый проект внедрения платформ ASR5000 на террито-
• функциональность целевых сервисов (SGSN/GGSN); совый перевод всех оставшихся контроллеров (BSC рии Российской Федерации.
• корректность выполняемой тарификации (домашних и RNC). Несмотря на то, что миграция контроллеров GSM-
и роуминговых пользователей); сети (BSC) проходила довольно гладко и предсказуемо, В результате реализации проекта все поставленные зада-
• работа механизмов отказоустойчивости; первая попытка миграции контроллера UMTS-сети (RNC) чи были успешно достигнуты, что высоко оценили пред-
была неуспешной. Для решения возникшей проблемы были ставители заказчика. Благодаря запуску внедренного
• безопасность.
привлечены специалисты компании Cisco, которыми решения удалось ввести новые тарифные планы и опции,
Выполнение всех тестов заняло довольно порядка 3-4х
в кратчайший срок была смоделирована данная проблема что обеспечило четырехкратный рост трафика данных
недель, и в его ходе было выявлено несколько недочетов,
в лабораторных условиях и был предоставлен ряд реко- в сети Центрального филиала менее, чем за год.
большая часть из которых была устранена посредством вне-
мендаций по ее устранению. В результате последующих
сения изменений в конфигурацию решения. Одной из суще- В результате внедрения предложенного решения
нескольких попыток перевода первого RNC, проблема
ственных проблем, которую не удалось окончательно устра- «МегаФон» получил архитектуру пакетного ядра передачи
была устранена, и начался этап массового перевода оста-
нить путем изменения конфигурации, являлась проблема данных нового поколения: высокопроизводительную,
вавшихся контроллеров.
некорректной тарификации пользовательских сессий надежную и масштабируемую. Немаловажным фактором
с использованием механизма RADIUS аккаунтинга. Она Этап перевода радиосети заказчика оказался самым дли- также является то, что внедренное решение позволило
заключалась в некорректной передаче значения часового тельным в силу необходимости прерывания работы поль- повысить производительность ядра при снижении количе-
пояса. В ходе выяснения причин возникновения проблемы зовательского сервиса, что может совершаться только ства используемых узлов в 4 раза.

6. Модернизация ядра сети пакетной передачи данных
Центрального филиала ОАО «МегаФон» на базе оборудования Cisco
История успеха
В дополнение был установлен современный сервер мони- • Лицензирование базируется только на максимальном в Интернет», – комментирует Валентин Полозенко, техни-
торинга и сбора статистики – EMS, позволяющий более количестве активных PDP-контекстов пользователей; ческий директор Центрального филиала ОАО «МегаФон».
эффективно следить за состоянием элементов решения Но еще более важным является то, что успешный опыт «Проект внедрения оборудования Cisco на сети связи
и сети пакетной передачи в целом. работы по интеграции решений пакетного ядра открывает Центрального филиала компании «Мегафон» – один из
• По числовым показателям наблюдается: блестящие перспективы реализации корпоративной стра- наиболее значимых для нашей компании в 2010 году,
тегии «МегаФона» с использованием технологий Cisco в первую очередь, потому, что он стал результатом много-
• Увеличение максимального количества активных пользо-
ASR5000. летней работы наших специалистов по продвижению
вателей (SAU) на один узел: +36 тыс.(+4%);
В итоге, МегаФон-Центр занял первое место в Централь- решений Starent/Ciscо на рынке связи России и других
• Масштабируемость максимального количества активных
ном регионе среди «большой тройки» по объему рынка стран СНГ. Мы уверены, что возможности и производи-
пользователей (SAU) на один узел: +1,2 млн. (+151%);
передачи данных (~45% на 1-й квартал 2011 года). тельность нового ядра пакетной сети связи Центрального
• Увеличение максимального количества активных PDP-
филиала позволят значительно увеличить качество и коли-
контекстов (SAAU) на один узел: +23 тыс. (+13%);
Перспективы развития чество услуг передачи данных для абонентов «Мегафон»,
• Масштабируемость максимального количества активных и такие тенденции были отмечены уже на этапе внедре-
PDP-контекстов (SAAU) на один узел: +1,83 млн. На текущий момент выполняется тестирование платформы
ния», – комментирует Андрей Боровков, вице-президент
(+1062%); ASR5000 в сети Московского филиала ОАО «МегаФон»
ООО «СПМ Лтд».
в качестве ComboGSN узла.
• Увеличение максимальной пропускной способности на
Генеральный директор ООО «Сиско Системс» Павел
один узел: +1,3 Гбит/с (+237%); В ближайшей перспективе планируются проекты тестовых
Бетсис назвал запуск инновационного решения важной
• Масштабируемость максимальной пропускной способно- внедрений решений на базе платформы ASR5000 в каче-
вехой в сотрудничестве ОАО «МегаФон» и Cisco.
сти на один узел: +39,44 Гбит/с (+7043%); стве узлов SGSN/GGSN/PDSN в сетях «МегаФона»
«Компания «МегаФон» – наш стратегический заказчик,
и в остальных регионах России.
• Снижение общего количества SGSN/GGSN платформ и мы гордимся выбором крупнейшего в России оператора
пакетного ядра сети: -6 ед. (-75%); мобильной связи. Надеемся, что применение оборудова-
Экспертное мнение о проекте и решениях
• Выбор компанией «МегаФон» решения на платформе ния серии ASR5000 не только позволит оператору создать
Cisco ASR5000 создал ряд бизнес-преимуществ и пред- «Модернизацию пакетного ядра на платформе ASR5000 высокопроизводительную пакетную инфраструктуру для
посылки к еще большим выгодам в длительной перспек- без преувеличения можно назвать уникальным проектом, обслуживания абонентов, но и реализовать новые для
тиве. К преимуществам, уже приносящим прибыль и эко- поскольку на сегодняшний день «МегаФон» – единственная российского рынка клиентские услуги», – сказал П. Бетсис.
номящим затраты,относятся: компания в России, которая запустила в эксплуатацию
данное оборудование. В 2010 году в Центральном регионе
• Возможность быстрой интеграции платформы в IP-сеть
«МегаФон» интегрировала более 3000 километров линий
«МегаФон»;
волоконно-оптических линий связи, большей частью маги-
• Поддержка платформой 10 GigEth (IEEE 802.3ae) стральных, и произвела существенное расширение емко-
интерфейсов; сти сети. Это очередной шаг на пути нашей компании
• Высокая производительность и большая емкость к лидерству в сфере предоставления услуг проводного
платформы; и беспроводного широкополосного доступа
© 2011 Cisco, логотип Cisco, Cisco Systems и логотип Cisco Systems являются зарегистрированными торговыми знаками Cisco Systems, Inc. в США и некоторых других странах. Все прочие торговые знаки, упомянутые в настоящем
документе, являются собственностью соответствующих владельцев.