1. Оптимизация сайтов под MatrixNet на основе метрического анализа Зябрев Илья Николаевич генеральный директор, AlterTrader Research Ltd.

3. Функции, заданные деревьями решений Начинаем из корня дерева, условие x<4 выполняется? Да. Следовательно, спускаемся по левой ветке. Условие x<2 выполняется? Да. Опять спускаемся по левой ветке. Текущий узел конечный, и значение функции в нем равно 1, следовательно f(1)=1.

4. Особенности функций заданных деревьями решений Кусочная постоянность. Т.е. на некоторых интервалах при изменении х, значение самой функции не меняется. Например, при 2<=х<4 (т.е. при х от 2 до 3,999999999....) f(x)=2 При переходе х через условие ветвления, функция меняется скачком. Например, f(3,9999999)=2, f(4)=3.

5. Функция от двух аргументов, заданная деревом решений Вычислим значение функции для х1=1 х2=1. Начинаем из корня дерева, условие x1<3 выполняется? Да. Следовательно, спускаемся по левой ветке. Условие x2<2 выполняется? Да. Опять спускаемся по левой ветке. Текущий узел конечный, и значение функции в нем равно 1, следовательно f(1,1)=1.

6. Пример функции hk(q,d) f1(q,d) – количество вхождений лемм слов запроса в тег body f2(q,d) – плотность лемм запроса в теге body f3(q,d)- количество вхождений лемм запроса в заголовок документа

7. Таблица 1. Значение функции h(q,d)

8. Особенности функций заданных деревомрешений Документы со значительно отличающимися значениями свойств могут иметь одинаковые значения функции hk(q,d), а документы с малыми отличиями в свойствах –очень сильно отличающиеся значения. Непрямая зависимость функций от свойств документа, которая делает поведение функций hk и в конечном итоге функции релевантности в зависимости от fi(q,d) слабоподдающимся внешнему анализу.

9. Особенности построения деревьев на основе MatrixNet Реальные деревья решений, полученные при помощиалгоритма MatrixNet, обладают следующими свойствами: Глубина (т.е. число горизонтальных уровней или число ветвлений) дерева – число ограниченное. По некоторым данным это ограничение равно 10, т.е. на нижнем (10-м) уровне имеется 2**10 узлов, соответствующих значениям фунции h(q,d). На каждом уровне ветвление происходит только по одному и тому же условию (собственно именно только такие примеры мы и рассматривали). Т.е. всего в каждой функции может использоваться не более 10 свойств документа.

10. Корреляционный анализ ранжирующих алгоритмов до запуска Снежинска 1. Делается подборка запросов, максимально исключающая влияние ссылочного фактора. 2. Для различных числовых метрик (свойств) документа строятся ранговые коэффициенты парной корреляции 3. Находятся свойства, сильно коррелирующие с рангами сайтов. 4. На их основе строится методика оптимизации структуры документа, позволяющая улучшить позиции продвигаемого сайта исключительно за счет изменения его текстового содержания.

11. Таблица 2. Коэффициенты корреляции для различных свойств до запуска Снежинска

12. MatrixNet и корреляционный анализ С приходом МатриксНета ситуация изменилась: числовые характеристики, выделенные при помощи простого корреляционного анализа стали работать существенно хуже. Это связано с тем, что корреляционный анализ направлен преимущественно на выявление линейных связей, а функции заданные деревьями решений нелинейные. Ни одна из простых метрик не дает хорошего коэффициента корреляции.

13. Таблица 3. Коэффициенты корреляции для различных свойств после запуска Снежинска

18. Наиболее значимые метрики документов P(L,d) – позиция леммы L в документе d LMD(p, L, d) – расстояние от позиции p до ближайшей слева леммы L в документе d. RMD(p, L, d) – расстояние от позиции p до ближайшей справа леммы L в документе d.

19. Наиболее значимые метрики документов Pr – предложение документа d |Pr| - длина предложения Pr ICLF(L,v) – обратная условная частота леммы CLF(L,v) – число документов коллекции, в которое лемма L входит v раз.

20. Наиболее значимые метрики документов %CLF – число документов коллекции, в которых лемма L имеет плотность v Метрики применяются к различным областям документа, размеченных тегами: title, body, h1-h6, a и т.д., а также к информационной областитекста.

21. Характеристика полученной модели Полученная модель не будет иметь ничего общего с той, которая используется Яндексом. При этом модель может оказаться вполне адекватной относительно решаемой задачи. Мы оценили построенную модель при помощи парного корреляционного анализа, где в качестве единственного фактора, влияющего на ранжирование, выступала наша функция релевантности.

22. Таблица 4. Результаты корреляционного анализа построенной модели