sphinx

1. Sphinx
Система полнотекстового поиска,
разработанная Андреем Аксеновым и
распространяемая по лицензии GNU GPL.

2. Sphinx
Отличительной особенностью является
высокая скорость индексации и поиска, а
также интеграция с существующими СУБД
(MySQL, PostgreSQL) и API для
распространённых языков веб-
программирования.

3. • Хабрахабр
• Викимапия
• Пиратская бухта
• CMS LiveStreet
• Ski.ru
• пр.
Sphinx

4. Зачем?
• Морфологический поиск
• Различные источники поиска
• Скорость
• Встроенные возможности для сниппетов
• Простой язык запросов (*,|,&,! и пр.)
• Плюшки типа MVA,wordforms, stopwords
• бесплатно

5. Принцип работы
• Медленно индексируем источники данных
• Быстро выполняем по ним поиск
• PROFIT

6. Установка
• http://sphinxsearch.com/downloads/release/
• Исходники, инсталяторы для винды, пакеты
для Ubuntu, RHEL, CentOS
• В репозитариях не нашел .(
• rpm –ihv пакет.rpm
• Или
• ./configure, make, make install
• chkconfig sphinx on

7. Конфиг коннекта
#/usr/local/etc/sphinx.conf – конфиг тут
source parent
{
type = mysql #mysql, pgsql, mssql, xmlpipe and xmlpipe2, and odbc.
sql_host = 127.0.0.1
sql_user = db_user
sql_pass = db_pass
sql_db = db_name
sql_port = 3306
# Для ускорения работы прописываем путь до MySQL-го UNIX-сокета (чтобы
# операции с БД происходили не через TCP/IP стек сервера)
sql_sock = /var/lib/mysql/mysql.sock
#mysql_connect_flags = 32 # 32- включение сжатие при обмене данными с БД
# Включам нужную кодировку соединения и выключаем кеш запросов
sql_query_pre = SET NAMES cp1251
#sql_query_pre = SET SESSION query_cache_type=OFF
sql_ranged_throttle = 500 #пауза в м.сек. между запросами
}

8. Каталог статей. Часть 1
source documents: parent
{
# запрос на получения данных топиков
sql_query = SELECT 100000 + documents.id as
`fake_id`, documents.title as `title`,
documents.body as `text`, 1 as `type`,
documents.id as `id`, documents. pub_date,
documents. user as `user` FROM documents
WHERE documents.id BETWEEN $start AND $end

9. Каталог статей. Часть 2
# запрос для дробления получения топиков
#на неколько итераций
sql_query_range = SELECT
MIN(documents.id),MAX(documents.id)
FROM documents

10. Каталог статей. Часть 3
# сколько получать объектов за итерацию
sql_range_step = 1000
#неиндексируемые данные
sql_attr_uint = type
sql_attr_uint = id
sql_attr_timestamp = pub_date
}

11. Блоги. Часть 1
source blogs: parent
{
sql_query = SELECT 200000 + posts.id as `fake_id`,
posts.title, posts.text, 2 as `type`, az_posts.id,
posts.pub_date , users.name as `user`
FROM posts
INNER JOIN `users` ON users.id = posts.user_id
WHERE posts.id BETWEEN $start AND $end

12. Блоги. Часть 2
# запрос для дробления получения топиков
# на неколько итераций
sql_query_range = SELECT MIN(id),MAX(id) FROM posts
# сколько получать объектов за итерацию
sql_range_step = 1000
sql_attr_uint = type
sql_attr_uint = id
sql_attr_timestamp = pub_date
}

13. Конфиг индекса
index site_search
{
source = posts
source = documents
path = /vhosts/site.ru/sphinx/site_search
docinfo = extern
morphology = stem_en, stem_ru
html_strip = 1
charset_type = sbcs #для однобайтных кодировок
min_word_len = 2 #мин длина фразы для поиска
# Минимальная длина инфикса (префикс в том числе)
#min_infix_len = 2
#enable_star = 1
}

14. Конфиг индексатора и демона
indexer
{
# Лимит памяти, который может использавать демон-индексатор
mem_limit = 256M
}
searchd
{
listen = 127.0.0.1 # Адрес, на котором будет прослушиваться порт
port = 3312 # Ну и собственно номер порта демона searchd
log = /var/log/sphinx/searchd.log # Лог-файл демона
# Лог поисковых запросов.
query_log = /var/log/sphinx/query.log
# Время в секундах, которое ждет демон при обмене данными с клиентом
read_timeout = 5
# Максимальное количество одновременно-обрабатываемых запросов
#. 0 означает дофига, а точнее без ограничения
max_children = 30
# Файл, в который сохраняется PID-процесса при запуске
pid_file = /var/log/sphinx/searchd.pid
max_matches = 250
}

15. Запуск
Запуск демона:
service searchd start
Запуск индексатора:
indexer --all --rotate
Крон:
37 */4 * * * indexer --all –rotate
Запускать можно не от рута:
в /etc/init.d/sphinx нужно указать юзера
крон, файлы логов ,файл с pid, файл конфига и директория для
файлов индекса должны иметь соответствующие права

16. Варианты взаимодействия
• SphinxSE
• SphinxQL
•Sphinx API

17. Подключение API и настройка
require_once ’Sphinxapi.php’;
$cl = new SphinxClient();
$cl->SetServer("localhost",3312);
$cl->SetFieldWeights(array (
'title' => 20,
'user' => 15,
'text' => 10,
));

18. Настройка
//рассказать про SPH_MATCH_EXTENDED
//и SPH_MATCH_ALL
$cl->SetMatchMode(SPH_MATCH_ANY);
if($_GET[‘filter’])
$cl->SetFilter('type', array($_GET[‘filter’]));
//рассказать еще про SPH_SORT_RELEVANCE
//и SPH_SORT_EXPR
$cl->SetSortMode(SPH_SORT_EXTENDED, '@relevance DESC,
p_date DESC');
$cl->SetLimits(0, 20, 250);

19. Получение результатов
$result = $cl->Query($_GET[‘query’],’site_search’);
foreach($result["matches"] as $doc => $docinfo)
{
switch($docinfo['attrs']['type'])
{
case ‘1’:
$sql = “SELECT * FROM `documents`”;
$sql .= “ WHERE `id` = ‘”. $docinfo[‘attrs’][‘id’]
$result = mysql_query($sql);
$row = mysql_fetch_assoc($result);
$title = $row['title'];
$text = $row['text'];
$url = $row[‘url'];
break;
case ‘2’:
//тоже самое, но запрос в другую таблицу
}

20. Сниппеты
$params_text = array
(
"before_match" => "<b>",
"after_match" => "</b>",
"chunk_separator" => " ... ",
"limit" => 256,
"around" => 5
);
list($snippet) = $cl->BuildExcerpts(array($text),
‘site_search’,$_GET[‘query’], $params_text);

21. Вывод
echo $title.”<BR>”;
echo $snippet.”<BR>”;
echo $user.”<BR>”;
echo $url.”<BR><BR>”;
} //end foreach

22. Что можно добавить?
• Поиск по ключевикам для лучшего
ранжирования
• Подсказки при добавлении тегов с
синонимами
• Фильтр по тегам при поиске(используя
MVA)
• Фильтр по датам

23. Ссылки
http://sphinxsearch.com/docs/current.html
http://habrahabr.ru/hub/sphinx/posts/
яндекс, гугл

24. Аплодисменты

25. Пофлудим?