Sphinx 1.1 + Django + Postgresql - 17.10.2010

В проекте, в котором я сейчас участвую, одним из центральных элементов является полнотекстовый поиск по базе данных продуктов объемом около 1 млн. записей. У ребят уже был реализован поиск, используя встроенные возможности Postgresql (поле типа TSVector и специальный полнотекстовый индекс). Но скорость поиска достаточно низка, плюс усложняющая логику реализация в ORM Джанги. Поэтому возникла идея попробовать поиск через Sphinx. С этого момента sphinx приятно удивил меня несколько раз своими возможностями, а удовольствие от работы с ним с каждым разом только возрастало :) Если в кратце, то оказалось, что sphinx заменяет собой не только полнотекстовый поиск в базе данных, но фактически вообще поиск в базе данных, а так же группировку и сортировку результатов. Итак, по порядку.

Установка

Во-первых, скачиваем архив с исходниками Sphinx-1.10beta. Там есть несколько вкусных плюшек, без которых мне не захотелось жить, по сравнению с версией 0.9.9 :) Компилируем и устанавливаем, с поддержкой Postgresql:

tar -xzf sphinx-1.10-beta.gz
cd sphinx-1.10-beta
./configure --prefix=/usr/local/sphinx 
--with-pgsql-includes=/opt/local/include/postgresql84 
--with-pgsql-libs=/opt/local/lib/postgresql84 --with-pgsql
make
sudo make install

Настраиваем линки к индексирующей утилите и демону Sphinx для удобства:

ln -s /usr/local/sphinx/bin/searchd searchd
ln -s /usr/local/sphinx/bin/indexer indexer

Django-sphinx

Для интеграции Sphinx с Django я попробовал библиотеку Django-sphinx и остался доволен. Как мне говорили, какое-то время назад она была еще сыровата, но сейчас она меня вполне устраивает и легко поддается расширению. Единственный недостаток пожалуй, что похоже она не будет в ближайшее время поддерживаться создателем David Cramer, так как похоже у него просто теперь нет на это времени из-за его перехода в команду проекта Disques. Но уже сейчас на GitHub есть 12 форков библиотеки с разными расширениями функциональности. Я в том числе собираюсь в ближайшее время создать свой :)

Установка: pip install django-sphinx

Настройка Sphinx и Джанго

Если хотите разобраться быстро, то просто пойдите на страницу django-sphinx по ссылке выше. Там достаточно понятно описаны основные возможности. Я же опишу все подробно и плюс несколько продвинутых фишек, для которых пришлось покопаться в исходниках. Итак, прежде всего нужно добавить в settings.py переменную:

# Sphinx 0.9.9 +
SPHINX_API_VERSION = 0x116

Для добавления поиска через sphinx с указанием веса каждого полнотекстового поля в модель Джанго пишем:

from djangosphinx.models import SphinxSearch

class Tag(models.Model):
    title = models.CharField(unique=True)
    description = models.TextField()
    types = models.ManyToManyFields(TagType, verbose_name=u'типы тэга')
    status = models.SmallIntegerField(choices=[(1, u'первый статус'), 
                   (2, u'второй статус')]) 

    search = SphinxSearch(weights={
            'title': 100,
            'description': 30
        })

Дополнительно при инициализации класса SphinxSearch можно задать название индекса, режим ранжирования результатов и т.д.

Далее нужно создать конфигурационный файл для sphinx. Тут нам тоже поможет django-sphinx, так как он умеет создавать либо полностью, либо примерно половину этого файла. Для этого добавим библиотеку djangosphinx в INSTALLED_APPS проекта. Затем, в корне проекта пишем:

./manage.py generate_sphinx_config <application name>

Для примера модели выше получаем:

source application_tag
{
    type                = pgsql
    sql_host            = host
    sql_user            = user
    sql_pass            = password
    sql_db               = database
    sql_port            = 

    sql_query_pre       =
    sql_query_post      =
    sql_query           = \
        SELECT id, title, description, status\
        FROM application_tag
    sql_query_info      = SELECT * FROM `application_tag` WHERE `id` = $id

   sql_attr_uint       = status
}

index application_tag
{
    source          = application_tag
    path            = /var/data/application_tag
    docinfo         = extern
    morphology      = none
    stopwords       =
    min_word_len    = 2
    charset_type    = utf-8
    min_prefix_len  = 0
    min_infix_len   = 0
}

Значения переменных sql_host, sql_user, sql_pass, sql_db, sql_port будет заполнено из вашего settings.py. application - название приложения в котором объявлена модель. Рекомендую сразу заменить morphology = none на morphology = stem_enru для учета морфологии русского и английского языков. Теперь вручную в будущий конфиг-файл нужно будет только добавить служебный раздел sphinx. У меня он такой:

searchd
{
    # какой порт и какой протокол "слушает" служба
    listen            = 3312

    # файл с логами
    log            = /usr/local/sphinx/var/log/searchd.log

    # файл с логами поисковых запросов
    query_log        = /usr/local/sphinx/var/log/query.log

    # PID file, searchd process ID file name
    # mandatory
    pid_file        = /usr/local/sphinx/var/log/searchd.pid
}

Все вместе сохраняем в файле sphinx.conf. В общем случае можете называть файл как хотите, но это название файла по умолчанию, который ищет в текущей папке демон searchd. Остается создать индексы sphinx командой: indexer --config sphinx.conf --all и запустить демон командой searchd.

Использование поиска через Sphinx в Джанго

Теперь самое интересное :) - что мы можем делать. Очевидно можем делать полнотекстовый поиск с учетом морфологии русского и английского языка:

Tag.search.query(u'тэгу')

Еще интереснее - можем искать так же по атрибутам. В нашем примере выше, атрибутом является поле status:

Tag.search.query(u'тэгу').filter(status=[1, 2])

Мы можем искать по диапазону:

Tag.search.query(u'тэгу').filter(status__range=[1, 3])

В версии 0.9.9 поддерживаются так же следующие типы атрибутов: sql_attr_bool, sql_attr_float, sql_attr_timestamp. В версии 1.1 дополнительно добавлен часто необходимый строковый тип атрибута: sql_attr_string. Следует отметить, что текстовый атрибут и другие атрибуты сохраняются вместе с основным индексом и поиск по ним напоминает поиск по полям в обычной базе данных, но быстрее. Впрочем текстового атрибута оказалось создателям sphinx мало, поэтому так же было добавлено специальное текстовое поле sql_field_string, которое одновременно является и текстовым атрибутом и полнотекстовым полем. Примечание: на данный момент django-sphinx не поддерживает текстовые атрибуты.

А теперь переходим к действительно интересным вещам: мы можем искать по ManyToMany полям в модели используя Multi Value Attribute (MVA). Это нам дает устранить еще одно узкое место баз данных в плане быстродействия и масштабирования - join таблиц. Сначала пропишем MVA атрибут в конфиге sphinx в конце раздела source application_tag:

sql_attr_multi = uint types from query; SELECT tag_id, typetag_id \
FROM application_tag_types

теперь мы можем искать по нему, как и по другим атрибутам:

Tag.search.query(u'тэг').filter(types=[1, 2, 3])

Радуемся дальше :) В sphinx 1.1 было добавлена поддержка поля sql_joined_field. Для чего оно нам? Представим стандартную ситуацию, например, у нас есть модель товар. К товару можно прикрепить несколько тэгов. Потом мы хотим найти все товары, через полнотекстовый поиск sphinx, у которых есть данный тэг. Без данного поля нам скорее пришлось бы сделать два запроса к sphinx. Сначала найти все тэги. Потом все товары у которых есть один из найденных тэгом. Теперь же мы можем без всяких join'ов обойтись одним запросом, сразу находя товары по их тэгам. Объявляем поле в конфиг-файле, например так:

sql_joined_field    = tags_text from query; SELECT product_id, title \
FROM application_product_tags apt left join application_tag at on at.id = apt.tag_id \
order by product_id ASC

Примечание: данные, должны быть обязательно отсортированы по товарам.

Не забываем переиндексировать Sphinx. Теперь при обычном полнотекстовом поиске, так же будет производиться поиск и по этому полю.

Еще одна радость использования Sphinx: мы можем группировать результаты поиска по любому атрибуту или группе атрибутов:

from djangosphinx.apis.current import SPH_GROUPBY_ATTR

Tag.search.query(u'тэг').filter(types=[1, 2, 3]).group_by('status', SPH_GROUPBY_ATTR)

В результате sphinx вернет для каждой группы лучший результат, а так же в специальном дополнительном поле @count число элементов в группе. К полю @count можно будет достучаться в дальнейшем так: item._sphinx['attrs']['@count']

И последняя возможность Sphinx, о которой хочу упоминуть в этой статье - вы можете сортировать как по весам, так и по атрибутам:

Tag.search.query(u'тэг').filter(types=[1, 2, 3]).order_by('status')

Дополнительно django-sphinx поддерживает команды select_related и extra, которые передаются в ORM джанго. Не проблема будет добавить так же ORM команду filter, если после поиска в sphinx мы хотим дополнительно отфильтровать результат с помощью базы данных. Мне же, на данный момент, удалось обойтись исключительно поиском через sphinx, так что дополнительной фильтрации не потребовалось.

Выводы

Как оказалось sphinx, помимо полнотекстового поиска, закрыл собой сразу несколько проблемных мест с быстродействием и масштабируемостью поиска. Благодаря использованию MVA атрибутов и sql_joined_field полей, а так же возможности сортировки и группировки результата. И все это вместе с в несколько раз более высокой скоростью поиска, а так же высокой скоростью переиндексации данных. В предстоящем релизе 1.1 будет так же добавлена возможность обновления индекса в реальном режиме.

Тем временем мое знакомство со sphinx продолжается и я еще обязательно напишу на эту тему.

Продолжение... 

Комментарии: 6377

  <a href=http://viagraprofessionalnvz.com/>viagra</a> 

<a href="http://viagraprofessionalnvz.com/">generic viagra</a> 

viagra purchase in sa

  <a href=http://xsuperviagraonline.com/>viagra</a> 

<a href="http://xsuperviagraonline.com/">viagra super active plus</a> 

experiencias con viagra

  <a href=http://buyviagra100mgs.com/>cheap viagra</a> 

<a href="http://buyviagra100mgs.com/">cheap viagra</a> 

directions taking 100mg viagra

  http://buygvcialisonline.com/ - buy cialis online 

<a href="http://buygvcialisonline.com/">order cialis</a> 

buy australia cialis

  <a href=http://xsuperviagraonline.com/>buy viagra</a> 

<a href="http://xsuperviagraonline.com/">viagra professional</a> 

compare levetria and viagra

  <a href=http://xsuperviagraonline.com/>cheap viagra</a> 

<a href="http://xsuperviagraonline.com/">viagra generic</a> 

viagra cialis online kaufen

  <a href=http://xsuperviagraonline.com/>viagra super active plus</a> 

<a href="http://xsuperviagraonline.com/">generic viagra</a> 

viagra-ohne-rezept-kaufen.ne

  <a href=http://xsuperviagraonline.com/>generic viagra</a> 

<a href="http://xsuperviagraonline.com/">viagra online</a> 

lethal viagra dosage

  <a href=http://buygvcialisonline.com/>buy cialis online</a> 

<a href="http://buygvcialisonline.com/">cheap cialis</a> 

buy cialis active

  http://cheapxcialis.com/ - cialis generic 

<a href="http://cheapxcialis.com/">generic cialis</a> 

cialis generico 5mg

  <a href=http://buycialisbnmonline.com/>cialis canada</a> 

<a href="http://buycialisbnmonline.com/">buy cialis online</a> 

wholesale cialis original

  <a href=http://buygvcialisonline.com/>cialis generic</a> 

<a href="http://buygvcialisonline.com/">buy cialis online</a> 

cialis und fruchtbarkeit

  <a href=http://genericxviagra.com/>viagra super active</a> 

<a href="http://genericxviagra.com/">viagra cheap</a> 

viagra substitutes

  <a href=http://paydayloanxz.com/>same day loans</a> 

<a href="http://paydayloanxz.com/">same day loans</a> 

payday loans on 87th cottage grove

  <a href=http://genericxviagra.com/>viagra generic</a> 

<a href="http://genericxviagra.com/">viagra super active</a> 

prix viagra 100mg pharmacie

  <a href=http://buycialisbnmonline.com/>buy cialis online</a> 

<a href="http://buycialisbnmonline.com/">cialis online</a> 

take cialis and jack

  <a href=http://genericxviagra.com/>viagra online</a> 

<a href="http://genericxviagra.com/">buy viagra</a> 

is chinese herbal viagra safe

  <a href=http://paydayloanxz.com/>personal loans</a> 

<a href="http://paydayloanxz.com/">pay day loans</a> 

loans for bad credit in peoria il

  <a href=http://genericxviagra.com/>viagra</a> 

<a href="http://genericxviagra.com/">cheap viagra</a> 

lacoste viagra 100mg

  <a href=http://paydayloanxz.com/>payday advance</a> 

<a href="http://paydayloanxz.com/">online loans</a> 

co op loans apply online

  <a href=http://genericxviagra.com/>viagra generic</a> 

<a href="http://genericxviagra.com/">viagra professional</a> 

viagra online at sydney

  <a href=http://genericxviagra.com/>buy viagra online</a> 

<a href="http://genericxviagra.com/">buy viagra online</a> 

viagra online at sydney

  <a href=http://genericxviagra.com/>cheap viagra</a> 

<a href="http://genericxviagra.com/">viagra generic</a> 

viagra substitutes

  <a href=http://genericxviagra.com/>buy viagra online</a> 

<a href="http://genericxviagra.com/">viagra</a> 

viagra 100 mg pricing

  <a href=http://genericxviagra.com/>viagra super active</a> 

<a href="http://genericxviagra.com/">viagra cheap</a> 

generic cialis viagra propecia

  <a href=http://genericxviagra.com/>buy viagra</a> 

<a href="http://genericxviagra.com/">viagra generic</a> 

sostituto viagra

  <a href=http://genericxviagra.com/>cheap viagra</a> 

<a href="http://genericxviagra.com/">viagra generic</a> 

viagra ricetta bianca

  <a href=http://genericxviagra.com/>viagra generic</a> 

<a href="http://genericxviagra.com/">buy viagra</a> 

funciona el viagra

  <a href=http://genericxviagra.com/>generic viagra</a> 

<a href="http://genericxviagra.com/">viagra generic</a> 

generic viagra canada,

  <a href=http://genericxviagra.com/>viagra super active plus</a> 

<a href="http://genericxviagra.com/">viagra</a> 

we choice soft viagra

  <a href=http://genericxviagra.com/>viagra super active plus</a> 

<a href="http://genericxviagra.com/">viagra generic</a> 

unv.org/viagra-usual-dosage/

  <a href=http://canadiancialisx.com/>tadalafil</a> 

<a href="http://canadiancialisx.com/">tadalafil online</a> 

canada cialis fast shipping

  <a href=http://canadiancialisx.com/>generic cials</a> 

<a href="http://canadiancialisx.com/">tadalafil online</a> 

is it safe to take cialis 60mg

  <a href=http://buyviagrahonline.com/>buy viagra online</a> 

<a href="http://buyviagrahonline.com/">buy viagra online</a> 

forum viagra online

  <a href=http://buyviagrahaz.com/>buy viagra</a> 

<a href="http://buyviagrahaz.com/">viagra cheap</a> 

canada viagra sale

  <a href=http://canadaviagraonlinex.com/>buy viagra</a> 

<a href="http://canadaviagraonlinex.com/">buy viagra</a> 

purchase viagra with medicare

  <a href=http://cheapcialisonlinek.com/>cialis cheap</a> 

<a href="http://cheapcialisonlinek.com/">buy cialis online</a> 

i recommend cialis no doctor

  <a href=http://buyviagrahaz.com/>cheap viagra</a> 

<a href="http://buyviagrahaz.com/">buy viagra online</a> 

direktan viagra kaufen

  <a href=http://canadaviagraonlinex.com/>viagra online</a> 

<a href="http://canadaviagraonlinex.com/">buy viagra</a> 

viagra bivirkninger

  <a href=http://cheapcialisonlinek.com/>cialis cheap</a> 

<a href="http://cheapcialisonlinek.com/">buy cialis</a> 

cialis insurance price

  <a href=http://buyviagrahonline.com/>buy viagra</a> 

<a href="http://buyviagrahonline.com/">cheap viagra</a> 

nasal viagra online

  <a href=http://buyviagrahonline.com/>viagra generic</a> 

<a href="http://buyviagrahonline.com/">viagra cheap</a> 

can you buy viagra in store

  <a href=http://cheapcialisonlinek.com/>cialis online</a> 

<a href="http://cheapcialisonlinek.com/">cialis cheap</a> 

brand cialis online purchase

  <a href=http://buyviagrayonline.com/>viagra online</a> 

<a href="http://buyviagrayonline.com/">viagra cheap</a> 

viagra sale new zealand

  <a href=http://buyviagrayonline.com/>viagra generic</a> 

<a href="http://buyviagrayonline.com/">buy viagra</a> 

viagra  100mg

  <a href=http://paydayfxloan.com/> loans for bad credit</a> 

<a href="http://paydayfxloan.com/"> personal loans</a> 

quick loans longview tx

  <a href=http://buyviagrayonline.com/>buy viagra online</a> 

<a href="http://buyviagrayonline.com/">buy viagra</a> 

get viagra online safely

  <a href=http://loansoloreal.com/>payday loans</a> 

<a href="http://loansoloreal.com/"> payday express</a> 

personal loan impact

  <a href=http://paydayfxloan.com/> personal loans</a> 

<a href="http://paydayfxloan.com/"> loans for bad credit</a> 

payday loans closed down

  <a href=http://buyviagrayonline.com/>buy viagra online</a> 

<a href="http://buyviagrayonline.com/">buy viagra online</a> 

viagra generico levitra cialis

  <a href=http://buyviagrayonline.com/>generic viagra</a> 

<a href="http://buyviagrayonline.com/">buy viagra</a> 

einnahme von viagra 100mg

  <a href=http://buyvcialisonline.com/>cialis online</a> 

<a href="http://buyvcialisonline.com/">buy cialis online</a> 

cialis 20mg pas che

  http://buycialisaonline.com/ - cheap cialis 

<a href="http://buycialisaonline.com/">generic cialis</a> 

where to buy cialis new jersey

  <a href=http://paydayfxloan.com/> cash advance</a> 

<a href="http://paydayfxloan.com/"> pay day loans</a> 

24 hour payday loans bad credit

  http://buycialisko.com/ - buy cialis 

<a href="http://buycialisko.com/">buy cheap cialis</a> 

cialis tablets paypal

  <a href=http://buyvcialisonline.com/>buy cialis</a> 

<a href="http://buyvcialisonline.com/">cialis online</a> 

average price cialis

  <a href=http://loansoloreal.com/> pay day loans</a> 

<a href="http://loansoloreal.com/"> personal loans</a> 

payday loans evansville in

  <a href=http://paydayfxloan.com/> cash advance</a> 

<a href="http://paydayfxloan.com/"> personal loans</a> 

cash advance cedar falls iowa

  <a href=http://paydayfxloan.com/> cash advance</a> 

<a href="http://paydayfxloan.com/"> loans for bad credit</a> 

best place to cash a check