Публикации с меткой «xapian»

• использовать виджеты от разработчиков поисковых систем (Google, Яндекс, etc): легко внедрить, привычный для пользователя интерфейс, поддержка морфологии, исправление слов по словарю, возможно более быстрая индексация сайта поисковыми системами, но, как правило ограниченные возможности по настройке и неизбежное запаздывание индексации;
• использовать встроенные в СУБД средства (например FULLTEXT-индекс для MySQL): достаточно легко внедрить, актуальный поисковый индекс, полный контроль над настройкой и внешним видом, но, чаще всего очень низкая производительность на больших объемах данных, отсутствие учета морфологии, либо, в худшем случае, полное отсутствие подобных средств в СУБД;
• использовать отдельную библиотеку/систему полнотекствого поиска.

Djapian - это django-приложение, разработанное Александром Кошелевым, упрощающее использование поискового движка xapian в django-сайтах.

В официальном tutotiral можно посмотреть примеры использования приложения, в том числе пример пагинации. Обратите внимание на вызов метода prefetch(). Поиск работает так, что в начале ищутся id объектов в индексном файле djapian, а затем уже по этим id достаются реальные объекты из базы данных т.е. djapian возвращает обыкновенный queryset. Так вот prefetch нужен для того, чтобы вытаскивать все объекты за раз одним запросом, иначе при итерации по результатам поиска на каждый объект будет сделан запрос. Проблема в том, что все объекты вытаскиваются ДО пагинации. Если результатам поиска удовлетворяют 200000 объектов, то они все будут извлечены из базы данных, несмотря на то, что после пагинации мы будем использовать лишь те объекты, что нужно отобразить на текущей странице поиска.

Если вы сталкивались с такой проблемой, интересно, как вы её решили. Я просто решил не использовать метод prefetch.