Планета Python

Сергей Мельниченко

Как подружить Django с шаблонами в utf-8 c BOM атрибутом?

При работе с Django шаблонами периодически сталкиваюсь с проблемой, когда в браузере появляются "пробелы"(белые зоны) в дизайне. Первое рассмотрение проблемы, используя FireBug, заводит в тупик. Свёрстанный макет отображается нормально, а вот та же страница, собранная из нескольких файловых шаблонов в Django имеет при отображении "пробелы". Анализ результирующих html страниц показал, что на "бракованной" странице появляется череда байтов "EF BB BF".

Небольшое отступление... Череда байтов "EF BB BF", именуемая меткой порядка байтов (byte order mark, BOM), применяется для обозначения формата UTF-8, хотя к этому формату и неприменимо понятие порядка байтов.

Поиск решений

Поискав решение проблемы наткнулся на пару топиков:
- Template adds extra characters when using utf8 file encoding.

"The first bytes of your header.html file are EF BB BF. That's the UTF-8 encoding of the BOM...It proposes noting, stripping, and relocating the BOM to the front of the ultimately rendered template."

- Django Templates and BOM (byte order marks).

"If I will render page.html output will contain TWO byte order marks:
!UTF_8_BOM!!UTF8_BOM!<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01
Transitional//EN" ... "

- weird problem with django templates.

"...when templates are being rendered (i guess), in code, right before the doctype, strange character is being placed. I call it "strange" because if I select it, copy it and try to paste nothing is pasted. This "dot" is seen only if I do "view source" in webkit browsers..."

Все решения сводятся к одному - сохраняйте файлы шаблонов в формате UTF-8 без BOM! :) А что делать, если редактор не позволяет сохранять файлы в кодировке UTF-8 без BOM?

Тут есть несколько решений:
1. Запустить скрипт, который удалит все BOM символы в шаблонах.
2. Использовать обработку шаблонов при загрузке.

Например, в качестве IDE я использую Eclipse и кодировку UTF-8 для файлов. Ну и вот этот "паршивец" считает своим долгом поместить в каждый файл шаблона BOM байты (поиск решение по отключению этого эффекта не дал результата). А каждый раз запускать скрипт не удобно, так что выбираем второе решение.

Обработка шаблонов для удаления BOM символов при загрузке

Смотрим какие загрузчики нужно поправить (settings.py):


TEMPLATE_LOADERS = (    'django.template.loaders.filesystem.load_template_source',    'django.template.loaders.app_directories.load_template_source',
)

Писать наследников "лень", так что используем monkey patching. Пишем небольшую корректирующую функцию :), помещаем ее и инициализацию в файл urls.py.


def patch_load_template_source(func):
    def decorator(self, template_name, template_dirs=None):
        item = func(self, template_name, template_dirs)
        //для сравнения, по хорошему, bom байты нужно переводить в ту же кодировку, что и кодировка загруженного файла. опустил этот момент.
        if item[0][:1]==u'\ufeff':
            return (item[0][1:], item[1])
        return item
    return decorator

//патчим filesystem.Loader
from django.template.loaders import filesystem
filesystem.Loader.load_template_source = patch_load_template_source(filesystem.Loader.load_template_source)

//патчим app_directories.Loader
from django.template.loaders import app_directories
app_directories.Loader.load_template_source = patch_load_template_source(app_directories.Loader.load_template_source)

ЗЫ: Данный пример не претендует на звание идеального, а лишь демонстрирует рабочую версию одного из решений :).

29 Окт 04:12
Django django template utf-8

Сергей Мельниченко

Как подружить шаблоны Django в кодировке utf-8 c BOM байтами?

При работе с Django шаблонами периодически сталкиваюсь с проблемой, когда в браузере появляются "пробелы"(белые зоны) в дизайне. Первое рассмотрение проблемы, используя FireBug, заводит в тупик. Свёрстанный макет отображается нормально, а вот та же страница, собранная из нескольких файловых шаблонов в Django имеет при отображении "пробелы". Анализ результирующих html страниц показал, что на "бракованной" странице появляется череда байтов "EF BB BF".

Небольшое отступление... Череда байтов "EF BB BF", именуемая меткой порядка байтов (byte order mark, BOM), применяется для обозначения формата UTF-8, хотя к этому формату и неприменимо понятие порядка байтов.

Поиск решений

Поискав решение проблемы наткнулся на пару топиков:
- Template adds extra characters when using utf8 file encoding.

"The first bytes of your header.html file are EF BB BF. That's the UTF-8 encoding of the BOM...It proposes noting, stripping, and relocating the BOM to the front of the ultimately rendered template."

- Django Templates and BOM (byte order marks).

"If I will render page.html output will contain TWO byte order marks:
!UTF_8_BOM!!UTF8_BOM!<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01
Transitional//EN" ... "

- weird problem with django templates.

"...when templates are being rendered (i guess), in code, right before the doctype, strange character is being placed. I call it "strange" because if I select it, copy it and try to paste nothing is pasted. This "dot" is seen only if I do "view source" in webkit browsers..."

Все решения сводятся к одному - сохраняйте файлы шаблонов в формате UTF-8 без BOM! :) А что делать, если редактор не позволяет сохранять файлы в кодировке UTF-8 без BOM?

Тут есть несколько решений:
1. Запустить скрипт, который удалит все BOM символы в шаблонах.
2. Использовать обработку шаблонов при загрузке.

Например, в качестве IDE я использую Eclipse и кодировку UTF-8 для файлов. Ну и вот этот "паршивец" считает своим долгом поместить в каждый файл шаблона BOM байты (поиск решение по отключению этого эффекта не дал результата). А каждый раз запускать скрипт не удобно, так что выбираем второе решение.

Обработка шаблонов для удаления BOM символов при загрузке

Смотрим какие загрузчики нужно поправить (settings.py):


TEMPLATE_LOADERS = (    'django.template.loaders.filesystem.load_template_source',    'django.template.loaders.app_directories.load_template_source',
)

Писать наследников "лень", так что используем monkey patching. Пишем небольшую корректирующую функцию :), помещаем ее и инициализацию в файл urls.py.


def patch_load_template_source(func):
    def decorator(self, template_name, template_dirs=None):
        item = func(self, template_name, template_dirs)
        //для сравнения, по хорошему, bom байты нужно переводить в ту же кодировку, что и кодировка загруженного файла. опустил этот момент.
        if item[0][:1]==u'\ufeff':
            return (item[0][1:], item[1])
        return item
    return decorator

//патчим filesystem.Loader
from django.template.loaders import filesystem
filesystem.Loader.load_template_source = patch_load_template_source(filesystem.Loader.load_template_source)

//патчим app_directories.Loader
from django.template.loaders import app_directories
app_directories.Loader.load_template_source = patch_load_template_source(app_directories.Loader.load_template_source)

ЗЫ: Данный пример не претендует на звание идеального, а лишь демонстрирует рабочую версию одного из решений :).

29 Окт 04:12
Django django template utf-8

Еще один блог о Django

Используем встроенные строковые методы Python'а в Django шаблонах

Вместо предисловия

Привет! Давно здесь не отписывался. Почему? Наверное главная причина, что после выхода 1.1 версии уже не так активно слежу за развитием Django. Может быть в ближайшее время меня пробъет на творчество и я выдам пару-тройку новых постов, но не обещаю ;)

Но это я отвлекся от темы поста. А она заключается вот в чем. Надо было сегодня в шаблонах Django для некоторых урлов убрать конечные слеши, т.е. просто вызвать url.rstrip('/'). Просмотрев в который раз список всторенных шаблонных фильтров и не обнаружив там нужного, я задумался: как быть? Создавать простой фильтр, типа:

from django.template import Library
from django.template.defaultfilters import stringfilter


register = Library()


@register.filter
@stringfilter
def rstrip(text, chars=None):
    return text.rstrip(chars)

совершенно не хотелось. Ибо вдруг мне в будущем захочется добавить поддержку lstrip или strip метода. Что надо будет морочиться с Ctrl+C, Ctrl+V и минимальными исправлениями отяжеляя эту темплейт библиотеку?

Потому не долго думая и вроде бы не отыскав необходимого мне решения в гугле, я решил повелосипедить и добавить возможность вызова всех строковых методов Python в Django шаблоне.

Первая моя идея была очень проста, перебрать все публичные методы пустой строки и зарегестрировать их как шаблонный фильтр, используя lambda. Переходя на код, это приобрело примерно следующий вид:

from django.template import Library
from django.template.defaultfilters import stringfilter


register = Library()


for name in dir(u''):
    if name.startswith('_'): continue

    filter = lambda value, *args: getattr(unicode(value), name)(*args)
    filter = stringfilter(filter)

    register.filter(name, filter)

Написав простой тест-кейс я уже было приготовился доставать шампанское и переходить к следующей задаче, но не тут-то было :( TemplateSyntaxError для {{ url|strip:"/" }} заставила притормозить коней. Почему же так произошло? Я пошел к месту ошибки и понял, что проблема в *args, точнее в том, что django.template.FilterExpression.args_check ожидает определенный набор аргументов, а не, наоборот, не определенный заранее.

Что ж, пришлось усложнять код. Для начала я добавил поддержку только трех аргументов, ибо это максимальноя кол-во используемых аргументов для любого строкового метода, кроме format. Затем переписал предыдущую безымянную функцию в:

@stringfilter
def make_filter(name):
    def filter(value, first=None, second=None, third=None):
        args = [first, second, third]
        method = getattr(force_unicode(value), name)

        while True:
            try:
                return method(*args)
            except TypeError:
                args.pop(len(args) - 1)

    return filter

и заодно переписал регистрацию этого фильтра. Запустил тест-кейс, получил Ran OK! и на свою голову решил усложнить тест-кейс, проверив работу фильтра с двумя аргументами, например, {{ "abcdef"|replace:"abc":"def" }}.

Каково же было мое удивление, когда Django сказала, нет много аргументов для фильтров - это не хорошо. И сгенерировала очередную TemplateSyntaxError. Что ж, пришлось реализовывать это в виде отдельного простого тега {% stringmethod %}. Принцип его работы простейший, как видно из кода:

@register.simple_tag
def stringmethod(name, value, first=None, second=None, third=None):
    return make_filter(name)(value, first, second, third)

В свою очередь это повлекло за собой обновление теста, и {{ "abcdef"|replace:"abc":"def" }} превратилось в {% stringmethod "replace" "abcdef" "abc" "def" %}. Монструозно, соглашусь, но что поделаешь. В итоге, получив Ran OK! я немного подправил документацию и выложил это все дело, как отдельный гист на гитхаб.

Пользуйтесь, возможно вам это пригодится!

зы. На последок упомяну еще о пару особенностях stringmethods. Во-первых, она не переписывает встроенный join фильтр, во-вторых, она плохо справляется с format.

зыы. Если вы знаете reusable apps решающие похожие проблемы - не стесняйтесь писать в комменты :)

02 Дек 00:14
django template python string methods tips and tricks