Публикации с меткой «tips»

Бомбезное название придумал!

Проблема. У меня в таблице в 2х полях лежить жсон. А в ответ на запрос пользователю я должен вернуть другой дсон, некоторыми ключами которого будут жсоны из наших полей.

Решение в лоп – загрузится с этих полей данные и использовать их в формировании жсона. Но получается дурная работа

тут получается мы гоняем данные из жсона и обратно в холостую. Я тут наклепал небольшой модулик с использованием json чтоб этого не делать

Как видите, теперь данные, которые и так JSON просто оборачиваем в функцию simple и холостого хода не происходит.

при создании нового джанго проекта я всегда выделяю две папки apps – для моих апов и compat – для сторонних апов, к разработки которых я не имею никакого отношения. Идея в том, что эти апы всегда остаются неприкосновенными для меня, и единственной точкой расширения остаются сеттингсы и возможно доп параметры, при инклюде урлов.

А представьте, что вы создаете апу с именем catalog, ее вы потом хотите выложить в общее пользования, и необходимо для нее сделать больше точек расширения. Структура такого апа может быть

• catalog
• urls.py
• views.py
• models.py
• settings.py
• tests.py

для 4 первых файлов можно просто вконце файла добавить строку, которая станет универсальной точкой расширения. Например для views.py

таким образом, если кто-то будет использовать Вашу апу — точкой расширения будет дополнительная апа ex_catalog, в котором вы можете переопределить некоторый функции из view.py, и при этом ex_catalog не надо добавлять в список апов в настройках.

А теперь главный вопрос этого поста. Почему так не делают?

Всем привет. Да, знаю, я давно не писал. Ну простите, и как это не банально, был занят. А заставила меня написать одна мысля. И пожалуйста, дочитайте это до конца, потому что или это очень круто или я опять что то не понимаю, и с температурой 38 мне лучше за клаву не садиться.

Кеш. Я им пользуюсь для того, чтобы данные, которые я долго вычисляю — положить в память куда нить, чтоб если они понадобились — быстро их оттуда взять. Ну а если их там нет, то просто пересчитать и положить. Если вы им пользуетесь также, то читайте дальше иначе напишите комментарий, который начнется со слов: «Тю, блин, а я его совершенно по другому юзаю, глянь…»

Т.е. на сетах и гетах все сводится к примерно следующему алгоритму.

где l_value — это ссылка на функцию, значение которой будет получено, в случае если его нет в кеше.

Вот этот умопомрачительный алгоритм у меня лежит в основе кеширования.

Хух… если у вас также, то идете дальше. Надеюсь сейчас осталось достаточно народу.

Прогуливаясь легкой и непринужденной походкой по блогосфере рунете я уже в который раз натыкаюсь на довольно странное решение следующей проблемы.

Если есть какие либо данные которые системе нужны часто, но вычисляются долго, то их прямое получение по алгоритму, описанному выше — просто убивает систему. Потому что как только они пропадают из кеша — все, кому нужны эти данные — начинают скопом — все вместе их получать. Например статистика по пользователям у вас вычисляется 5 сек, а выводится на главной странице, с посещаемостью 50 чел в сек, значит одновременно эти данные будут получать 250 процессов – что, может привести к смерти.

Решение рунета — 2 кеша. В один кладем с одним эксперейшеном, в другой с таким же, но чуть больше. Я думаю многие натыкались на такие решения, но вкратце — если заэкспаирилось в первом — берем из второго, но первый, кто узнал, о том, что заэкспаирилось — пересчитывает.

Тут просто тьма тьмущая узких мест

1.Старт у системы должен быть особый. Т.е. в нулевой точке в кеше уже должны быть часто доступные данные.
2.У вас двойные данные в кеше, т.е. две копии, а ведь часто бывает и такое, что трудновычисляемые данные — это и большие данные.
3.И последнее — если процесс, который вычисляет заекспаревшиеся данные — умирает. То умирают все. Явно теряем в отказоустойчивости.

Кратко опишу свой алгоритм решения, и построенный на нем джанговый кешовый бекенд (за базовый взят мемкешовый).

Если в ячейку с ключем класть не данные, а хеш из двух значений — данные, и время, когда их надо обновить. (ТАДАМ избавились от второго пункта)

А что если ты перед началом вычислений будеш класть в другой системый и уникальный ключ в кеше время, когда первый, начавший вычисления – планирует их закончить. А остольные процессы, которые захотят получить данные и не увидят их — смогут орентироваться на системный ключь, чтоб понимать, что данные скоро будут и их необходимо подождать или мы не дождались и попробуем еще раз. (ТАДАМ избавились от первого и третьего)

А теперь скучный код. Чтоб легче было читать — его необходимо скрестить с алгоритмом, который я описывал выше. И если функция гет — вернет None то эти данные сразу начнут вычисляться.

Небольшой рандом необходим, чтоб все процессы сразу не набросились вычислять после первого сдавшегося, а нарастающий таймаут необходим для быстрого избавления от быстрых данные и размеренного ожидания долгих.

И на всякий случай. Если вы все таки считаете это отличной идее. Кладем это в файлик с незамысловатым названием smart_cache.py рядом с settings.py, а в settings.py записываем

Хоть простой и нативный pdb и так нам давал все что надо, все же приятно понимать, что есть еще чтото, что может сделать наш девелов приятней. WinPDB – одна из этих приятностей (наткнулся на нее вДжанговкой Вики) . Если коротко – это дебагер с приятным пользовательским интерфейсом, которой кросc-платформенный к слову говоря.

Пользовать легко.
Раньше вы коде оставляли:

А теперь получается чуть длиннее:

На сколько я понял, этот пароль нужен для авторизации дебагера в эту точку прерывания. Т.е. как и pdb, rpdb2 отсанавливает выполение в этой строке.

Запускаем winpdb. File => Attach. В появившемся окне вводим наш пароль mysuperpassword. В полученном списке выбираем наш.

Но самое клевое, что теперь мы можем дебагером зацепиться там, где раньше не умели, например wsgi скрипт висит в апаче. Мы можем по средствам этого механизма присосаться и к нему.

P.S. …

И
-sheet/">
-sheet/">
-sheet/">Django Cheet Sheet, кто еще не знает…
И надо будет испытать django-tinymce

Я уже посягал на суверинитет джанги. Но это было давно и не правда. Более того, меня тогда убедили, что делаю я глупости, и я даже убедился сам, в последствии, что на самом деле делаю глупости. Но мысть о том, что urls.py не нужен – не перестает меня беспакоить. Поэтому очередно фин, аморальный бред – называйте как хотите, но мне безумно нравится.

Идея проста. Вьюха и урла всегда вместе – а значит одно должно быть декоратаром для другого.

Итак главный urls.py имеет обычный вид

/someapp/url_view.py – тут у нас сбстно и хранятся вьюхи с урлами. Как видите, декоратор tourl нам земенил запись в urls.py

/someapp/tourl.py – ну и код самого декоратора

Помоему и симпотично и по производительности не бьет. Вобщем конфетка! Что скажите?

PS: Добавил снипет.

PSS: В снипетсах посоветовали добавить functools.wraps

PSS: А еще можно использовать и так

Today I solved a little problem on my personal blog http://svetlyak.ru. I'm using the django.contrib.comments there, and some my readers encounter a problem. They are registered using OpenID, but don't have a email in their accounts, because OpenID provider does not share that information.

So, when such users tried to post a comment on my blog, they are shown a page with error, because email is required field.

I found a simple way to make an email field optional. All what you need is to add additional app in the INSTALLED_APPS, and COMMENTS_APP variable. In my case it's looks like that:

INSTALLED_APPS = (
    'django.contrib.sessions',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sites',
    'django.contrib.admin',
    'django.contrib.markup',
    'django.contrib.sitemaps',
    'django.contrib.humanize',
    'django.contrib.comments',
    'django_faces',
    'django_openid',
    'blog',
    'gallery',
    'tagging',
    'firefly.utils',
    'firefly.my_comments',
)
COMMENTS_APP = 'firefly.my_comments'

Next, in file my_comments.py:

from django import forms
from django.utils.translation import ugettext_lazy as _
from django.contrib.comments.forms import CommentDetailsForm

class CommentForm(CommentDetailsForm):
    email = forms.EmailField(label=_("Email address"), required=False)

def get_form():
    return CommentForm

That's it! By the way, you can change other behaviour too. Just look at the sources of django/contrib/comments/__init__.py file.

Today I solved a little problem on my personal blog

Все гениальное просто, а премудростями, описанными в сабже, в Python занимается distutils.util.strtobool. Примеры использования данной функции настолько тривиальны, что я ограничусь уже вышесказанным ;)

зы. Давно уже присматривался к Posterous и вот наконец-то созрел для того, чтобы попробовать. Отныне на этом блоге будут хранится подобные советы, связанные в основном с Питоном и Джанго.

>>> assert( int(0) is not long(0) )
>>> assert( int(0) == long(0) )

So, never write like this:

if var is 0:
    print 'Cool!'

Because if type(var) == 'long' it does not work.

>>> assert( int(0) is not long(0) )
>>> assert( int(0) == long(0) )

So, never write like this:

if var is 0:
    print 'Cool!'

Because if type(var) == 'long' it does not work.

В Django существует куча полезных функций и классов, которые помогают выполнять простые и полезные действия раз от разу. Предлогаю Вам свое видение этого списка:

django.utils.datastructures.SortedDict

django.utils.datastructures.MultiValueDict

По умолчанию в Python объект dict не поддерживает сортировку ключей и несколько значений для одного ключа. Именно поддержку этих возможностей дают перечисленные выше классы. Например, поддержка GET, POST, REQUEST массивов в объекте request реализована в виде MultiValueDict объектов.

django.utils.dates

Этот модуль содержит разнообразные массивы, которые используются для печати SelectDateWidget'а.

django.utils.encoding.force_unicode

Переводит любой Python объект в unicode. Так же переводит в unicode любую модель Django у которой есть метод __unicode__.

django.utils.html.clean_html

Очищает переданный в функцию HTML строку, а именно:

• Конвертирует <b> и <i> в <strong> и <em>.
• Правильно кодирует все амперсанды.
• Удаляет все "target" аттрибуты с тегов <a>.
• Конвертирует явно заданные баллетсы (bullets) в неупорядоченные HTML списки.
• Удаляет из текста фрагменты "<p>&nbsp;&nbsp;</p>", но только если они находятся в конце текста.

django.utils.html.urlize

Переводит все ссылки в тексте в <a> тэги.

django.utils.safestring.mark_safe

Обозначает любой строковой объект, как безопасный для того, чтобы он мог был беспрепятственно распечатан в шаблоне без эскейпинга символов.

django.utils.text.get_text_list

Для описания работы этой функции и doctest'а хватит:

>>> get_text_list(['a', 'b', 'c', 'd'])
u'a, b, c or d'
>>> get_text_list(['a', 'b', 'c'], 'and')
u'a, b and c'
>>> get_text_list(['a', 'b'], 'and')
u'a and b'
>>> get_text_list(['a'])
u'a'
>>> get_text_list([])
u''

Надеюсь, что Вам пригодится что-то из моего списка.

When you writing a distributed application or webservice, sometimes you need to synchronize processes on different machines. For example, you may need to run some cron job once on a random machine.

If you are using MySQL, than you can ise it's GET_LOCK function, to accomplish this task. I wrote this helper to create global lock in python, using with statement:

import contextlib
@contextlib.contextmanager
@write_session
def global_lock(name, timeout, session):
    result = session.execute('SELECT GET_LOCK(%s, %s)', (name, timeout)).fetchall()
    result = len(result) == 1 and result[0][0]
    try:
        yield result and True or False
    finally:
        if result:
            session.execute('DO RELEASE_LOCK(%s)', (name, ))

Here write_session is decorator, which passes a session argument to a function. Here I use sqlalchemy's session, but you could use MySQLdb's connection or something like that.

And here is one of usecases for function:

def cron():
    with global_lock('myapp.cron_lock', 0) as acquired:
        if acquired:
            do_something_significant()
        else:
            exit_without_doing_any_job()

That's it. But make sure, to use unique name for the lock, because you may get in trouble if some other application uses same name.

When you writing a distributed application or webservice, sometimes you need to synchronize processes on different machines. For example, you may need to run some cron job once on a random machine.

If you are using MySQL, than you can ise it's GET_LOCK function, to accomplish this task. I wrote this helper to create global lock in python, using with statement:

import contextlib
@contextlib.contextmanager
@write_session
def global_lock(name, timeout, session):
    result = session.execute('SELECT GET_LOCK(%s, %s)', (name, timeout)).fetchall()
    result = len(result) == 1 and result[0][0]
    try:
        yield result and True or False
    finally:
        if result:
            session.execute('DO RELEASE_LOCK(%s)', (name, ))

Here write_session is decorator, which passes a session argument to a function. Here I use sqlalchemy's session, but you could use MySQLdb's connection or something like that.

And here is one of usecases for function:

def cron():
    with global_lock('myapp.cron_lock', 0) as acquired:
        if acquired:
            do_something_significant()
        else:
            exit_without_doing_any_job()

That's it. But make sure, to use unique name for the lock, because you may get in trouble if some other application uses same name.

If you want to check some object is None, don't be lazy, write full statement like this:

res = someFunction()
if res is None:
    print 'blah-minor'

If you write:

if res:
    do_something_useful()

then you can get strange behavior, because not all objects evaluate to True.

For example, try this code:

import xml.etree.ElementTree as ET e = ET.Element('blah') if e: print 'Hello from elementtree'

You'll be surprised.