Публикации с меткой «db»

Александр Соловьёв

ImprovedImageField

В процессе работы над одним проектом я в очередной раз столкнулся с тем, что джанговский ImageField меня ну никак не устраивает - в нём отсутствует возможность ресайза при аплоаде, некак загружать картинки в разные директории1, кроме как по дате, ну и динамически назвать файлик2 тоже нельзя.

В результате поисков готового решения для копипаста не нашлось, хотя два готовых поля с различной функциональностью было. Первое имеет страшный код с жуткими комментариями3, с готовой функциональностью, закрывающей большую часть ТЗ и неработающее в современной Джанге. :) Второе - умеет заливать файлики по динамически изменяющемуся пути, но зато больше ничего не умеет.

Совмещение этих двух подходов много времени не заняло - на самом деле написание этого поста заняло куда больше времени, чем прошло от идеи и начала поисков до рабочей реализации (код поля приведен в конце поста).

Разбор полётов

В функциях fit и rename, занимающихся соответственно ресайзом и переименованием, объяснять в общем-то нечего - всё сказано в докстрингах. :)

Сам класс начинается с изменения init'а, для получения параметров ресайза. Тут же, кстати, кроется небольшой недостаток - сейчас невозможно не указывать upload_to в параметрах классу, но я пока не придумал, как проверить существование функции для динамической установки пути upload_to.

Кстати, где-то не так давно прочитал, что использование contribute_to_class сейчас не приветствуется, но я для себя альтернатив в документации не нашёл - потому все три рабочие функции подключаю именно с помощью contribute_to_class.

Первая - _upload_to, проверяет на существование у модели метода determine_FIELD_upload_to (который из параметров принимает только self), и при наличии такого - вызывает его для установки upload_to (при отсутствии остаётся рабочим параметр, переданный в конструктор класса).

Дальше тоже нету ничего военного - _resize, после проверки на заполненность поля исправляет его размер (сразу после сохранения4).

Ну и "переименовывалка" - при заполненности поля и присутствии у модели метода determine_FIELD_filename переименовывает в соответствии с ним сущестсвующий файл (а вот это происходит как раз перед сохранением5).

Использовать всё это очень просто, вот пример готовой модели:

class UserProfile(models.Model):
    user = models.ForeignKey(User)
    avatar = ImprovedImageField(max_height=100, max_width=100, blank=True,
                                upload_to='_')

    def determine_avatar_upload_to(self):
        return self.user.username

    def determine_avatar_filename(self):
        return 'avatar'

Теперь при загрузке аватаров для пользователя 'piranha' они будут помещаться в каталог /piranha/avatar.jpg6.

Код самого поля:

import os
import shutil

import Image
from django.db.models import ImageField, signals
from django.dispatch import dispatcher
from django.conf import settings

def fit(file_path, max_width, max_height):
    """Resize file (located on file path) to maximum dimensions proportionally.
    At least one of max_width and max_height must be not None."""
    if not (max_width or max_height):
        # Can't resize
        return
    img = Image.open(file_path)
    w, h = img.size
    w = int(max_width or w)
    h = int(max_height or h)
    img.thumbnail((w, h), Image.ANTIALIAS)
    img.save(file_path)

def rename(old_path, new_name):
    """
    old_name is relative to MEDIA_ROOT
    new_name is just base name, without extension
    """
    def fp(path):
        return os.path.join(settings.MEDIA_ROOT, path)
    if not os.path.isfile(fp(old_path)):
        return old_path
    path = os.path.dirname(old_path)
    ext = os.path.splitext(old_path)[1]
    # django wants to have '/' in path
    new_path = '/'.join([path, new_name + ext])
    if new_path != old_path:
        try:
            shutil.move(fp(old_path), fp(new_path))
        except IOError:
            return old_path
    return new_path

class ImprovedImageField(ImageField):
    """Allows model instance to specify following parameters dynamically:

     - upload_to, specify following method for model:

        def determine_FIELD_upload_to(self):
            return 'avatars/%d' % self.user.username

     - filename (relative to upload_to, without extension):

         def determine_FIELD_filename(self):
             return self.pk

    Additionally field supports automatic resizing, if at least one of
    max_width and max_height supplied.

    Current flaws: upload_to must be specified as parameter (even if
    custom method exist, although parameter can carry useless value).

    Based on:
        http://code.djangoproject.com/wiki/CustomUploadAndFilters
        http://scottbarnham.com/blog/2007/07/31/uploading-images-to-a-dynamic-path-with-django/

    Copyright (c) 2008 Alexander Solovyov under new BSD License.
    """
    def __init__(self, max_width=None, max_height=None, **kwargs):
        self.max_width, self.max_height = max_width, max_height
        super(ImprovedImageField, self).__init__(**kwargs)

    def db_type(self):
        """Required by Django for ORM."""
        return 'varchar(100)'

    def contribute_to_class(self, cls, name):
        """Hook up events so we can access the instance."""
        super(ImprovedImageField, self).contribute_to_class(cls, name)
        dispatcher.connect(self._upload_to, signals.post_init, sender=cls)
        dispatcher.connect(self._resize, signals.post_save, sender=cls)
        dispatcher.connect(self._rename, signals.pre_save, sender=cls)

    def _upload_to(self, instance=None):
        """Get dynamic upload_to value from the model instance."""
        if hasattr(instance, 'determine_%s_upload_to' % self.attname):
            self.upload_to = getattr(instance, 'determine_%s_upload_to' % self.attname)()

    def _resize(self, instance):
        if getattr(instance, self.attname):
            real_path = os.path.join(settings.MEDIA_ROOT, getattr(instance, self.attname))
            if os.path.isfile(real_path):
                fit(real_path, self.max_width, self.max_height)

    def _rename(self, instance):
        if hasattr(instance, 'determine_%s_filename' % self.attname) and getattr(instance, self.attname):
            filename = getattr(instance, 'determine_%s_filename' % self.attname)()
            new_path = rename(getattr(instance, self.attname), filename)
            setattr(instance, self.attname, new_path)

UPD. Наконец-то пофиксил траблу с get_FIELD_filename.


  1. А если этого не сделать, то директория быстро загрязнится кучей файлов, что в будущем вполне может привести к заметному увеличению времени поиска файлов системой.  

  2. Это в первоначальные планы не входило, но позже обрело своё место под солнцем. :)  

  3. В стиле a=2+3 # Вычисляем 2+3.  

  4. А точнее, после вызова сигнала post_save у нашей модели.  

  5. На этот раз - сигнала pre_save.  

  6. Естественно, расширение зависит от типа файла. :)  

Александр Соловьёв

ImprovedImageField

В процессе работы над одним проектом я в очередной раз столкнулся с тем, что джанговский ImageField меня ну никак не устраивает - в нём отсутствует возможность ресайза при аплоаде, некак загружать картинки в разные директории1, кроме как по дате, ну и динамически назвать файлик2 тоже нельзя.

В результате поисков готового решения для копипаста не нашлось, хотя два готовых поля с различной функциональностью было. Первое имеет страшный код с жуткими комментариями3, с готовой функциональностью, закрывающей большую часть ТЗ и неработающее в современной Джанге. :) Второе - умеет заливать файлики по динамически изменяющемуся пути, но зато больше ничего не умеет.

Совмещение этих двух подходов много времени не заняло - на самом деле написание этого поста заняло куда больше времени, чем прошло от идеи и начала поисков до рабочей реализации (код поля приведен в конце поста).

Разбор полётов

В функциях fit и rename, занимающихся соответственно ресайзом и переименованием, объяснять в общем-то нечего - всё сказано в докстрингах. :)

Сам класс начинается с изменения init'а, для получения параметров ресайза. Тут же, кстати, кроется небольшой недостаток - сейчас невозможно не указывать upload_to в параметрах классу, но я пока не придумал, как проверить существование функции для динамической установки пути upload_to.

Кстати, где-то не так давно прочитал, что использование contribute_to_class сейчас не приветствуется, но я для себя альтернатив в документации не нашёл - потому все три рабочие функции подключаю именно с помощью contribute_to_class.

Первая - _upload_to, проверяет на существование у модели метода determine_FIELD_upload_to (который из параметров принимает только self), и при наличии такого - вызывает его для установки upload_to (при отсутствии остаётся рабочим параметр, переданный в конструктор класса).

Дальше тоже нету ничего военного - _resize, после проверки на заполненность поля исправляет его размер (сразу после сохранения4).

Ну и "переименовывалка" - при заполненности поля и присутствии у модели метода determine_FIELD_filename переименовывает в соответствии с ним сущестсвующий файл (а вот это происходит как раз перед сохранением5).

Использовать всё это очень просто, вот пример готовой модели:

class UserProfile(models.Model):
    user = models.ForeignKey(User)
    avatar = ImprovedImageField(max_height=100, max_width=100, blank=True,
                                upload_to='_')

    def determine_avatar_upload_to(self):
        return self.user.username

    def determine_avatar_filename(self):
        return 'avatar'

Теперь при загрузке аватаров для пользователя 'piranha' они будут помещаться в каталог /piranha/avatar.jpg6.

Код самого поля:

import os
import shutil

import Image
from django.db.models import ImageField, signals
from django.dispatch import dispatcher
from django.conf import settings

def fit(file_path, max_width, max_height):
    """Resize file (located on file path) to maximum dimensions proportionally.
    At least one of max_width and max_height must be not None."""
    if not (max_width or max_height):
        # Can't resize
        return
    img = Image.open(file_path)
    w, h = img.size
    w = int(max_width or w)
    h = int(max_height or h)
    img.thumbnail((w, h), Image.ANTIALIAS)
    img.save(file_path)

def rename(old_path, new_name):
    """
    old_name is relative to MEDIA_ROOT
    new_name is just base name, without extension
    """
    def fp(path):
        return os.path.join(settings.MEDIA_ROOT, path)
    if not os.path.isfile(fp(old_path)):
        return old_path
    path = os.path.dirname(old_path)
    ext = os.path.splitext(old_path)[1]
    # django wants to have '/' in path
    new_path = '/'.join([path, new_name + ext])
    if new_path != old_path:
        try:
            shutil.move(fp(old_path), fp(new_path))
        except IOError:
            return old_path
    return new_path

class ImprovedImageField(ImageField):
    """Allows model instance to specify following parameters dynamically:

     - upload_to, specify following method for model:

        def determine_FIELD_upload_to(self):
            return 'avatars/%d' % self.user.username

     - filename (relative to upload_to, without extension):

         def determine_FIELD_filename(self):
             return self.pk

    Additionally field supports automatic resizing, if at least one of
    max_width and max_height supplied.

    Current flaws: upload_to must be specified as parameter (even if
    custom method exist, although parameter can carry useless value).

    Based on:
        http://code.djangoproject.com/wiki/CustomUploadAndFilters
        http://scottbarnham.com/blog/2007/07/31/uploading-images-to-a-dynamic-path-with-django/

    Copyright (c) 2008 Alexander Solovyov under new BSD License.
    """
    def __init__(self, max_width=None, max_height=None, **kwargs):
        self.max_width, self.max_height = max_width, max_height
        super(ImprovedImageField, self).__init__(**kwargs)

    def db_type(self):
        """Required by Django for ORM."""
        return 'varchar(100)'

    def contribute_to_class(self, cls, name):
        """Hook up events so we can access the instance."""
        super(ImprovedImageField, self).contribute_to_class(cls, name)
        dispatcher.connect(self._upload_to, signals.post_init, sender=cls)
        dispatcher.connect(self._resize, signals.post_save, sender=cls)
        dispatcher.connect(self._rename, signals.pre_save, sender=cls)

    def _upload_to(self, instance=None):
        """Get dynamic upload_to value from the model instance."""
        if hasattr(instance, 'determine_%s_upload_to' % self.attname):
            self.upload_to = getattr(instance, 'determine_%s_upload_to' % self.attname)()

    def _resize(self, instance):
        if getattr(instance, self.attname):
            real_path = os.path.join(settings.MEDIA_ROOT, getattr(instance, self.attname))
            if os.path.isfile(real_path):
                fit(real_path, self.max_width, self.max_height)

    def _rename(self, instance):
        if hasattr(instance, 'determine_%s_filename' % self.attname) and getattr(instance, self.attname):
            filename = getattr(instance, 'determine_%s_filename' % self.attname)()
            new_path = rename(getattr(instance, self.attname), filename)
            setattr(instance, self.attname, new_path)

UPD. Наконец-то пофиксил траблу с get_FIELD_filename.


  1. А если этого не сделать, то директория быстро загрязнится кучей файлов, что в будущем вполне может привести к заметному увеличению времени поиска файлов системой.  

  2. Это в первоначальные планы не входило, но позже обрело своё место под солнцем. :)  

  3. В стиле a=2+3 # Вычисляем 2+3.  

  4. А точнее, после вызова сигнала post_save у нашей модели.  

  5. На этот раз - сигнала pre_save.  

  6. Естественно, расширение зависит от типа файла. :)  

Метки

.net .NET C# .sort 1.2 2009 2010 404 error admin ajax amazon analytics and apache api archlinux asp.net async asynchronous autocomplete bash blender blog blogengine blogs book bootstrap bot bpython buildout byteflow bzr C c plus plus C++ cache cbv Chaco checkio chrome ci ckeditor class based views clojure closure cms cms с удобной админкой code coding style collectd COM comet competition conference ConfigParser contest Context continuous integration CouchDB coverage CppCMS cpyext cpython crud csrf CSS ctypes curl custom model fields cx_freeze cython database db dbm dbqueries debian debug debugging decorator decorators deploy deployment descriptor design dev devconf developers development diveintopython Django django 1.2 django 1.3 django advent django framework django template django trunk django weblog django-admin-tools django-cms django-compressor django-hosts django-piston django-registration django-sphinx django.admin djangoadvent djangocms djangodash doc documentation drupal e-legion eclipse EGit emacs encoding Enthought epoll erlang event exception ExtJS fabric facebook fastcgi finaloption fixtures fonts forms formset fp framework freebsd freeswitch fs2web ftp fun funcparserlib functional gae gamin gandi generic views gettext gevent gil git github gitosis Google Google App Engine google picasa Google Translate google wave Google Web Toolkit grab grablab greenlet gtd gui haskell hg hgshelve highlighter host hosting how-to howto html html5lib Hudson humor i18n icfpc ide idiomatic image-scripting improvements Internet interpreter ipython ironpython izmenimsya.ru jabber java javascript jenkins jetbrains JIT job jquery json jstree jython kde kiev kiyv kyivpy l10n ldap library libs Life Links linux Linux & Unix LLVM logging logs lxml Mac OS X magic mail markdown Matplotlib Mayavi maybe mediavirus meetup memcache Memcached memory messages metaclass middleware migration mikrotik mkd model models mod_python mod_wsgi mongodb monitoring mptt musicmans.ru musicx mvc my-projects mysql netCDF networkx newforms newforms-admin news nginx Nhibernate nix nose NoSQL numpy oop open source OpenID openoffice opster optimization oracle orm os pagination parsing path patterns pdf PDF-принтер PEP PEP8 performance performance optimization perl personality photo php picture-driven computing PIL pinax pingback pip plasma plone plugin plugins postgresql programming progress bar psycopg2 py2exe pybb pybbm pycamp pycharm pycon pycow pycurl pydev pygtk pylons PyNGL pypy pyqt PyQt4 pyrad pyramid PySide Python Python 2.5 python 2.7 python 3 python c api python speed python-mssql python3 pywinauto Qt Qt4 queue rabbitmq radius raw sql re redis redsolution redsolution cms regexp regular expressions release repoze.bfg RequestContext reusable apps robokassa rss ru ruby ruby-on-rails sample satchmo scalability SciPy scraping screencast search selenium self.error seo server setattr settings setuptools shell sikuli sms snippet socket.io software sorting south sphinx spider sql sqlalchemy sqlite ssh startup step-by-step subdomain subversion svn SyntaxHighlighter system tags tdd tddspry teh drama template templates templatetags test testing thinkpad threading threads tips tips and tricks tools tornadio tornado tornado server tricks tutorial tweepy twisted twitter typography uapycon Ubuntu ucsvlog uml Uncategorized unicode unit test unit testing UnitTest Unladen Swallow upload urllib urls utf-8 uwsgi validation vcs versioning video vim virtualenv Visual Studio vkontakte voip wave web web-devel web-services web-разработка webdev webfaction webkit webpy websockets webtest widget widgets Win API windows Wirbel work wrapper wsgi wxPython wxWidgets wysiwyg xapian xml xmonad xmpp xpath yandex youtube zip zomg zope [cdata[cbv]] [cdata[ci]] [cdata[class based views]] [cdata[continuous integration]] [cdata[django framework]] [cdata[django-sphinx]] [cdata[django]] [cdata[nginx]] [cdata[python]] [cdata[virtualenv]] [cdata[программирование]] автоматизация администрирование администрирование django админка алгоритмы архитектура атрибуты базы данных Без рубрики безопасность библиотеки блоге бот веб-разработка видео Визуализация данных вконтакте Все записи гвидо ван россум граббер графика графы декоратор декораторы дескриптор дескрипторы документация заметки игра жизнь идея интересное киев Клиентам книги конференция личное математика метаклассы модели модули монады морфология мысли невозможное новости о облачные вычисления обо мне Обработка данных оптимизация оптимизация кода Основная лента основы парсинг парсинг сайтов перевод песочница Питон поебень поиск правила кодирования программирование Проектирование производительность работа рабочее размышлизмы Разное разработка разработка приложений разработки регулярные выражения сайт событие события ссылки статьи тестирование тесты Тюмень убунтариум фигня философия формы форум Хабрахабр хакинг хостинг шаблоны шаблоны проектирования эксперимент Эксперименты юмор я пиарюсь Яндекс