Публикации с меткой «гвидо ван россум»

Ростислав Дзинько

Переходим на Python 3. Где же ты, reduce?

Это мой второй пост об освоении Python 3. Начался он с того, что захотелось мне использовать всем известную встроенную функцию reduce, а я вместо рабочего кода получил NameError. Оказывается в Python 3 она уже не встроенная, а находится в module functools, в который, начиная с версии Python 2.5, всунули несолько полезностей для работы с объектами-функциями. То есть теперь функцию reduce нужно импортировать.
from functools import reduce
Стоит заметить, что спецификация функции не поменялась, работает она точно также как и во втором питоне. Постал вопрос: "Зачем?". (Более подробно о reduce читаем в документации).

С чего все началось?
А началось все с Гвидо ван Россума, сделавшего следующее высказывание, когда Python 3k только начинали делать. Вот вольный перевод:
Около 12 лет назад в Python появились lambda, reduce(), filter() и map(); появились они с соизволения (мне кажется) Lisp-хакера, которому не хватало их в Python, и который предоставил работающие патчи. Но, невзирая ни на что, я думаю, что эти вещи нужно вырезать из Python 3000.
Также известно, что Гвидо считает эти вещи ненужными, так как есть так называемые "list comprehensions", то есть конструкции типа:
>>> [i * 2 for i in my_list if i > 0]
Вот мнение "великодушного диктатора" о reduce:
Теперь о reduce(). На самом деле это то, что я ненавижу больше всего, потому что кроме нескольких примеров с + или *, почти всегда, когда я вижу вызов reduce() с нетривиальной функцией, мне нужно брать ручку и бумагу, чтобы нарисовать диаграму того, что же действительно передается в функцию перед тем, как понимаю, для чего на самом деле здесь использовалась reduce(). Так что, по-моему, reduce() - практически ограничена ассоциативными операторами, и во всех других случаях лучше сделать явный кумулятивный цикл.
Нужна ли reduce вообще?
Просмотрев свой код и вижу, что за 3 с лишним года работы с Python я использовал reduce, в отличие от map, filter и lambda, очень редко. Задумываясь о различных способах реализации того или иного блока кода, можно увидеть массу случаев, где нужно применить reduce и в большинстве из них находятся альтернативные решения, которые делают код более понятным и читабельным. Рассмотрим несколько примеров на простом списке:
>>> v = [0,1,2,3,4]
Суммирование:
>>> r = reduce(lambda x, y: x + y, v)
>>> print(r)
10
Ествественно, такое никому не нужно, когда есть sum:
>>> sum(v)
>>> 10

Рассмотрим умножение:
>>> v = [1, 2, 3, 4]

>>> reduce(lambda x, y: x * y, v)
>>> 24

>>> r = 1
>>> for i in v:
>>> r *= i
>>> 24
Здесь вариант с reduce выглядит более чем привлекательным.

Соединение списков:
>>> reduce(list.__add__, [[1, 2, 3], [4, 5], [6, 7, 8]], [])
[1, 2, 3, 4, 5, 6, 7, 8]

>>> from itertools import chain
>>> list(chain([1, 2, 3], [4, 5], [6, 7, 8]))
[1, 2, 3, 4, 5, 6, 7, 8]
По-моему, вариант с itertools является более понятным и, что гораздо интереснее, возвращает не список, а ... догадайтесь сами. Для других задач зачастую находятся более красивые, или более читабельные решения, например, для логических - использование функций any и all.

reduce для меня и заключение
Иногда с использованием reduce замечаю, что через некоторое время код воспринимается тяжелее, особенно, если это не тривиальное использование оператора, а reduce помешанная с множественными вложенными вызовами функций, поэтому стараюсь применять reduce там, где это действительно упрощает код и делает его красивее, а такие ситуации, по-моему, возникают очень редко и должны быть видны сразу: если уже задумываешся, значит что-то не так, что-то некрасиво.

Вообще-то я поддерживаю решение вынести reduce из разряда встроенных функций в модуль functools, теперь, перед тем как нагадить в коде дважды подумаю, ну для этого ж нужно еще один дополнительный импорт! :)

Всем спасибо за внимание, кастую холиварщиков в комменты...

Блог python на хабрахабре

Язык программирования Python / Сортировка миллиона 32-битных int'ов в 2 мегабайтах памяти на Питоне

Мой перевод статьи Гвидо ван Россума:

Меня тут в шутку спросили: смогу ли я отсортировать миллион 32-битных int'ов в 2 мегабайтах памяти на Питоне. Во время размышления, мне пришло в голову задействовать механизм ввода-вывода с использованием буферной памяти.

Вообще, это именно шуточный вопрос — одни только данные займут 4 мегабайта, при условии бинарного представления! Правда, можно пойти на хитрость — взять файл, содержащий миллион 32-битных int'ов. Как же отсортировать их, используя минимальное количество памяти? Это должна быть какая-то разновидность сортировки слиянием, в которой небольшие куски данных сортируются и записываются во временный файл, после чего происходит слияние временных файлов для получения окончательного результата.

Вот мое решение:

Метки

.net .NET C# .sort 1.2 2009 2010 404 error admin ajax amazon analytics and apache api archlinux asp.net async asynchronous autocomplete bash blender blog blogengine blogs book bootstrap bot bpython buildout byteflow bzr C c plus plus C++ cache cbv Chaco checkio chrome ci ckeditor class based views clojure closure cms cms с удобной админкой code coding style collectd COM comet competition conference ConfigParser contest Context continuous integration CouchDB coverage CppCMS cpyext cpython crud csrf CSS ctypes curl custom model fields cx_freeze cython database db dbm dbqueries debian debug debugging decorator decorators deploy deployment descriptor design dev devconf developers development diveintopython Django django 1.2 django 1.3 django advent django framework django template django trunk django weblog django-admin-tools django-cms django-compressor django-hosts django-piston django-registration django-sphinx django.admin djangoadvent djangocms djangodash doc documentation drupal e-legion eclipse EGit emacs encoding Enthought epoll erlang event exception ExtJS fabric facebook fastcgi finaloption fixtures fonts forms formset fp framework freebsd freeswitch fs2web ftp fun funcparserlib functional gae gamin gandi generic views gettext gevent gil git github gitosis Google Google App Engine google picasa Google Translate google wave Google Web Toolkit grab grablab greenlet gtd gui haskell hg hgshelve highlighter host hosting how-to howto html html5lib Hudson humor i18n icfpc ide idiomatic image-scripting improvements Internet interpreter ipython ironpython izmenimsya.ru jabber java javascript jenkins jetbrains JIT job jquery json jstree jython kde kiev kiyv kyivpy l10n ldap library libs Life Links linux Linux & Unix LLVM logging logs lxml Mac OS X magic mail markdown Matplotlib Mayavi maybe mediavirus meetup memcache Memcached memory messages metaclass middleware migration mikrotik mkd model models mod_python mod_wsgi mongodb monitoring mptt musicmans.ru musicx mvc my-projects mysql netCDF networkx newforms newforms-admin news nginx Nhibernate nix nose NoSQL numpy oop open source OpenID openoffice opster optimization oracle orm os pagination parsing path patterns pdf PDF-принтер PEP PEP8 performance performance optimization perl personality photo php picture-driven computing PIL pinax pingback pip plasma plone plugin plugins postgresql programming progress bar psycopg2 py2exe pybb pybbm pycamp pycharm pycon pycow pycurl pydev pygtk pylons PyNGL pypy pyqt PyQt4 pyrad pyramid PySide Python Python 2.5 python 2.7 python 3 python c api python speed python-mssql python3 pywinauto Qt Qt4 queue rabbitmq radius raw sql re redis redsolution redsolution cms regexp regular expressions release repoze.bfg RequestContext reusable apps robokassa rss ru ruby ruby-on-rails sample satchmo scalability SciPy scraping screencast search selenium self.error seo server setattr settings setuptools shell sikuli sms snippet socket.io software sorting south sphinx spider sql sqlalchemy sqlite ssh startup step-by-step subdomain subversion svn SyntaxHighlighter system tags tdd tddspry teh drama template templates templatetags test testing thinkpad threading threads tips tips and tricks tools tornadio tornado tornado server tricks tutorial tweepy twisted twitter typography uapycon Ubuntu ucsvlog uml Uncategorized unicode unit test unit testing UnitTest Unladen Swallow upload urllib urls utf-8 uwsgi validation vcs versioning video vim virtualenv Visual Studio vkontakte voip wave web web-devel web-services web-разработка webdev webfaction webkit webpy websockets webtest widget widgets Win API windows Wirbel work wrapper wsgi wxPython wxWidgets wysiwyg xapian xml xmonad xmpp xpath yandex youtube zip zomg zope [cdata[cbv]] [cdata[ci]] [cdata[class based views]] [cdata[continuous integration]] [cdata[django framework]] [cdata[django-sphinx]] [cdata[django]] [cdata[nginx]] [cdata[python]] [cdata[virtualenv]] [cdata[программирование]] автоматизация администрирование администрирование django админка алгоритмы архитектура атрибуты базы данных Без рубрики безопасность библиотеки блоге бот веб-разработка видео Визуализация данных вконтакте Все записи гвидо ван россум граббер графика графы декоратор декораторы дескриптор дескрипторы документация заметки игра жизнь идея интересное киев Клиентам книги конференция личное математика метаклассы модели модули монады морфология мысли невозможное новости о облачные вычисления обо мне Обработка данных оптимизация оптимизация кода Основная лента основы парсинг парсинг сайтов перевод песочница Питон поебень поиск правила кодирования программирование Проектирование производительность работа рабочее размышлизмы Разное разработка разработка приложений разработки регулярные выражения сайт событие события ссылки статьи тестирование тесты Тюмень убунтариум фигня философия формы форум Хабрахабр хакинг хостинг шаблоны шаблоны проектирования эксперимент Эксперименты юмор я пиарюсь Яндекс