Публикации с меткой «curl»

Лет пять-шесть назад, когда я ещё программировал преимущественно на PHP, я начал использовать библиотеку curl для парсинга сайтов. Мне нужен был инструмент, который позволял эмулировать сессию пользователя на сайте, отсылать заголовки обычного браузера, давать удобный способ отсылки POST-запросов. Сначала я пытался использовать напрямую curl-расширение, но его интерфейс оказался очень неудобным и я написал обёртку с более простым интерфейсом. Время шло, я пересел на python и столкнулся с таким же дубовым API curl-расширения. Пришлось переписать обёртку на python.

Давно ничего не писал, нарушаю молчание. Очень трудно начать писать заметку, вроде есть о чём сказать, но начать писать трудно. Ну, ладно сразу о главном. Продолжаю поддерживать проект pylibcurl исправил баги, которые возникали в 64 битной версии ОС Ubuntu на тестах программа просто падала, выдавая в конце неприятную ошибку "Segmentation fault". А происходило это из-за того, что было неправильное обращение к указателю. В 32-битной ОС можно было обращаться к указателю таким образом:

curl_easy_init.restype = ctypes.c_void_p

и всё происходило без ошибок, а 64-битной версии данная конструкция не прокатывала, а нужно делать так:

curl_easy_init.restype = ctypes.POINTER(ctypes.c_void_p)

для меня это первая библиотека в которой задействован ctypes. Ну ничего, главное опыт и понять как это всё работает. В планах написать больше тестов и документацию, буду больше выделять время на библиотеку.

Недавно завел себе аккаунт на github и сделал форк django-native-tags, очень удобная библиотека для написания тегов, хотя и не без багов, которые я у себя профиксил и выложил в свой репозиторий.

В планах выложить в открытый доступ библиотеку, над которой я сейчас работаю для быстрого написания проектов на django в стиле REST. Но об этом чуть позже.

В процессе разработки одного проекта на Python+Twisted (распределителя СМС запросов) пришлось переписать вызов URL различных сервисов с разных серверов c блокирующего вызова через PyCurl на неблокирующий (client.HTTPClientFactory + defered). Чтобы иметь перед глазами реальные данные, решил дать нагрузку и посмотреть на результаты