Отзывы

vsePROsite — Яндекс Карты

Конкуренты увели клиента

Обратился ко мне потенциальный клиент с запросом парсинга Яндекс карт. Указал запросы, по которым парсить и нужна ему вся Россия. При парсинге Яндекс карт есть нюанс, что на каждый запрос Яндекс отдает весьма ограниченную выдачу. И если по каждому запросу организаций много, то, чтобы собрать все, необходимо крупные города разбивать на округа или районы, т.е. надо конкретизировать запрос. А если это вся Россия, то надо брать каждый город миллионник, гуглить какие в нем районы или округа и ручками формировать запросы, а это долго и нудно. Но что ни сделаешь, чтоб клиент получил хороший и, главное, полный результат. Соответственно, я прикидываю все эти трудности и называю клиенту цену с учетом возможных плясок. Как оказалось, в итоге запросы были низкочастотные, разбивать города на районы не понадобилось и цену можно было снизить порядков на 10 в итоге. Но это уже мне наука, что надо сначала запрос в крупном городе пробивать, а потом уже с ценой решать. Но тут опыт и ничего с этим не поделаешь. Но суть не в этом. Клиент мне радостно доложил что ему на Кворке все сделали реально за копейки и он получил 8400 контактов. А я, в свою очередь, прям задумался, что нифига себе люди работают и прям за копейки парсят такие базы. И решил я проверить достоверность результатов. Сделать это оказалось не сложно. Мне не нужно собирать данные с карточек организаций, а надо понять просто сколько организаций по данным запросам есть на Яндекс картах всего. Сказано — сделано. Как писал выше, чтобы спарсить всю Россию необходимо найти список всех городов нашей необъятной Родины. Сделать это оказалось не сложно. В итоге выяснилось, что городов в РФ ровно 1272. Забиваю все города в парсер вместе с запросами, а их было 4 штуки разных, и начинаю собирать список организаций. И что вы думаете? Еще только по первому запросу и на 800-м городе из 1272-х я уже собрал 8555 уникальных организаций, подходящих под данный запрос, что уже больше, чем получил клиент за свои копейки по всем городам и всем запросам вместе взятым. Тут я уже всё понял и потерял интерес у процессу. Представляете сколько бы данных еще получил бы клиент по оставшимся 472-м городам по текущему запросу и еще по оставшимся 3-м запросам, которые я вообще не проверял? Что в итоге. А в итоге под видом актуальных данных вам продадут выборку из какой-нибудь старой базы. Да это будет стоить действительно копейки, но вы получите данные во-первых не полные, а во-вторых часто не актуальные, т.к. базы очень быстро устаревают. В моем же случае у Вас всегда будут свежие данные, взятые именно сейчас и именно с конкретного сайта. Отрывок из того как проходил тест парсинга Яндекс карт можно посмотреть по ссылке.
Парсинг сайта domclick.ru

Вообще похвально, когда клиент точно знает чего хочет, когда заказывает парсинг сайта. И вот он присылает мне ТЗ по парсингу на листике А4, и я ему отвечаю: «Да, все супер, сделаю!» А про себя думаю: йомоё, как это все сделать-то? Но глаза боятся, а руки делают. На самом деле так намного легче работать, когда клиент ставит конкретную задачу и подробно расписывает результат, который желает получить. И вот, после мозгового штурма, начинает рождаться проект парсинга, который выдает требуемый результат. В процессе работы еще и сайт-донор часто подкидывает задачки, которые с первого взгляда выглядят совсем не решаемыми. И приходится садиться за мануалы и придумывать как это все заставить работать. Конечно, благодаря опыту, накопившемуся за 2 года работы, уже знаешь где примерно копать, но парсинг по прежнему остается весьма творческим процессом. Парсинг сайта domclick.ru как раз запомнился детальностью постановки задачи и как невозможное стало возможным. Началось с того, что сайт оказался сильно заскриптован и пришлось придумать как с него вообще хоть что-то спарсить. Потом, как часто бывает на сайтах-агрегаторах, у domclick.ru оказался весьма трудно читаемых код. Плюс еще клиент решил загрузить меня по полной и заказал аж 19 полей (колонок) с информацией, с пересчетом цен по формуле, со сбором картинок в папки, переименнованные по значению артикула. Но результат парсинга сначала порадовал меня, потом сильно порадовал клиента. Результат парсинга соответствовал ТЗ с точностью до запятой. Очень жду таких же продуманных заданий на парсинг. Парсинг сайта domclick.ru
Парсинг интернет магазина

Не перестаю удивляться как может парсер Content Downloader облегчить жизнь простому контент менеджеру. Одна из моих повседневных задач — наполнение интернет магазина товарами с сайтов производителей. Вручную это делать очень медленно и нудно. Поэтому гораздо удобнее написать проект парсинга для парсера Content Downloader и через импорт одним кликом добавить на сайт сразу все необходимые товары. Но была трудность в том, что модуль импорта добавлял на сайт только одно главное фото, а остальные картинки приходилось публиковать вручную. Такое положение вещей мне в итоге надоело и, после не продолжительных танцев с бубном, я научил модуль импорта добавлять на сайт дополнительные изображения. Но для этого нужна отдельная операция импорта и отдельный файл с данными для этого. Писать еще один проект для парсера Content Downloader с нуля было откровенно лень. Но, как известно, лень — самый эффективный двигатель прогресса. После добавления нескольких строк к уже имеющемуся проекту, парсер начал создавать сразу 2 файла для импорта параллельно. В результате импорт товаров с дополнительными картинками занял ощутимо меньше времени. Какую практическую ценность можно извлечь из данной информации? А вот какую. Спарсить можно абсолютно все, что видно на странице. Но эта информация совершенно бесполезна, если вы не знаете в каком виде ее необходимо представить. В моем случае, лучше разобравшись с компонентом импорта и настроив парсер, я получил возможность быстрее наполнять сайт товарами. Много раз для себя отмечал, что основная проблема при парсинге — это незнание заказчиком точного формата файла результатов парсинга. Часто приходят заявки типа «перенести товары с этого сайта на наш». Или присылают образец парсинга скачанный где-то на просторах Интернета и не имещий ничего общего с форматом импорта сайта заказчика. В первом случае намного проще сразу дать мне доступ в админку сайта для выяснения на каком движке построен сайт и какой формат файла импорта этому сайту необходим. При самостоятельном импорте необходимо не искать похожий файл где-то в Интернете, а добавить 1 товар через админку руками и сделать экспорт этого товара через модуль или компонет импорта/экспорта. После чего в файле экспорта надо поменять артикул товара и его название, а затем этот файл попытаться импортировать на сайт. И если, после импорта, новый товар создался точно так, как нужно, тогда можно этот файл экспорта отправлять мне и будьте уверены, что результаты парсинга, записанные по вашему проверенному шаблону импортируются к вам на сайт правильно. Конечно, бывают такие варианты, когда необходимо получить известный результат, а как именно его необходимо получить совершенно не известно. Самый простой способ в таком случае — написать мне в чат. Нажмите на синюю мигающую круглую кнопку справа внизу страницы и задайте вопрос. Это проще чем позвонить. Парсинг в несколько файлов Парсинг в несколько файлов Парсинг картинок
Парсинг сайта emex.ru

Заказчиком была поставлена с виду простая задача на парсинг сайта, которая потребовала совершено не тривиального решения. По техническому заданию необходимо было выполнить парсинг сайта emex.ru и найти названия запасных частей для автомобилей, которые соответствовали их артикулам. Т.е. у заказчика есть артикулы, но ему необходимо знать название позиций по этим артикулам. Большинство необходимых запчастей имеется на сайте emex.ru. Их можно увидеть, вбив необходимый артикул в поисковую строку. Но вот незадача — в коде страницы, откуда собственно и производится парсинг, видимого на странице названия запчасти нет. Получается, что спарсить данную информацию нельзя. Конечно данное ограничение распространяется только на тех, кто занимается парсингом любительски. Меня же эти ограничения никак не коснулись. Ряд сайтов выводит информацию на страницу не через код, а скриптами непосредственно на экран. Но это совершенно не значит, что эти потоковые данные нельзя спарсить. Чуть больше времени на настройку проекта и заказчик получил требуемый результат. Парсинг текста, которого нет в коде страницы
Парсинг сайта redpower.ru и импорт в Cs-Cart

Поступил заказ на парсинг сайта redpower.ru. По техническомо заданию требовалось не просто спарсить весь сайт, а спарсить только те позиции которые были в прайсе, плюс взять цену из определенной колонки прайса и добавить к ней наценку.Также необходимо было создать дерево категорий не как на сайте-доноре, а как в прайсе, в котором категории значительно отличались от тех, что были на сайте. На многих страницах сайта-донора были видео презентации. Необходимо было спарсить эти видео и добавить их в код результирующего файла.Весь полученный контент требовалось импортировать в CMS на движке OpenCart. После того как проект был готов и на сайт заказчика был импортирован образец парсинга поступил запрос на переделку данного проекта под другую CMS, а именно Cs-Cart. Просто заказчик определялся с движком своего нового сайта и выбрал тот, что понравился больше. За небольшую доплату проект был переделан по импорт на Cs-Cart и результаты парсинга были успешно импортированы на сайт заказчика. Особенности парсинга данного сайта:- При парсинге потребовался обход фильтров сайта-донора;- На сайте-доноре картинки были в очень большом разрешении и импорт их не потянул. Пришлось парсить картинки, на лету их форматировать и заливать на собственный сайт, чтобы потом при импортировании перезалить их на сайт заказчика.- Картинки ипортировались отдельным файлом с собственной структурой таблицы. Для экономии ресурсов проект был создан таким образом, что во время парсинга паралельно создавалось два файла: для импорта контента и для импорта картинок. В итоге парсинг был сложен, но интересен, а результат, как обычно, получился безупречен. Результаты парсинга сайта redpower.ru Таблица импорта картинок при парсинге сайта redpower.ru Парсинг картинок с сайта redpower.ru
Парсинг и импорт в TIU.RU

Так получилось, что возникла необходимость спарсить интернет-магазин на платформе Tiu.ru и импортировать его на другой сайт, и опять же, на Tiu.ru. Структура всех сайтов на Tiu.ru похожа и достаточно проста, поэтому парсинг Tiu.ru не вызвал особых затруднений. На сайте присутствует капча, но был найден способ ее обойти. Главная сложность — это структура файла импорта все в тот же Tiu.ru. Колонок там более 20. Половина из них — служебные данные. Нет привычного дерева категорий. Там нельзя прописать категорию и подкатегорию через «/», как это делается на многих движках, а необходимо присвоить каждой категории уникальный код и строить структуру папок исходя из этих кодов. Оказалось сложно, но выполнимо. Еще один оригинальный момент — это то, что все характеристики товара распределяются в одной строке, но в разных колонках. И на каждую характеристику отводится 4 колонки: в 1-й название характеристики, в 3-й значение. В остальных 2-х в каждой группе служебная информация. Таких групп по 4 колонки произвольное количество у каждого товара. Чтобы это все заполнялось правильно пришлось подойти к вопросу творчески, но в итоге справились. Большим плюсом Tiu.ru явилось то, что не надо было скачивать и копировать на сервер картинки. Для импорта картинок достаточно было указать ссылки на них. Если вам необходим парсинг и импорт в Tiu.ru, пожалуйста, обращайтесь. Результаты парсинга и файл импорта в TIU.RU
Парсинг сайта b2b.resurs-media.ru

Скажем, это весьма запоминающийся сайт. Во-первых, там авторизация. Далеко не все умеют парсить под авторизацией. Но мы умеем. Во-вторых, там JS обойти который ну никак не получилось. Пришлось парсить через JS. Это крайне медленно, но требуемый реультат был получен. В-третьих, результаты парсинга необходимо было адаптировать под импорт в CMS OpenCart (ocStore). Для импорта были правильно разнесены все характеристики, прописан путь картинок и категорий, а так же были добавлены все необходимые параметры. Всего получилось 19 колонок данных и параметров.Данный проект еще раз подтверждает, что мы выполняем парсинг сайтов и парсинг интернет магазинов любой сложности. Результаты парсинга сайта b2b.resurs-media.ru Изображения для импорта в CMS OpenCart (ocStore)
Парсинг сайта bikroy.com

Парсинг Камбоджийской доски объявлений несомненно выделяется среди обычных заданий на парсинг. Данный сайт отличается трудно читаемым кодом, многоязычностью, а также там заблокированы IP-адреса практически всех стран мира. Т.е. подобрать прокси-сервера, через которые можно было отпарсить эту доску объявлений было весьма нетривиальной задачей. С англоязычной версии сайта требовалось спарсить следующие поля: заголовок, 2 картинки из каждого объявления, описание, дата, адрес, номер телефона, цена, бренд, модель, состояние продукта, тип продукта. В итоге нашей работы было получено почти 60000 строк результатов и 500 Мб. картинок.
Парсинг сайта conteshop.ru

Пример технического задания для парсинга товаров с сайта производителя и импорта результатов в интернет магазин Joomla на компоненте JoomShopping. Страница сайта донора для данного примера: https://conteshop.ru/conte/kolgotki-poliamidnye-jenskie-prestige-40-natural Результаты надо сохранить в файл CSV с разделителями строк ; и » Требуемые данные: Категория: Классические (Взять из хлебных крошек 2-ю с конца)Производитель: ConteКод товара: PRESTIGE 40Псевдоним: prestige-40 (Взять из названия, перевести в нижний регистр, пробелы заменить на -)Название: Колготки классические PRESTIGE 40 (Взять из хлебных крошек, привести к указанному виду)Описание: Модель PRESTIGE уникальна не только высоким содержанием эластана …… а эффект нежного шёлка доставит вам максимум комфорта. (Взять все описание, очистить от всех тегов и стилей, оставить только тег br)Модель: PRESTIGE 40 (Тоже, что и «Код товара»)Состав полотна: 83% полиамид|17% эластан (Взять из таблицы (графа «Материал»). Привести надо к указанному виду)Изображение: prestige-40.jpg (В эту графу надо скопировать значение ячейки «Псевдоним» и добавить в конце .jpg) В общую папку надо загрузить картинку по адресу: https://conteshop.ru/media/catalog/product/cache/11/image/1405×1879/602f0fa2c1f0d1ba5e241f914e856ff9/a/3/a3b49f90d01faf7fd58f95dfe7f87d6f_6.jpg (Картинку надо переименовать в соответствии со значением поля «Изображение») ВНИМАНИЕ! Нужна картинка, которая ВСЕГДА идет за тегом <meta property=»og:image» content=». Спарсить надо все товары из всех подкатегорий категории Колготы (Теплые, Корректирующие, Классические и т.д.) Дополнительно по каждому спаршенному товару в другой файл CSV и другую папку для картинок надо собрать названия всех цветов модели и их картинки. Эту информацию надо разнести по следующим колонкам: Модель: PRESTIGE 40Картинки: prestige-40-shade.jpg (Название картинки с цветами каждой модели переименованной указанным образом: Название модели в нижнем регистре и название цвета с — вместо пробелов)Оригинальное назв.файла: 26132d7b756e094bcc92fce839098068_1.jpg В папку надо загрузить картинку по адресу (для каждого цвета свой адрес): https://conteshop.ru/media/catalog/product/cache/11/image/1405×1879/602f0fa2c1f0d1ba5e241f914e856ff9/2/6/26132d7b756e094bcc92fce839098068_1.jpg Каждый файл небходимо переименовать соответствии со значением ячейки «Картинки». Для каждой модели надо скачать и занести в таблицу фото всех цветов. У модели из этого примера их 8. Соответственно должно получиться 8 строк в таблице с одинаковым значением ячейки «Модель» (PRESTIGE 40) и разным значением ячейки «Картинки». Сколько цветов у модели, столько и строк и скачанных файлов. Результат составил 837 строк, соответственно столько же скачанных и преобразованных картинок. Результаты парсинга были адаптированы для переноса в интернет магазин. Были добавлены код товара, штрих код, розничная и оптовая цена в соответствии с прайсом компании заказчика. Данный проект является повышенной сложности. По тех.заданию необходимо было произвести множество замен и изменений оригинального текста, а также подготовить проект к импорту на сайт заказчика. Срок реализации проекта составил 2 дня. Парсинг товаров с сайта conteshop.ru Парсинг атрибутов с сайта conteshop.ru Парсинг фотографий товаров с сайта conteshop.ru Парсинг фотографий атрибутов с сайта conteshop.ru
Парсинг сайта muztorg.ru

Необходимо спарсить товары из нескольких категорий, а так же ссылки на все изображения товара. Требуемые данные:Комплект (входит да/нет); Артикул; Ссылка на товар; Модель; Производитель; Категория (1 уровень); Категория (2 уровень); Категория (3 уровень); Краткое описание; Полное описание; Комплектация (если есть); Цена; Все фото (ссылки). Это сайт имеет защиту от парсинга, которая была успешно преодолена.Результаты парсинга по этим ссылкам были готовы на следующий день. Результаты парсинга сайта muztorg.ru