Поддержка модуля Импорт товаров из YML для Opencart 1.5Х, 2.Х, 3.Х

[Allaur]

Ну и что мне делать?

[NeoSeo Team]

18.05.2021 в 00:58, Allaur сказал:

и ещё проблема в тех товарах что загрузились
Отображать товар в родительских категориях - опция включена, но в родительской категории товары не отображаются

Добрый день.

А у Вас импорт полностью выполнился? 

[Allaur]

2 часа назад, NeoSeo Team сказал:

Добрый день.

А у Вас импорт полностью выполнился? 

нет
Я тоже подумал что возможно из-за невыполнения импорта категории не заполнились.

Но импорт не хочет выполняться даже по крону. Как я выше показал, сайт у меня на 5.6 php и другие задачи крона нормально работают. У меня крон запускает выписку счетов. И если бы счета перестали выписываться я бы точно это заметил :). То есть крон на 5.6 на сервере отрабатывается. Но ваша лицензия почему то выдаёт ошибку.

[Allaur]

Попробовал запустить крон по расписанию.

Создал трёх поставщиков.
Общее количество товара примерно 12 тысяч позиций

По расписанию крон сработал, но загрузил только 800 с лишним позиций

В главную категорию товары так и не загрузились.

Попробовал выключить 2 поставщика
Статус импорта - Отключено
Но всё равно загружаются все три поставщика

Изменено 26 мая 2021 пользователем Allaur

[Allaur]

В логах предупреждения

2021-05-26 13:33:59 - PHP Notice:  Undefined index: extension in /var/www/user/data/www/domain/admin/model/tool/neoseo_import_yml.php on line 832
2021-05-26 13:33:59 - PHP Notice:  Undefined index: extension in /var/www/user/data/www/domain/admin/model/tool/neoseo_import_yml.php on line 836

Файл закадирован, поэтому не могу прочитать на что предупреждение

Изменено 26 мая 2021 пользователем Allaur

[NeoSeo Team]

2 часа назад, Allaur сказал:

Попробовал запустить крон по расписанию.

Создал трёх поставщиков.
Общее количество товара примерно 12 тысяч позиций

По расписанию крон сработал, но загрузил только 800 с лишним позиций

В главную категорию товары так и не загрузились.

Попробовал выключить 2 поставщика
Статус импорта - Отключено
Но всё равно загружаются все три поставщика

А у Вас не установлены ограничение и на время выполнения крона? на некоторых хостингах есть такие ограничения. И поэтому приходится разбивать файл импорта на несколько частей.

[Allaur]

3 часа назад, NeoSeo Team сказал:

А у Вас не установлены ограничение и на время выполнения крона? на некоторых хостингах есть такие ограничения. И поэтому приходится разбивать файл импорта на несколько частей.

как мне это проверить?

[Allaur]

4 часа назад, NeoSeo Team сказал:

А у Вас не установлены ограничение и на время выполнения крона? на некоторых хостингах есть такие ограничения. И поэтому приходится разбивать файл импорта на несколько частей.

как мне это проверить?

Я думаю если бы были установлены какие либо ограничения то по всем прайсам результат был бы хотя бы примерно одинаков. Но по разным прайсам идёт разное количество загрузок. Или я что-то не правильно понимаю?
Например
у первого поставщика тысяча с лишним товаров, загружается только 20 с лишним.
у второго поставщика 10 тысяч с лишним товаров, загружается пару сотен

у третьего поставщика 600 товаров, загружается 500 с лишним.

Даже в процентном соотношении не получается одинакового результата. Не могут же ограничения на одну загрузку работать, а на другую не работать.....

[Allaur]

По моему я разобрался...
Проблема не в моём сервере, а в сервере донара. Там скорее всего стоит маленькое время обработки скрипта. Скопировал и залил файлы к себе на хостинг, указал путь на свои файлы и всё вроде как нормально загрузилось.

Прошу прощения за канитель :).

Получается всё равно ни с каждого донара я могу парсить прайсы...
А каким образом я могу разбивать прайсы на несколько частей, если один прайс по одной ссылке находится. Прайс же не у меня, у поставщика. Манипулировать категориями?

[zabey]

Добрый день

Подскажите плз, в каком формате указывать категории в этот пункт, что бы импорт загрузил только указанные?

а то я перебрал уже все варианты и всегда результат такой:

2021-05-27 07:01:04 - Пропускаем предложение: Шина безмасляная 16" / 405мм Sturm SB1650380PO-OL
2021-05-27 07:01:04 - Пропускаем предложение: Шина 16" / 405мм Sturm SB1650380POH
2021-05-27 07:01:04 - Пропускаем предложение: Шина 16" / 405мм Sturm SB1658325POH
2021-05-27 07:01:04 - Пропускаем предложение: Шина 16" / 405мм Sturm SB1663380POH
2021-05-27 07:01:04 - Пропускаем предложение: Шина 18" / 455мм Sturm SB1858325POH
2021-05-27 07:01:04 - Пропускаем предложение: Набор аккумуляторного инструмента Sturm CL-INSTR-8i (8 предметов)
2021-05-27 07:01:04 - Пропускаем предложение: Пила циркулярная (185мм, 1500Вт) BauMaster CS-50185
2021-05-27 07:01:04 - Товаров обновлено: 0
2021-05-27 07:01:04 - Товаров добавлено: 0
 

[zabey]

6 часов назад, Allaur сказал:

По моему я разобрался...
Проблема не в моём сервере, а в сервере донара. Там скорее всего стоит маленькое время обработки скрипта. Скопировал и залил файлы к себе на хостинг, указал путь на свои файлы и всё вроде как нормально загрузилось.

Прошу прощения за канитель :).

Получается всё равно ни с каждого донара я могу парсить прайсы...
А каким образом я могу разбивать прайсы на несколько частей, если один прайс по одной ссылке находится. Прайс же не у меня, у поставщика. Манипулировать категориями?

Хм... у меня та же проблемма.

Интересно, а можно чуть подробнее по настройке этого мероприятия?

 

[NeoSeo Team]

7 часов назад, Allaur сказал:

По моему я разобрался...
Проблема не в моём сервере, а в сервере донара. Там скорее всего стоит маленькое время обработки скрипта. Скопировал и залил файлы к себе на хостинг, указал путь на свои файлы и всё вроде как нормально загрузилось.

Прошу прощения за канитель :).

Получается всё равно ни с каждого донара я могу парсить прайсы...
А каким образом я могу разбивать прайсы на несколько частей, если один прайс по одной ссылке находится. Прайс же не у меня, у поставщика. Манипулировать категориями?

Добрый день.

Почему с одного прайса импортируется одно количество товаров, а с другого иное: скорей всего дело в размере передаваемых значений, например, в количестве изображений для товаров и т.д. В одном товаре может быть нексолько картинок, в другом - 10. Поэтому за одно и то же время, с разных прайсов загрузится разное количество товаров.

Цитата

А каким образом я могу разбивать прайсы на несколько частей, если один прайс по одной ссылке находится. Прайс же не у меня, у поставщика. Манипулировать категориями?

 

Да, тут либо через настройки модуля указывать в импорте одно количестве категорий. В другом импорте, например, ввести ту же ссылку но указать другие категории. Или уточнить у поставщика, есть ли у него возможность разбить прайс на несколько частей по категориям.

Либо уточнить у тех. поддержки используемого сервера, есть ли возможность увеличить лимит работы скрипта.

[NeoSeo Team]

32 минуты назад, zabey сказал:

Хм... у меня та же проблемма.

Интересно, а можно чуть подробнее по настройке этого мероприятия?

 

Добрый день.

Уточните, у Вас по крону не загружается все товары? или через админ. панель?

[zabey]

3 часа назад, NeoSeo Team сказал:

Добрый день.

Уточните, у Вас по крону не загружается все товары? или через админ. панель?

Из админ панели это происходит Так:

Запуск - 5мин - Страница с ошибкой

Логи:

м изображение https://images.ua.prom.st/1276337510_sverlilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/1.jpg
2021-05-27 11:06:00 - 200
2021-05-27 11:06:00 - Загружаем изображение https://images.ua.prom.st/1659313225_sverlilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/2.jpg
2021-05-27 11:06:02 - 200
2021-05-27 11:06:02 - Загружаем изображение https://images.ua.prom.st/1276337498_sverlilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/3.jpg
2021-05-27 11:06:04 - 200
2021-05-27 11:06:04 - Загружаем изображение https://images.ua.prom.st/1276337499_sverlilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/4.jpg
2021-05-27 11:06:05 - 200
2021-05-27 11:06:05 - Загружаем изображение https://images.ua.prom.st/1276337500_sverlilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/5.jpg
2021-05-27 11:06:06 - 200
2021-05-27 11:06:06 - Загружаем изображение https://images.ua.prom.st/1276337502_sverlilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/6.jpg
2021-05-27 11:06:07 - 200
2021-05-27 11:06:07 - Загружаем изображение https://images.ua.prom.st/1276337506_sverlilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/7.jpg
2021-05-27 11:06:09 - 200
2021-05-27 11:06:09 - Загружаем изображение https://images.ua.prom.st/1276337507_sverlilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/8.jpg
2021-05-27 11:06:10 - 200
2021-05-27 11:06:10 - Загружаем изображение https://images.ua.prom.st/1276337521_sverlilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/9.jpg
2021-05-27 11:06:11 - 200
2021-05-27 11:06:11 - Загружаем изображение https://images.ua.prom.st/1276337522_sverlilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/10.jpg
2021-05-27 11:06:13 - 200
2021-05-27 11:06:13 - Остаток по товару: 25
2021-05-27 11:06:13 - Используем тег для sku: mlt-BD7050
2021-05-27 11:06:13 - Обновляем товар #857: Сверлильный станок Sturm (500 Вт, 12 скоростей) BD7050
2021-05-27 11:06:13 - основное изображение: data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/1.jpg
2021-05-27 11:06:13 - дополнительное изображение: data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/2.jpg
2021-05-27 11:06:13 - дополнительное изображение: data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/3.jpg
2021-05-27 11:06:13 - дополнительное изображение: data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/4.jpg
2021-05-27 11:06:13 - дополнительное изображение: data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/5.jpg
2021-05-27 11:06:13 - дополнительное изображение: data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/6.jpg
2021-05-27 11:06:13 - дополнительное изображение: data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/7.jpg
2021-05-27 11:06:13 - дополнительное изображение: data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/8.jpg
2021-05-27 11:06:13 - дополнительное изображение: data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/9.jpg
2021-05-27 11:06:13 - дополнительное изображение: data/product/e9/15/2f4f40a6b82d2a69c14ed6f5e4fe/10.jpg
2021-05-27 11:06:13 - Загружаем изображение https://images.ua.prom.st/195843191_stabilizator-napryazheniya-relejnyj.jpg в файл /home2/zabeycom/public_html/image/data/product/ee/e7/5c7a20ce0cd8d9771dd6fe1dab65/1.jpg
2021-05-27 11:06:14 - 200
2021-05-27 11:06:14 - Загружаем изображение https://images.ua.prom.st/1659282696_stabilizator-napryazheniya-relejnyj.jpg в файл /home2/zabeycom/public_html/image/data/product/ee/e7/5c7a20ce0cd8d9771dd6fe1dab65/2.jpg
2021-05-27 11:06:15 - 200
2021-05-27 11:06:15 - Остаток по товару: 25
2021-05-27 11:06:15 - Используем тег для sku: mlt-PS93100R
2021-05-27 11:06:15 - Обновляем товар #858: Стабилизатор напряжения релейный Sturm 10000 ВA PS93100R
2021-05-27 11:06:15 - основное изображение: data/product/ee/e7/5c7a20ce0cd8d9771dd6fe1dab65/1.jpg
2021-05-27 11:06:15 - дополнительное изображение: data/product/ee/e7/5c7a20ce0cd8d9771dd6fe1dab65/2.jpg
2021-05-27 11:06:15 - Загружаем изображение https://images.ua.prom.st/1659280640_stabilizator-napryazheniya-relejnyj.jpg в файл /home2/zabeycom/public_html/image/data/product/bf/20/867c7de6f2a473f57fe3b00269f7/1.jpg
2021-05-27 11:06:16 - 200
2021-05-27 11:06:16 - Загружаем изображение https://images.ua.prom.st/195843197_stabilizator-napryazheniya-relejnyj.jpg в файл /home2/zabeycom/public_html/image/data/product/bf/20/867c7de6f2a473f57fe3b00269f7/2.jpg
2021-05-27 11:06:19 - 200
2021-05-27 11:06:19 - Остаток по товару: 25
2021-05-27 11:06:19 - Используем тег для sku: mlt-PS93080R
2021-05-27 11:06:19 - Обновляем товар #859: Стабилизатор напряжения релейный Sturm 8000 ВA PS93080R
2021-05-27 11:06:19 - основное изображение: data/product/bf/20/867c7de6f2a473f57fe3b00269f7/1.jpg
2021-05-27 11:06:19 - дополнительное изображение: data/product/bf/20/867c7de6f2a473f57fe3b00269f7/2.jpg
2021-05-27 11:06:19 - Загружаем изображение https://images.ua.prom.st/1659289340_stabilizator-napryazheniya-relejnyj.jpg в файл /home2/zabeycom/public_html/image/data/product/51/e3/249a99ade178769e1ef7ade41284/1.jpg
2021-05-27 11:06:20 - 200
2021-05-27 11:06:20 - Загружаем изображение https://images.ua.prom.st/195843198_stabilizator-napryazheniya-relejnyj.jpg в файл /home2/zabeycom/public_html/image/data/product/51/e3/249a99ade178769e1ef7ade41284/2.jpg
2021-05-27 11:06:22 - 200
2021-05-27 11:06:22 - Остаток по товару: 25
2021-05-27 11:06:22 - Используем тег для sku: mlt-PS93080RV
2021-05-27 11:06:22 - Добавляем товар # 860: Стабилизатор напряжения релейный Sturm 8000 ВA настен PS93080RV
2021-05-27 11:06:22 - Загружаем изображение https://images.ua.prom.st/777383643_tochilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/a8/ca/5174c39ddc3dd673e8b1297505d0/1.jpg
2021-05-27 11:06:23 - 200
2021-05-27 11:06:23 - Загружаем изображение https://images.ua.prom.st/777382411_tochilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/a8/ca/5174c39ddc3dd673e8b1297505d0/2.jpg
2021-05-27 11:06:25 - 200
2021-05-27 11:06:25 - Загружаем изображение https://images.ua.prom.st/777384052_tochilnyj-stanok-sturm.jpg в файл /home2/zabeycom/public_html/image/data/product/a8/ca/5174c39ddc3dd673e8b1297505d0/3.jpg
2021-05-27 11:06:27 - 200
2021-05-27 11:06:27 - Остаток по товару: 25
2021-05-27 11:06:27 - Используем тег для sku: mlt-BG60251
2021-05-27 11:06:27 - Обновляем товар #861: Точильный станок Sturm 250 мм, 800 Вт BG60251
2021-05-27 11:06:27 - основное изображение: data/product/a8/ca/5174c39ddc3dd673e8b1297505d0/1.jpg
2021-05-27 11:06:27 - дополнительное изображение: data/product/a8/ca/5174c39ddc3dd673e8b1297505d0/2.jpg
2021-05-27 11:06:27 - дополнительное изображение: data/product/a8/ca/5174c39ddc3dd673e8b1297505d0/3.jpg
2021-05-27 11:06:27 - Загружаем изображение https://images.ua.prom.st/195843218_tochilnyj-stanok-dlya.jpg в файл /home2/zabeycom/public_html/image/data/product/24/f7/16e920d3de1ac36cbd3e470628fe/1.jpg
2021-05-27 11:06:28 - 200
2021-05-27 11:06:28 - Остаток по товару: 25
2021-05-27 11:06:28 - Используем тег для sku: mlt-ТС-60016
2021-05-27 11:06:28 - Добавляем товар # 862: Точильный станок для заточки цепей Энергомаш ТС-60016
2021-05-27 11:06:28 - Загружаем изображение https://images.ua.prom.st/3116174106_frezer-1200-vt.jpg в файл /home2/zabeycom/public_html/image/data/product/bf/f8/36c20424a8720bae8113e36e80e4/1.jpg
2021-05-27 11:06:29 - 200
2021-05-27 11:06:29 - Остаток по товару: 25
2021-05-27 11:06:29 - Используем тег для sku: mlt-ФР-11120
2021-05-27 11:06:29 - Добавляем товар # 863: Фрезер 1200 Вт Енергомаш ФР-11120
2021-05-27 11:06:29 - Загружаем изображение https://images.ua.prom.st/816560610_frezer-energomash-1700.jpg в файл /home2/zabeycom/public_html/image/data/product/69/fa/62df22a5240cb251159998c78c50/1.jpg
2021-05-27 11:06:31 - 200
2021-05-27 11:06:31 - Загружаем изображение https://images.ua.prom.st/1659362459_frezer-energomash-1700.jpg в файл /home2/zabeycom/public_html/image/data/product/69/fa/62df22a5240cb251159998c78c50/2.jpg
______________________________________________________________________________________________________________________________

По Крону:

В логах только записи о старте...

 

_______________________________________________

Кстати, переместить файл к себе не сервер, идея хорошая, но в моем случае, не дала результата, поскольку фотографии, все равно на стороне поставщика и обращение, все равно, идет к его серверам.

 

[Allaur]

35 минут назад, zabey сказал:

Кстати, переместить файл к себе не сервер, идея хорошая, но в моем случае, не дала результата, поскольку фотографии, все равно на стороне поставщика и обращение, все равно, идет к его серверам.

 

Эта идея лишь для того чтобы узнать на чьей стороне проблемы с загрузкой прайса.  Я сделал первую загрузку без фоток
из 7382 позиций загрузились 7241
запустил ещё раз крон по расписанию на обновления фоток, полёт  30 минут, обновилась фотка только одной позиции. Жду дальше....

Изменено 27 мая 2021 пользователем Allaur

[Allaur]

5 минут назад, Allaur сказал:

запустил ещё раз крон по расписанию на обновления фоток, полёт  30 минут, обновилась фотка только одной позиции. Жду дальше....

фотки начали подгружаться....

[zabey]

5 часов назад, Allaur сказал:

фотки начали подгружаться....

Жду результат и переживаю как за родного 🙂

 

[Allaur]

2 часа назад, zabey сказал:

Жду результат и переживаю как за родного 🙂

 

Спасибо :)

Процентов 60-70 фоток подгрузилось
поставил крон на 3 ночи
завтра посмотрю ещё результат

[NeoSeo Team]

Добрый день. Напишите, пожалуйста, результат. Если возникнут вопросы, обращайтесь, всегда рады помочь.

[Allaur]

12 часов назад, Allaur сказал:

завтра посмотрю ещё результат

Вот и пришёл новый день.

Все живы здоровы, повезло....

А вот с парсером всё не везёт и не везёт ....

Фотки так все и не подгрузились. Изначально товар парсился несколько часов. Возможно и фотки будут обновляться так же долго. Возможно даже несколько суток. Я думаю что с каждым запуском крона раз в сутки подгружается какое то количество фоток.

Пока резюме следующее.

Во первых, прописываем команду крона не тупо вставляем путь из модуля типа:

php /var/www/==user==/data/www/==domain==/cron/neoseo_import_yml.php

а настраиваем команду в соответствии с настройками вашего хостинга. У меня крон отрабатывает по команде

/opt/php56/bin/php -q /var/www/==user==/data/www/==domain==/cron/neoseo_import_yml.php

Если сами не знаете что писать, долбитесь в техподдержку хостинга.

Во вторых у донора должен быть настроен хостинг на самое максимальное время обработки скрипта. Необходимо пройти по ссылке, которую дал поставщик и убедится что в браузере прайс открывается без проблем.

В третьих в товаре не должно быть специальных символов типа @ # $ & и тому подобных. Так же не должно быть кавычек " в названиях или в атрибутах, так же не должно быть знаков больше > и меньше < , я так понимаю что парсер спотыкается об эти символы и прекращает загрузку. Я сделал такой вывод после того как исправил в прайсе все эти символы и только после этого прайс загрузился. Как проверить наличие символов. По ссылке прайс открывается нормально, но не грузится. Копируем прайс в файл .xml  и заливаем к себе в корень сайта и открываем по адресу http://ваш_домен/имя_файла.xml Если есть спецсимволы то будут вылезать ошибки. Ну или на каком нибудь сервисе проверить файл  прайса на валидность.

В четвёртых, не ждём загрузки прайса сразу после включения крона. Товар парсится несколько часов. Если хотим проверить парсер,  не запускаем парсер в модуле, не запускаем крон на хостинге, настраиваем расписание крона и идём на прогулку, кто на велике кататься, кто в качалку, кто в лес, кто спать, кто кушать. В общем не морочим парсеру мозги часов 5-6. Потом проверяем что же вам там загрузилось. Если не весь товар загрузился, запоминаем число загруженного товара и ждём ещё пару часов. Если в последствии количество товара не изменилось, значит всё, парсинг окончен.

Если на доноре проблемы, сообщаем поставщику.

Если прайс в несколько тысяч товаров и хостинг донора не может обработать скрипт из-за ограничения обработки скрипта, то я думаю смысла  нет делить парсер на категории, потому как чтоб прочитать категории парсер должен всё таки открыть прайс. А хостинг не даёт ему открыть прайс. как же парсер будет вычислять категории.

Или я что-то не правильно понимаю?

Стучаться к поставщику, типа, увеличьте время обработки скрипта.... тут даже и не знаю что сказать. Если у поставщика есть техподдержка хостинга или поставщик сам в этом разбирается, то может быть и есть смысл, а если поставщик заморачиваться не будет, то просто придётся искать другого донора. Но я всё таки склоняюсь к тому что сам модуль необходимо доработать на придмет определения и изменения или  исключения спец символов.

Ещё заметил вот что. В модуле создано три поставщика. Два из них Статус выключено. При запуске крона всё равно парсятся все три поставщика. Я конечно ещё раз это перепроверю. Но пока что результат такой.

Сегодня буду проверять второй прайс. По ссылке прайс открывается. Ошибок вроде нет, но товара загружается менее одного процента.

Найду причину, отпишусь.

Всё
Всем доброго здоровья!

Изменено 28 мая 2021 пользователем Allaur

[NeoSeo Team]

2 часа назад, Allaur сказал:

Вот и пришёл новый день.

Все живы здоровы, повезло....

А вот с парсером всё не везёт и не везёт ....

Фотки так все и не подгрузились. Изначально товар парсился несколько часов. Возможно и фотки будут обновляться так же долго. Возможно даже несколько суток. Я думаю что с каждым запуском крона раз в сутки подгружается какое то количество фоток.

Пока резюме следующее.

Во первых, прописываем команду крона не тупо вставляем путь из модуля типа:

php /var/www/==user==/data/www/==domain==/cron/neoseo_import_yml.php

а настраиваем команду в соответствии с настройками вашего хостинга. У меня крон отрабатывает по команде

/opt/php56/bin/php -q /var/www/==user==/data/www/==domain==/cron/neoseo_import_yml.php

Если сами не знаете что писать, долбитесь в техподдержку хостинга.

Во вторых у донора должен быть настроен хостинг на самое максимальное время обработки скрипта. Необходимо пройти по ссылке, которую дал поставщик и убедится что в браузере прайс открывается без проблем.

В третьих в товаре не должно быть специальных символов типа @ # $ & и тому подобных. Так же не должно быть кавычек " в названиях или в атрибутах, так же не должно быть знаков больше > и меньше < , я так понимаю что парсер спотыкается об эти символы и прекращает загрузку. Я сделал такой вывод после того как исправил в прайсе все эти символы и только после этого прайс загрузился. Как проверить наличие символов. По ссылке прайс открывается нормально, но не грузится. Копируем прайс в файл .xml  и заливаем к себе в корень сайта и открываем по адресу http://ваш_домен/имя_файла.xml Если есть спецсимволы то будут вылезать ошибки. Ну или на каком нибудь сервисе проверить файл  прайса на валидность.

В четвёртых, не ждём загрузки прайса сразу после включения крона. Товар парсится несколько часов. Если хотим проверить парсер,  не запускаем парсер в модуле, не запускаем крон на хостинге, настраиваем расписание крона и идём на прогулку, кто на велике кататься, кто в качалку, кто в лес, кто спать, кто кушать. В общем не морочим парсеру мозги часов 5-6. Потом проверяем что же вам там загрузилось. Если не весь товар загрузился, запоминаем число загруженного товара и ждём ещё пару часов. Если в последствии количество товара не изменилось, значит всё, парсинг окончен.

Если на доноре проблемы, сообщаем поставщику.

Если прайс в несколько тысяч товаров и хостинг донора не может обработать скрипт из-за ограничения обработки скрипта, то я думаю смысла  нет делить парсер на категории, потому как чтоб прочитать категории парсер должен всё таки открыть прайс. А хостинг не даёт ему открыть прайс. как же парсер будет вычислять категории.

Или я что-то не правильно понимаю?

Стучаться к поставщику, типа, увеличьте время обработки скрипта.... тут даже и не знаю что сказать. Если у поставщика есть техподдержка хостинга или поставщик сам в этом разбирается, то может быть и есть смысл, а если поставщик заморачиваться не будет, то просто придётся искать другого донора. Но я всё таки склоняюсь к тому что сам модуль необходимо доработать на придмет определения и изменения или  исключения спец символов.

Ещё заметил вот что. В модуле создано три поставщика. Два из них Статус выключено. При запуске крона всё равно парсятся все три поставщика. Я конечно ещё раз это перепроверю. Но пока что результат такой.

Сегодня буду проверять второй прайс. По ссылке прайс открывается. Ошибок вроде нет, но товара загружается менее одного процента.

Найду причину, отпишусь.

Всё
Всем доброго здоровья!

Добрый день.

Спасибо за Ваш анализ.

 

Цитата

 

Во первых, прописываем команду крона не тупо вставляем путь из модуля типа:

php /var/www/==user==/data/www/==domain==/cron/neoseo_import_yml.php

а настраиваем команду в соответствии с настройками вашего хостинга. У меня крон отрабатывает по команде

/opt/php56/bin/php -q /var/www/==user==/data/www/==domain==/cron/neoseo_import_yml.php

 

Тут можем сказать, что не всегда нужно прописывать полный путь. Есть определенные сервера/хостинги, на которых необходимо прописывать полный путь, но большинство не требует указания полного пути.

Цитата

Но я всё таки склоняюсь к тому что сам модуль необходимо доработать на придмет определения и изменения или  исключения спец символов.

 

Спасибо за пожелания. Проверим данную проблему. Пришлите, пожалуйста, ссылку на прайс, в котором есть такие символы, чтобы мы могли проверить.

[Allaur]

9 часов назад, NeoSeo Team сказал:

Тут можем сказать, что не всегда нужно прописывать полный путь. Есть определенные сервера/хостинги, на которых необходимо прописывать полный путь, но большинство не требует указания полного пути.

Полный путь прописан у меня в модуле, это модуль мне так выдал. Я имел ввиду что стоит обратить внимание ещё и на настройки хостинга , а не только на путь в модуле

9 часов назад, NeoSeo Team сказал:

Спасибо за пожелания. Проверим данную проблему. Пришлите, пожалуйста, ссылку на прайс, в котором есть такие символы, чтобы мы могли проверить.

https://www.12volt.ua/index.php?route=feed/neoseo_product_feed&name=dropshiping

В контейнере <description> спецсимволы нормально себя ведут, а вот в контейнере <name> проблематично. Символ &

<name>Аккумулятор автомобильный Inci Aku Nanogold S&S 55</name>

в атрибутах знак <

<param name="КНИ">< 0.1 %</param>

и так же в атрибутах кавычки "черный ящик"

<param name="Внутренняя память "черный ящик"">1500 точек</param>

Я не знаю что именно из этого влияет на парсинг, а что не влияет, но когда я исправил эти данные, то парсер нормально отработал загрузку.

[Allaur]

Я смотрю вы цену подняли на модуль?

В нём что-то добавилось?

Для версии 1.5.6.1 этот модуль есть?

Изменено 28 мая 2021 пользователем Allaur

[Allaur]

Странно, но после обновления лицензии парсер перестал работать

Модуль вроде активирован, но товары по расписанию не грузятся вообще.
По кнопке Выполнить импорт загружаются только категории

[Allaur]

за ночь из 2000 позиций загрузилось пару сотен ☺️
Ну в общем как то не понятно всё работает ☺️

ждём дальше....