Поддержка модуля Импорт товаров из YML для Opencart 1.5Х, 2.Х, 3.Х

[Allaur]

в общем, когда парсер начинает загрузку и когда заканчивает - это тайна покрытая мраком ☺️

Если вы не увидели товары после включения парсера и захотели изменить настройки парсера, например настроить загрузку из определённой категории, то не получится. Товары загрузятся из всех категорий. Чтобы перенастроить парсер необходимо дождаться конца загрузки первого цикла. А когда конец? Не известно ☺️

Подожду ещё пару часов и если товаров больше не загрузится буду проверять настройку загрузки по категориям.

[Allaur]

Фотки

28.05.2021 в 11:22, Allaur сказал:

Вот и пришёл новый день.

Все живы здоровы, повезло....

А вот с парсером всё не везёт и не везёт ....

Фотки так все и не подгрузились. Изначально товар парсился несколько часов. Возможно и фотки будут обновляться так же долго. Возможно даже несколько суток.

Прошли ещё сутки, фотки все ещё не подгрузились.......

[Allaur]

вот ещё какую штуку заметил
сейчас на закачке три поставщика. Крон поставил на включение каждый час. Проверяю лог и там пишется статус работы парсера(я так понимаю)
Но парсер не качает нового поставщика, а обновляет того что уже закачен. Нового поставщика вторые сутки уже закачать не может.

Есть такое предложение.

Сделать так что обновления не происходили до тех пор пока все поставщики не заполнятся. Иначе вообще не вижу смысла подключать несколько поставщиков. Потому что если у первого поставщика в списке будет 10К товара, то остальные своей очереди загрузки вообще не дождутся.

Один поставщик вроде закачивается и обновляется нормально. Два уже хуже. Три вообще ни как. А если их будет 10 ?
С этим надо что-то решать.

[Allaur]

Если запуск крона поставить раз в неделю то может и будет всё добавляться и обновляться. Но как это узнать...
Тестовой лицензии по времени не хватит сделать такую проверку.

И ещё заметил что многие товары выключены, хотя они есть в наличии.
Скринами предоставляю  мои настройки парсера.

[NeoSeo Team]

28.05.2021 в 23:32, Allaur сказал:

Полный путь прописан у меня в модуле, это модуль мне так выдал. Я имел ввиду что стоит обратить внимание ещё и на настройки хостинга , а не только на путь в модуле

https://www.12volt.ua/index.php?route=feed/neoseo_product_feed&name=dropshiping

В контейнере <description> спецсимволы нормально себя ведут, а вот в контейнере <name> проблематично. Символ &

<name>Аккумулятор автомобильный Inci Aku Nanogold S&S 55</name>

в атрибутах знак <

<param name="КНИ">< 0.1 %</param>

и так же в атрибутах кавычки "черный ящик"

<param name="Внутренняя память "черный ящик"">1500 точек</param>

Я не знаю что именно из этого влияет на парсинг, а что не влияет, но когда я исправил эти данные, то парсер нормально отработал загрузку.

Добрый день. Эти знаки являются служебными, поэтому и возникает такая ошибка.

[NeoSeo Team]

29.05.2021 в 00:04, Allaur сказал:

Я смотрю вы цену подняли на модуль?

В нём что-то добавилось?

Для версии 1.5.6.1 этот модуль есть?

На модуль сейчас действует скидка:

Версию OpenCart 1.5, на данный момент, модуль не поддерживает.

[NeoSeo Team]

29.05.2021 в 01:49, Allaur сказал:

Странно, но после обновления лицензии парсер перестал работать

Модуль вроде активирован, но товары по расписанию не грузятся вообще.
По кнопке Выполнить импорт загружаются только категории

По кнопке "Выполнить импорт" загружается то количество данных, которые успевает за указанный в настройках сервера/хостинга лимит времени. Поэтому загружается только часть данных. 

[NeoSeo Team]

20 часов назад, Allaur сказал:

вот ещё какую штуку заметил
сейчас на закачке три поставщика. Крон поставил на включение каждый час. Проверяю лог и там пишется статус работы парсера(я так понимаю)
Но парсер не качает нового поставщика, а обновляет того что уже закачен. Нового поставщика вторые сутки уже закачать не может.

Есть такое предложение.

Сделать так что обновления не происходили до тех пор пока все поставщики не заполнятся. Иначе вообще не вижу смысла подключать несколько поставщиков. Потому что если у первого поставщика в списке будет 10К товара, то остальные своей очереди загрузки вообще не дождутся.

Один поставщик вроде закачивается и обновляется нормально. Два уже хуже. Три вообще ни как. А если их будет 10 ?
С этим надо что-то решать.

Когда выполняется импорт по крону, то он работает таким образом:

С базы данных получает те импорты, у которых статус включено и запускает их выполнение по-очереди.

То есть сначала выполняется первый импорт, потом второй, и т.д.

Соответственно, если у Вас установлены, какие-либо лимиты и по крону, то до других поставщиков очередь может не дойти.

[NeoSeo Team]

20 часов назад, Allaur сказал:

Если запуск крона поставить раз в неделю то может и будет всё добавляться и обновляться. Но как это узнать...
Тестовой лицензии по времени не хватит сделать такую проверку.

И ещё заметил что многие товары выключены, хотя они есть в наличии.
Скринами предоставляю  мои настройки парсера.

У Вас включена опция "Контроль наличия товара". Поэтому у Вас многие товары могут отключаться при выполнении импорта.

[Allaur]

3 часа назад, NeoSeo Team сказал:

Добрый день. Эти знаки являются служебными, поэтому и возникает такая ошибка.

Ну так я же про это и говорил. Надо ж как то это решать......

[Allaur]

3 часа назад, NeoSeo Team сказал:

Версию OpenCart 1.5, на данный момент, модуль не поддерживает.

А название темы 

Импорт товаров из YML для Opencart 1.5Х

Печальненько, придётся огорчить заказчика....

 

[Allaur]

4 часа назад, NeoSeo Team сказал:

На модуль сейчас действует скидка:

 

Написал вам в личку

[Allaur]

3 часа назад, NeoSeo Team сказал:

По кнопке "Выполнить импорт" загружается то количество данных, которые успевает за указанный в настройках сервера/хостинга лимит времени. Поэтому загружается только часть данных. 

Не понял.....

Во первых
Я ранее писал что загрузка велась нормально. Я делаю загрузку одних и тех же поставщиков. Просто после загрузки удаляю товары
 и опять с начало проверяю парсер.
У меня личный сервер и время я там выставил дай бог каждому столько времени :)

Тут дело оказалось совсем в другом. Не загружался вновь созданный поставщик, потому что парсер с начало запускает обновление первого по списку поставщика. Вот я и не увидел загрузки товара.
Во вторых

загружается то количество данных, которые успевает за указанный в настройках сервера/хостинга лимит времени.

И как узнать сколько необходимо времени для загрузки 20К товара?

На странице модуля написано

Системные требования: PHP 5.3 - 7.2 vqmod для 1.5 ocmod для 2.х

* Для версии PHP 7.3 необходимо брать модули под PHP 7.2 и тестировать на сайте
(в большинстве случаев они работают)

ioncube loader: 6.0 и выше

max_input_vars 10000 и выше

max_input_vars 10000 у меня 20 000  -- этого мало?

Какие должны быть настройки для 5 поставщиков и  у каждого поставщика по 10К товара?

У меня три поставщика неделю не могут ни загрузится ни обновится. Сколько им нужно времени? там в общем не более 10К товара.

[Allaur]

4 часа назад, NeoSeo Team сказал:

С базы данных получает те импорты, у которых статус включено и запускает их выполнение по-очереди.

я сутки назад выключил двух поставщиков

Остался один включенный, там 1300 товаров. и уже сутки ни как закачать не может. Когда выставлял поставщиков по одиночке, то все нормально закачивались. То есть один поставщик только нормально работает....

 

[Allaur]

4 часа назад, NeoSeo Team сказал:

Соответственно, если у Вас установлены, какие-либо лимиты и по крону, то до других поставщиков очередь может не дойти.

А какие по крону могут быть ещё лимиты? Да и при чём тут лимиты, я же уже несколько раз писал. Один поставщик с товарами в 8 с лишним тысяч нормально закачивается. Значит хватает времени всем и крону и скрипту.

Добавил ещё двух поставщиков, у одного 500 с лишним товара  у другого 1300 с лишним. То есть к тем восьми прибавилось ещё две тысячи и всё.. Парсер встал.

[Allaur]

4 часа назад, NeoSeo Team сказал:

 

С базы данных получает те импорты, у которых статус включено и запускает их выполнение по-очереди.

То есть сначала выполняется первый импорт, потом второй, и т.д.

Вот я про это и писал. Необходимо сделать так чтобы импорты не обновлялись пока новые поставщики не загрузятся полностью. Иначе будет только обновляться первый поставщик и может быть второму что-нибудь достанется. Третий же будет сидеть глухо.

[Allaur]

4 часа назад, NeoSeo Team сказал:

У Вас включена опция "Контроль наличия товара". Поэтому у Вас многие товары могут отключаться при выполнении импорта.

Правильно. Как же мне контролировать наличие. Поэтому опция и включена. Но дело в том что у донора то товар в наличии 50шт, а у меня выключен. Почему?

[Allaur]

вот
в прайсе товар в наличии

<offer available="true" id="4570">

в магазине выключен

[NeoSeo Team]

21 час назад, Allaur сказал:

А название темы 

Импорт товаров из YML для Opencart 1.5Х

Печальненько, придётся огорчить заказчика....

 

Добрый день.

Да, название исправим. Ранее модуль работал на данной версии, но сейчас он снят с продаж.

 

[NeoSeo Team]

21 час назад, Allaur сказал:

Не понял.....

Во первых
Я ранее писал что загрузка велась нормально. Я делаю загрузку одних и тех же поставщиков. Просто после загрузки удаляю товары
 и опять с начало проверяю парсер.
У меня личный сервер и время я там выставил дай бог каждому столько времени 🙂

Тут дело оказалось совсем в другом. Не загружался вновь созданный поставщик, потому что парсер с начало запускает обновление первого по списку поставщика. Вот я и не увидел загрузки товара.
Во вторых

загружается то количество данных, которые успевает за указанный в настройках сервера/хостинга лимит времени.

И как узнать сколько необходимо времени для загрузки 20К товара?

На странице модуля написано

Системные требования: PHP 5.3 - 7.2 vqmod для 1.5 ocmod для 2.х

* Для версии PHP 7.3 необходимо брать модули под PHP 7.2 и тестировать на сайте
(в большинстве случаев они работают)

ioncube loader: 6.0 и выше

max_input_vars 10000 и выше

max_input_vars 10000 у меня 20 000  -- этого мало?

Какие должны быть настройки для 5 поставщиков и  у каждого поставщика по 10К товара?

У меня три поставщика неделю не могут ни загрузится ни обновится. Сколько им нужно времени? там в общем не более 10К товара.

Мы Вам написали выше, что Вам нужно загружать такое количество товаров только по крону. Через админ. панель могут быть обрывы из-за лимитов, которые установлены в настройках php. Это наши рекомендации для корректного импорта всех товаров.

Через админ. панель мы не можем сказать точно какие нужно установить значения. Так как прайсы таких размеров всегда загружаются через крон.

[NeoSeo Team]

21 час назад, Allaur сказал:

Вот я про это и писал. Необходимо сделать так чтобы импорты не обновлялись пока новые поставщики не загрузятся полностью. Иначе будет только обновляться первый поставщик и может быть второму что-нибудь достанется. Третий же будет сидеть глухо.

Модуль, на данный момент, имеет именно такой функциона.

Если необходимо, можем сделать такую доработку, но на платной основе.

[NeoSeo Team]

21 час назад, Allaur сказал:

Правильно. Как же мне контролировать наличие. Поэтому опция и включена. Но дело в том что у донора то товар в наличии 50шт, а у меня выключен. Почему?

Эта опция работает таким образом: если товар отсутсвует в прайсе - будет отключен в магазине.

То есть Вы сначала импортировали одного поставщика. Затем начинаете второго. Модуль проверяет, есть ли во втором прайсе уже импортированные товары и если нет, отключает их.

Поэтому опцию нужно отключить. 

[Allaur]

5 минут назад, NeoSeo Team сказал:

Мы Вам написали выше, что Вам нужно загружать такое количество товаров только по крону.

Да я через админ панель ничего не делаю уже...
Это я уже давно понял. Делаю всё через крон.

[Allaur]

3 минуты назад, NeoSeo Team сказал:

Эта опция работает таким образом: если товар отсутсвует в прайсе - будет отключен в магазине.

То есть Вы сначала импортировали одного поставщика. Затем начинаете второго. Модуль проверяет, есть ли во втором прайсе уже импортированные товары и если нет, отключает их.

Поэтому опцию нужно отключить. 

ааааааа
блин
это опция связанная с поставщиками одинаковых товаров?
))))
блин
))
И кто об этом сможет догадаться? ))))
Ну понял
Отключаю :)

[Allaur]

11 минут назад, NeoSeo Team сказал:

Модуль, на данный момент, имеет именно такой функциона.

Если необходимо, можем сделать такую доработку, но на платной основе.

Сколько будет стоить такая доработка?

Я думаю что это будет важно не только для меня...

 

Изменено 1 июня 2021 пользователем Allaur