Google и robots.txt

[Bazz]

Делаю выгрузку фида из вашего модуля для google merchant. Robots.txt генерируется тоже вашим модулем. Но почему-то гугл пишет что robots.txt блокирует сканирование изображений. В чем может быть проблема. bazz.com.ua/robots.txt

Платформа premium с 1с

Изменено 4 августа 2021 пользователем Bazz

[NeoSeo Help 1]

16 часов назад, Bazz сказал:

Делаю выгрузку фида из вашего модуля для google merchant. Robots.txt генерируется тоже вашим модулем. Но почему-то гугл пишет что robots.txt блокирует сканирование изображений. В чем может быть проблема. bazz.com.ua/robots.txt

Платформа premium с 1с

Добрый день.

Не могу посмотреть на Ваш файл роботс, пришлите его текстом, пожалуйста.

[Bazz]

Уже можете посмотреть. Я уже пробовал его даже удалять но гугл все равно говорит что robots.txt блокирует 

[NeoSeo Help 1]

3 минуты назад, Bazz сказал:

Уже можете посмотреть. Я уже пробовал его даже удалять но гугл все равно говорит что robots.txt блокирует 

В Вашем файле не вижу запрета на сканирование изображений. Дело в чем-то другом. В логах модуля есть какая-то информация?

[Bazz]

[Bazz]

в логах пусто

[NeoSeo Help 1]

1 минуту назад, Bazz сказал:

Сейчас изучим информацию по этому вопросу. Пожалуйста, не изменяйте пока ничего в файле роботс. Отпишем Вам по Вашей проблеме. И уточните, пожалуйста, какой именно модуль Вы используете - мультиэкспорт или выгрузки на гугл?

[Bazz]

выгрузка гугл платформа premium 1c

[NeoSeo Help 1]

1 минуту назад, Bazz сказал:

выгрузка гугл платформа premium 1c

Спасибо, ответим Вам как можно скорее.

[Bazz]

даже в google search console не идексируется пишет что блокирует роботс.тхт я пробывал удалять роботс тхт тоже ничего не помогло

прописывал эти строчки тоже не помогло

User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

[NeoSeo Help 1]

1 минуту назад, Bazz сказал:

даже в google search console не идексируется пишет что блокирует роботс.тхт я пробывал удалять роботс тхт тоже ничего не помогло

прописывал эти строчки тоже не помогло

User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

Хорошо, пока что не изменяйте и не удаляйте файл, пожалуйста.

[Bazz]

ок. Спасибо жду ничего не делаю

[NeoSeo Help 1]

4 минуты назад, Bazz сказал:

ок. Спасибо жду ничего не делаю

Уточните, пожалуйста, по ссылкам из фида Вы можете открыть картинки в браузере? Есть какая-либо ошибка?

[Bazz]

По ссылке из фида в браузере все открывает

[Bazz]

Дело не только в google merchant в Google search console тоже не индексируется пишет что блокирует robots.txt 

[NeoSeo Help 1]

20 минут назад, Bazz сказал:

Дело не только в google merchant в Google search console тоже не индексируется пишет что блокирует robots.txt 

А у Вас в папке с изображениями нет файла .htaccess? Если нет, пришлите, пожалуйста, такой же файл из корня сайта.

[Bazz]

нету. Скопировать из корня сайта в папку image?

 

[NeoSeo Help 1]

1 минуту назад, Bazz сказал:

нету. Скопировать из корня сайта в папку image?

 

Нет, не копируйте, прикрепите сюда, пожалуйста.

[Bazz]

Options +FollowSymlinks

# Чтоб врагам не досталось содержимое каталогов
Options -Indexes

# Запрет на чтение секретных файлов
<FilesMatch "(?i)((\.tpl|\.ini|\.log|(?<!robots)\.txt))">
 Order deny,allow
 Deny from all
</FilesMatch>

# Шаманство с урлами
RewriteEngine On

RewriteCond %{HTTP_ACCEPT} image/webp
RewriteCond %{DOCUMENT_ROOT}/$1.webp -f
RewriteRule (.+)\.(jpe?g|png)$ $1.webp [T=image/webp,E=accept:1]
<IfModule mod_headers.c>
Header append Vary Accept env=REDIRECT_accept
</IfModule>
AddType image/webp .webp

# Редирект c www на без www
RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ https://%1/$1 [L,R=301]

# Редирект для главной (с /index.php на /)
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]

# Редирекс с //////////// на /
RewriteCond %{REQUEST_URI} ^(.*?)\/{2,}(.*?)$
RewriteRule (.*) %1/%2 [R=301,L,QSA]

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/neoseo_fast_sitemap [L]
RewriteRule ^sitemap([^\.]+).xml$ index.php?route=feed/neoseo_fast_sitemap&path=$1 [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

#php_value max_input_vars 10000
#php_value suhosin.post.max_vars 10000
#php_value suhosin.request.max_vars 10000
 

htaccess

Изменено 5 августа 2021 пользователем Bazz

[Bazz]

я пробывал его полностью удалять ничего не помогло

[NeoSeo Help 1]

2 минуты назад, Bazz сказал:

я пробывал его полностью удалять ничего не помогло

Не нужно так делать. Изучим и ответим Вам.

[NeoSeo Help 1]

56 минут назад, Bazz сказал:

я пробывал его полностью удалять ничего не помогло

Уточните, у Вас точно ничего нет в логах модуля? Проверьте, включено ли логирование в настройках модуля на вкладке "Логи". Если отключено, включите, сохраните настройки, сделайте выгрузку, по окончанию её перезагрузите страницу и проверьте логи.

[Bazz]

включить режим отладки?

[Bazz]

логи включены сделал выгрузку повторно в логах пусто

[NeoSeo Help 1]

1 час назад, Bazz сказал:

логи включены сделал выгрузку повторно в логах пусто

С самим модулем проблемы, как я понимаю, нет, только с индексацией. Возможно, Вы только недавно изменили файл роботс и изменения не успели вступить в силу? Для этого нужно несколько дней, до недели.