Назойливое 403 - Forbidden: Access is denied. - страница 2
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Про автобаны и контроль безопасности вы зря так пишите. Без этого жить невозможно, если у вас мало-мальски ценный сайт.
Согласен на все 100%
У меня на сайте чуть более 13 500 страниц
Так вот, если отключить или немного уменьшить защиту, то процент отказа растёт неимоверно, его постоянно пытаются парсить, и из-за этих "парсюков" нормальный человек не может его нормально листать, он начинает тупить, и это с учётом того, что хостинг не из ряда школьных, и тем более не бесплатный. Так-же и проблемы с поисковиками, из-за парсинга поисковик думает что у меня плохой и медленный сайт, и его с неохотой индексирует. Давно поставил кучу защит, и парсеры ушли лесом, ну парсят конечно, по десятку страниц в минуту и в бан.
Говорит она только о том, что поисковики не могут проиндексировать Ваш сайт.
Любой поисковик можно внести в исключения как в одну сторону, так и в другую, так-же и любой IP и маску IP. Я у себя забанил половину ботов, таких как гоугоу, спутник и прочий несуразный бред, они только едят ресурсы своим посещением и не дают нормальным пользователям нормально пребывать на сайте.
Согласен на все 100%
У меня на сайте чуть более 13 500 страниц
Так вот, если отключить или немного уменьшить защиту, то процент отказа растёт неимоверно, его постоянно пытаются парсить, и из-за этих "парсюков" нормальный человек не может его нормально листать, он начинает тупить, и это с учётом того, что хостинг не из ряда школьных, и тем более не бесплатный. Так-же и проблемы с поисковиками, из-за парсинга поисковик думает что у меня плохой и медленный сайт, и его с неохотой индексирует. Давно поставил кучу защит, и парсеры ушли лесом, ну парсят конечно, по десятку страниц в минуту и в бан.
Любой поисковик можно внести в исключения как в одну сторону, так и в другую, так-же и любой IP и маску IP. Я у себя забанил половину ботов, таких как гоугоу, спутник и прочий несуразный бред, они только едят ресурсы своим посещением и не дают нормальным пользователям нормально пребывать на сайте.
Тогда понятно - сервак не свой.... Значит всё таки школьный, раз у Вас болит голова о каких-либо дополнительных защитах.
Если нормально сконфигурирован сервер - никто ничего не взломает и неотпарсит, а хостинг будет летать, и чем выше посещаемость, тем быстрее грузятся страницы, т.к. работает кеширование если чо....
Ради прикола установите Битрикс (страниц там более мульта). По пути настроите подложку своего сайта... У меня сайт на нем грузился в первый раз 40 минут, на обычной LAMP-очке. Теперь меньше секунды. После этого любой парсинг, как впрочем и любой дополнительный посетитель, Вам за счастье будет.
Кстати, парсинг - это реклама в Вашу пользу и потенциально - Ваши клиенты, не более. Поисковые роботы, какими бы они небыли - это дополнительная посещаемость. Ну взгляните правде в лицо.
Тогда понятно - сервак не свой.... Значит всё таки школьный, раз у Вас болит голова о каких-либо дополнительных защитах.
Если нормально сконфигурирован сервер - никто ничего не взломает и неотпарсит, а хостинг будет летать, и чем выше посещаемость, тем быстрее грузятся страницы, т.к. работает кеширование если чо....
Ради прикола установите Битрикс. По пути настроите... У меня сайт на нем грузился в первый раз 40 минут, на обычной LAMP-очке. Теперь меньше секунды. После этого любой парсинг, как впрочем и любой дополнительный посетитель, Вам за счастье будет.
Кстати, парсинг - это реклама в Вашу пользу и потенциально - Ваши клиенты, не более. Поисковые роботы, какими бы они небыли - это дополнительная посещаемость. Ну взгляните правде в лицо.
Вся правда в конвертации, а не в нелепых парсингах и посещениях какими-то неизвестными ботами. Какой смысл иметь 100500 посещений, и не иметь при этом потенциальных клиентов? Всё ради красивых показаний счётчика посещений)
Любой сайт - это СМИ, а это доступ для всех желающих. Просто защищаться нужно правильно и делов то.
настройка iptables на уровне сервера или .htaccess в корне сайта, наконец
А посещаемость всё-таки важна, как ни странно, тем более для инет-магазина. Согласен, что составляющие посещаемости нужно корректировать - отбросить из итоговой цифры боты, парсеры и прочее, чтобы выявить полезную инфу.
У этого сайта, к примеру - 45% посещаемости - это гугл (USA). Сайт не тормозит, нормально работает.
Ну, а я до сих пор в автобане)))
На сейчас ситуация вот такая, и при этом конвертация составляет 20-30% !!!
А вот когда шла борьба за трафик, то просмотром было от 1500, а вот конвертации не было, когда начал смотреть на проблему глубже, то выяснил только то, что нужно банить всех парсеров, всех галимых никому неизвестных ботов и хотлинкеров.
На сегодня смог добиться вот такой замечательный результат - только целевые просмотры живыми людьми, и отменная индексация известными ботами.
На сейчас ситуация вот такая, и при этом конвертация составляет 20-30% !!!
А вот когда шла борьба за трафик, то просмотром было от 1500, а вот конвертации не было, когда начал смотреть на проблему глубже, то выяснил только то, что нужно банить всех парсеров, всех галимых никому неизвестных ботов и хотлинкеров.
На сегодня смог добиться вот такой замечательный результат - только целевые просмотры живыми людьми, и отменная индексация известными ботами.
Ну да, чисто посещаемость. Хорошая работа.
Писал я такую же фишку для своего сайта, тоже магаз. Однако я учитывал время входа и время выхода. Если больше 30-ти секунд на одной странице, то вероятнее всего что целевой. Будет раз в 10 меньше. Элементарно, но остальные отсеиваются автоматически, т.е. те, кого отбросила метрика.
Ну вобщем ладно, постарался донести в общих чертах целесообразность применения автобана.
А я, возможно, попробую зайти на этот сайт через неделю.
На графиках что гугл, что яндекс - результат - красным. Дело Ваше, но это независимая оценка, я здесь не причём. Говорит она только о том, что эти поисковики не могут проиндексировать 28% Вашего сайта.
Поисковики сейчас очень придирчиво решают, что включать в индекс. По факту, проиндексировав(и это показано в Google Web Master и Yandex Web Master) 3 000 000 страниц, они включают в индекс дай бог 1 000 000. Потому что они решают, насколько полезна и качественна каждая страница.
Яндекс ведет себя очень странно - "3 дня назад удалил из видимого индекса 300 000 страниц, через день включил назад 150 000, потом еще включил 50 000, потом удалил 70 000, потом подумал и снова добавил больше, чем удалил и тд". Причем количество проиндексированных(не путайте с допущенными в видимый индекс) страниц только растет непрерывно. Налицо явные технические проблемы Яндекса, которые пользователи просто не видят из-за огромного общего индекса, который сглаживает любые ошибки за любой срок.
Не переживайте, у нас многолетний опыт наблюдения за безобразиями. Любой одиночный сайт никому не интересен(кроме автоматических ботов-сканеров), по сравнению с сайтами типа нашего.
Я объяснил, почему эта оценка ошибочна. И даже четко указал - поисковики не блокируются.
Поисковики сейчас очень придирчиво решают, что включать в индекс. По факту, проиндексировав(и это показано в Google Web Master и Yandex Web Master) 3 000 000 страниц, они включают в индекс дай бог 1 000 000. Потому что они решают, насколько полезна и качественна каждая страница.
Яндекс ведет себя очень странно - "3 дня назад удалил из видимого индекса 300 000 страниц, через день включил назад 150 000, потом еще включил 50 000, потом удалил 70 000, потом подумал и снова добавил больше, чем удалил и тд". Причем количество проиндексированных(не путайте с допущенными в видимый индекс) страниц только растет непрерывно. Налицо явные технические проблемы Яндекса, которые пользователи просто не видят из-за огромного общего индекса, который сглаживает любые ошибки за любой срок.
Не переживайте, у нас многолетний опыт наблюдения за безобразиями. Любой одиночный сайт никому не интересен(кроме автоматических ботов-сканеров), по сравнению с сайтами типа нашего.
Ну раз многолетний опыт, тогда рассудит время, ведь автобану максимум три месяца, однако мне интересен маркет, который доступен всем.
Про Яндекс тоже согласен. Испытал...
Ну раз многолетний опыт, тогда рассудит время, ведь автобану максимум три месяца, однако мне интересен маркет, который доступен всем.