Оптимизация динамических сайтов Mod rewrite

Многие сайты (особенно сайты больших корпораций) применяют динамическое формирование содержания. Cтраницы динамически формируемых сайтов создаются «на лету»; каждая секция страницы заполняется из центральной базы данных. Некоторые ПМ (например, Google) могут индексировать сайты, URL которых содержит строки запроса, но чаще всего индексирование в этом случае не заходит значительно глубже главной страницы, поскольку потенциальный размер базы данных контента может вызвать перегрузку на сервере ПМ, снизить его работоспособность и повлиять на размер базы самой ПМ.

К сожалению, это означает, что если сайт основан на базе данных, то ПМ может его просто пропустить! Таким образом, web-мастер совершенно упускает из вида, что его новенький, с иголочки сайт, динамически формируемый с помощью базы данных, – «головная боль» для ПМ. Итак, каковы же выводы? Лучшее решение проблемы – убрать параметры из URL и сделать станицы статическими, а не динамическими. Если это невозможно, уменьшить количество параметров или использовать специальное программное обеспечение, которое автоматически удаляет стоп-символы и делает URL дружественным ПМ.

Другое решение – использовать Robots Exclusion Protocol (файл Robots.txt). В этом файле можно задать страницы, которые не следует индексировать. Таким образом, на сайтах с динамически формируемым содержанием можно проинструктировать робота опускать дублируемые или препятствующие индексированию страницы.

Еще одно решение – Mod rewrite

Mod_rewrite – модуль веб-сервера Apache, предназначенный для преобразования URL. Работает «на лету», преобразуя запрошенный URL по заданным правилам с использованием регулярных выражений. При этом правила преобразований могут быть заданы как для веб-сервера в целом (в файле конфигурации httpd.conf или включаемых файлах), так и в контексте отдельной директории (в файле локальной конфигурации .htaccess). Кроме шаблонов правил, задаются также и условия их выполнения, в результате получается очень гибкий и мощный механизм преобразования. В условиях используются переменные окружения Apache, что позволяет управлять подменой не только URI, но и имени хоста, реагировать на браузер (или поискового бота), переадресовывать запрос в другой домен, обрабатывать ошибочные запросы и многое другое.