Эта тема на forum.dklab.ru


Сергей доктор: программы для анализа лог файла apache
Я тут провел небольшое исследование, посвященное программам анализа лог файлов Apache.
Сразу оговорюсь, все программы написаны под WIN. У этих программ конечно существуют
аналоги под LINUX, только лично я предпочитаю скачать лог доступа , а потом в тишине и покое где-
нибудь на дачном участке его "поисcледовать". Тем более на даче интернет через GPRS и
больно то в online не "поисcледуешь".
Поскольку это форум, а не личный дневник пользователя по имени "доктор" то кроме полезной
надеюсь с моей стороны информации, будет и вопрос.
Итак: Программы подобное рода, это прежде всего рынок. Большинство из них платные.
Но есть несколько очень хороших бесплатных программ.
Это конечно во первых URL ftp://ftp.mrunix.net/pub/webalizer/webalizer-2.01-10-win32-bin.zip
Достаточно известный "webalizer" Программа хорошея, бесплатная, стоит на многих хостерах.
Имеет пару недостатков. Довольно коряво руссофицирована и имеет ограниченные возможности настройки
формата входных лог файлов, которые могут иметь самый экзотический вид, как выяснилось.
Кроме этого, формат выходных данных строго фиксирован и нельзя получить то, что может быть
интересует.(поисковые слова например, рефереры и так далее)
От этих недостатков избавлена не менее легендарная программа
"analog" http://www.analog.cx/analog_60w32.zip Настраивается под любой формат входных данных.
Имеет очень гибкий конфиг файл, где можно задавать формат выходных данных. Руссофицирована.
Бесплатна. Собственно ради этой программы я и писал эту заметку. Дело в том, что возможности
настройки этой программы безграничны (если почитать help) Но лично я не разобрался пока, как сделать
такой конфиг файл, что бы он показывал заходы с поисковых роботов. Все остальные проблемы, мной
вроде бы решены. Если интересно, могу опубликовать собственный конфиг файл где показывается
почти все, что нужно для "спокойной старости" то бишь рефереры, наиболее посещаемые страницы,
поисковые запросы и так далее.
Пошли далее. Если походить и почитать в интернете, то оказывается, что наиболее и популярна вот
эта программа (в смысле имеющая массу разных наград и регалий)
http://product.webtrends.com/wrc/7.1/Download/wt-windows.exe "webtrends" Называется.
Зарубежные и наши "интернет обозреватели" просто захлебывается слюной от описание массы ее возможностей.
Не спешите качать, там более 20 мегов. Тем паче, вот несчастье, полный вариант этой программы
стоить не больше не меньше 400$.
"Наши" (не в смысле известных сейчас пропрезиденстких "наших" а просто русскоязычные) тоже пишут..
и довольно много и все практически за деньги.
Это программа в составе раскрутки сайта "pagepromouter" URL
http://net-promoter.com/ru/loganalyzer/loganalyzer.exe Довольно неплоха, анализирует заходы поисковиков
Но небесплатна и стоит довольно прилично.
Компания SPyrog тоже отметилась http://flexolyzer.ru/upload/flexolyzer-1.0_46391839.zip
По их словам, также имеет много возможностей и все на родном могучем и великом. У меня до нее
руки не дошли, но тоже для общего развития говорю: платная она.
Но не все в нашей стране такие любители денег. Есть и доброхоты. Вообще в нашей стране ничего среднего
нет. Или все "бабки" отдай или на последнею рубашку. Вот эта:
URL http://www.softoboz.com.ua/download/logcount.zip
Вообще то это программа не для анализа лог файлов.
Это программа для сбора статистики.
Эта два PERL скрипта, но замечательны они тем,
что формируют файл который может быть прочитан выше написанными программами. Файл в отличии от
стандартного log access получается маленьким и компактным так как там, к примеру, не берется в расчет
анализ элементов украшения веб сайта.
Вот кажется и все, небольшая даже заметка получилась.
Безусловно все эти програмы читают лог файл "денвера" без всякий проблем.
Ant:
Перенесено из форума: Форум для начинающих :: Денвер.
Перенесено в форум: Полезные советы :: Денвер.
Ant:
Думаю, тема будет полезна для других людей. Так что не мусорить тут, а говорить только по существу.
Сергей доктор, +3.
Дмитрий Котеров:
Есть еще awstats, вот пример: http://awstats.denwer.ru/
Чистый Perl. Возможностей, правда, не так много, но - в последнее время довольно популярная штука. Бесплатная.

Цитаты с http://forum.net.ru/viewtopic.php?p=7953#7953

Только что сам устанавливал, так что - подробное описание того, что нужно сделать.

0. Включаем еженочную запись логов в ~/logs, для чего создаем эту директорию.
1. Скачиваем с http://awstats.sourceforge.net/ tgz-версию. Распаковываем куда-нибудь.
2. Создаем поддомен ~/html/awstats.
3. Копируем туда все содержимое wwwroot/* из распакованного архива.
5. Заходим в cgi-bin, копируем awstats.model.conf в awstats.conf.
4. Правим конфиг awstats.conf:

# Использовать самый последний лог-файл
LogFile="cat `ls ~/logs/access.log.* | tail -n 1` |"
# Я в LogFormat еще заменил пробелы на табуляции - не знаю,
# нужно ли это, но - так точно работает.
LogFormat="%time4 %host %code %bytesd %method %virtualname %url %referer %ua"
LogSeparator="\t"
# Вроде обязательно с www!!!
SiteDomain="www.ДОМЕН.ru"
# Если хотите разрешать обновлять статистику из браузера - для
# тестирования, например, удобно.
AllowToUpdateStatsFromBrowser=1

После этого статистика доступна по http://awstats.ДОМЕН.ru/cgi-bin/awstats.pl

Можно прописать в крон запуск обновлятеля, как-то так:

1 6 * * * cd ~/html/awstats/cgi-bin; ./awstats.pl -config=default -update >~/cron.log 2>&1

Подключение GeoIP к этому делу:

1. В конфиге:
LoadPlugin="geoip ./GeoIP.dat"

2. в cgi-bin/lib/Geo/IP/PurePerl.pm кладем pm-файл PurePerl.pm из http://search.cpan.org/~tjmather/Geo-IP-PurePerl/

3. Правим кривой awstat: в файле plugins/geoip.pm ищем строчку:
else { $mode=Geo::IP::PurePerl::GEOIP_STANDARD(); }
Заменяем на:
elsif (!-f $mode) { $mode=Geo::IP::PurePerl::GEOIP_STANDARD(); }

4. Кладем в cgi-bin/ файл GeoIP.dat, полуенный вот отсюда: http://www.maxmind.com/download/geoip/database/

После всех экспериментов надо не забывать удалять файлы данных awstats*.txt (по крайней мере, за текущий месяц), иначе он не будет заново анализировать логи. Правда, если удалить, то вся ранее накопленная статистика потеряется.

Если ничего не получается, придется долго-долго мучиться. Я сейчас сидел часа 2, наверное, прежде чем все это заработало. Что именно изменил, чтобы заработало, - не знаю. Вероятнее всего, добавил "www" перед названием домена в конфиге.

Вообще, впечатления: awstats - штука наикривейшая. Никакой внятной отладочной информации не выдает (если включить режим отладки методом правки исходника, то выдает просто лавину совершенно ненужных сведений, в которой разобраться нет никакой возможности). В совокупности с тем, что SSH у net.ru просто-таки никакой (нет даже нормального текстового редактора, один только vi и edit, в которых даже Del и Backspace работают неправильно, а PgDn - вообще не работает), отладка превращается в мучение.
Сергей доктор:
Я закончу тему, так как с первоначального времени появления заметки, появились небольшие новые мои "изыскания".
Вообщем, если не особо не морочить себе голову, то бесплатный "аналог" http://www.analog.cx/analog_60w32.zip в принципе может решить все Ваши проблемы. Он имеет несколько недостатков и главное тут не сложность освоения, что решаемо, а довольно неудобный способ просматривать поисковые запросы на русском языке. Так как надо переводить кодировку браузера в кодировку UTF-8. Возможно и это решаемо, но я не столь хорошо знаю англицкий язык, чтобы обсуждать эту проблему в англоязычном форуме.
Хотя я сейчас перешел на другую программу (о ней ниже) я до сих пор пользуюсь аналогом, так как он показывает на моем WAP сайте с каких сотовых телефонов заходили, другие программы анализаторы, браузеры сотовых телефонов упорно не видят.
Ну а одна из самых лучших программ, на мой взляд это конечно "Web Log Explorer Pro" www.exacttrend.com
ПРограмма не бесплатна, но лекарство находится довольно просто.
Она руссофицирована и имеет буквально все, что нужно и самое главное поисковые запросы дает в нормальной кодировке, которые, более того, можно посмотреть по конкретной поисковой машине.
Вот и все.
Дмитрий Котеров:
Ветка выделена в отдельную тему «Злостный оффтопик, читайте правила форума.»,
расположенную в форуме Лень сходить в Поиск или почитать документацию (26 Ноября 2005, 19:44).
irb:
Извиняюсь, если не в тему. Но может кто подскажет как работать с Analog'ом. Недавно попробовал разместить что-то типа сайта на бесплатном хостинге и интересно стало посмотреть в нормальном виде файлы access и error. Скачал Аналог, а что дальше делать вообще не знаю. Может я что-то не так делаю, но программа просто запускается, на секунду выскакивает досовское окно и закрывается.
Сергей доктор:
Если имеется ввиду бесплатный хостинг www.holm.ru (а только там мне известно дают доступ к суточному логу) то там формат "logformat" должен быть таким:
###############################################################################
# THE LOGFILE INPUT #
###############################################################################

# If you need a LOGFORMAT command (most people don't -- try it without first!),
# it must go here, above the LOGFILE commands.
# Если давать произвольный формат, то он должен быть в самом начале, в этом месте, до файла
# logfile иначе ничего работать не будет
logformat ("%s" "%d/%M/%Y:%h:%n:%t %j" "%j %r %j" "%c" "%b" "%f" "%B")

Незнаю как сейчас, но ранее у меня это работало. Что же касается других настроек "analoga" то придется немного поизучать документацию. Впрочем, видел в инете неплохой help и по русски.
Сейчас кстати установил "awstats" о котором писал Д.Котеров выше. На установку ушло 30 минут. Программа довольно пристойная. Возможно, "кривость" связана c первыми версиями "awstats" В последней (6.5) как то особенно проблем не возникало.
Mqeezer: AWLA
Привет, вы забыли упомянуть о AWLA http://www.webloganalyzer.biz/rrus_awla.php?12807. Очень удобная программа для работы с логами. Создает более 400 отчетов. Сам пользуюсь и очень доволен. Очень рекомендую.
Ant:
Mqeezer
Она вроде как платная?
Maus:
Ветка выделена в отдельную тему «Не знаю, что делать»,
расположенную в форуме Мусоропровод (22 Июля 2010, 00:41).

Эта тема на forum.dklab.ru