PermLUG
Пермская группа пользователей Linux
Вход в систему
1.0.5 считает не весь трафик.
Здравствуйте, товарищи.
Есть система:
FreeBSD 7.2
Squid 3.0
SAMS 1.0.5 (с недавних пор)
Apache
HAVP
ClamAV
После установки обновления SAMS'a, он начал считать не весь трафик. Некоторые файлы, загружаемые пользаками (в частности с ftp, проверял скачивая cureit) не считаются.
Обновлял SAMS по мануалу. Правда пришлось повозиться с префиксами, так же он не понимал make, пришлось использовать gmake.
З.Ы. с SAMS 1.0.4 проблем не было.
Подскажите, где может крыться ошибка, в какую сторону копать?
Тэги в Теги
Новые записи в блогах
- Account blocked due to inactivity
- Gish
- Компьютерная графика, нужна помощь
- Пятница, 13...
- Sintel:
- Как запустить стартап при ВУЗе (статья на хабре)
- Linux Install Fest
- Для пингвинов есть гнездо!!!
- BSD Socket в Mac OS X (простой пример на C)
- Установка Linux. Выбор комплектации для страшного эксперимента
Активные обсуждения форума
- Блокируются банеры на одном сайте
- Sams перестает считать трафик
- Рушено. При обнулении счетчиков трафика становятся активными отключенные пользователи.
- sams умирает в начале месяца после обнуления трафика
- Опять про подсчет трафика.
- Не сохраняются настройки в sams
- Прежде чем начать НОВУЮ тему !!!
- Учет HTTPS трафика в версиях 2.0.x
- Invalid Proxy Auth ACL acl Sams2Template2
- Squid3 sams-1.0.5 запрет доступа по url не работает
Новости Linux
- NASA открыло новый сайт с open source проектами
- Canonical Reverse Java Uninstall Decision
- Свежее интервью с Линусом Торвальдсом
- GNU Octave 3.6.0
- runner 0.1.13
- INSTEAD 1.6.0 в репозитории Debian
- Linux для всех / Debian на Iomega StoreCenter Ix2-200 или делаем полноценный сервачок из сетевого диска
- GNOME’s Revamped ‘Web’ Browser Is Minimal, Mighty
- “Four Seasons” Wallpaper Pack
- Linux для всех / [Перевод] Почему UEFI Secure boot это трудность для Linux
Здравствуйте схожая проблема с некоторых пор заметил что SAM щитает не весь трафик а конкретно токо https подскажите где искать проблему в логах записи всего трафика при чем уже на нескольких машинах в разных сетях.
ubuntu server 10.04 sams 1.05 авторизация c AD 2008
ubuntu server 8.04 sams 1.05 авторизация c AD 2008
Что посоветуете?
[root@Freeproxy ~]# sams -d
Connected database: squidctrl:localhost user=root
Connected database: squidlog:localhost user=root
Starting process: pid = 18560
Cache 0
Reading file: start=6225155 length=6225438
disable user script = /usr/local/share/sams/src/script/none
Administrator address:
ISP Mb size=1048576, kb size=1024
Found 18 SAMS users
0: econdir 192.168.0.162.0.0./255.255.255.255.0.0. 1 12600653 524288000 4ad2a383925dd ip
1: motroni 192.168.0.61.0.0./255.255.255.255.0.0. 1 31238809 524288000 4ad2a30776702 ip
2: admin 192.168.0.111.0.0./255.255.255.255.0.0. 1 180264251 3145728000 4ac951002a4a7 ip
3: glavbuh 192.168.0.102.0.0./255.255.255.255.0.0. 1 1570263 209715200 4ad2a5a6dfbd0 ip
4: 4-3 192.168.0.12.0.0./255.255.255.255.0.0. 1 10584858 629145600 4ad41f387cafc ip
5: bpo 192.168.0.238.0.0./255.255.255.255.0.0. 1 6057472 524288000 4ad4057ae3a8e ip
6: Тест 192.168.0.222.0.0./255.255.255.255.0.0. 1 39107299 209715200 4ad541f7e58f7 ip
7: peonatalia 192.168.0.110.0.0./255.255.255.255.0.0. 1 7368258 314572800 4ad573ca8df8a ip
8: opmp-2 192.168.0.82.0.0./255.255.255.255.0.0. 1 17756944 209715200 4ad69cb362e95 ip
9: opmp-5 192.168.0.124.0.0./255.255.255.255.0.0. 1 6656351 104857600 4ad69cd6c56bf ip
10: armen 192.168.0.241.0.0./255.255.255.255.0.0. 1 0 209715200 4ad6ad25e7396 ip
11: sankin 192.168.0.151.0.0./255.255.255.255.0.0. 1 68245552 524288000 4ad7c7d81a322 ip
12: politiko 192.168.0.175.0.0./255.255.255.255.0.0. 1 25193622 419430400 4ade889b2a89a ip
13: omts-1 192.168.0.226.0.0./255.255.255.255.0.0. 1 0 419430400 4ae1132690969 ip
14: opr-3 192.168.0.172.0.0./255.255.255.255.0.0. 1 0 419430400 4ae523e0045ce ip
15: opr-14 192.168.0.253.0.0./255.255.255.255.0.0. 1 45830652 419430400 4ae6a30dc669a ip
16: opr-9 192.168.0.126.0.0./255.255.255.255.0.0. 1 15542287 419430400 4aee717fc4510 ip
17: opmp-7 192.168.0.247.0.0./255.255.255.255.0.0. 1 6058807 104857600 4b399bfa92564 ip
Found 2 localhosts
192.168.0.0/255.255.255.0 >> 192.168.0.0/255.255.255.0
127.0.0.1 >> 127.0.0.1/255.255.255.255
2. SELECT count(*) FROM squidctrl.urlreplace
end=6225155 newend=6225438 clear=0 loadfile=0
Reading new data from /usr/local/squid/logs/access.log
open SQUID cache file: /usr/local/squid/logs/access.log
1 SQUID log string:
1263271450.750 0 192.168.0.111 TCP_MEM_HIT/200 1094 GET http://www.av-desk.com/static/new-www/freeImg/but_livecd_on.gif - NONE/- image/gif
Serch SAMS user: /admin user found
Test local domain: local domain not found
REALTRAFfic = 1094 - 1094
user /admin, ip=192.168.0.111 traffic: 1094+180264251=180265345 limit:3145728000
update db: 2010-1-12 7:44:10 admin/ 1094 http://www.av-desk.com/static/new-www/freeImg/but_livecd_on.gif
Save new access.log file size
database appended
2 SQUID log string:
1263271451.660 111 192.168.0.111 TCP_MISS/302 446 GET http://www.freedrweb.com/download+cureit/gr/ - DEFAULT_PARENT/127.0.0.1 text/html
Serch SAMS user: /admin user found
Test local domain: local domain not found
REALTRAFfic = 446 - 0
user /admin, ip=192.168.0.111 traffic: 446+180264697=180265143 limit:3145728000
update db: 2010-1-12 7:44:11 admin/ 446 http://www.freedrweb.com/download+cureit/gr/
Save new access.log file size
database appended
Какчался CureIT размером в 26 Мб.
Относительно предположения...
Пользователь admin качал файл первым, следовательно трафик пользака test мог бы не считаться попади файл в кэш squid'a, но в моем случае как раз наоборот.
Останавливает демона.
Качаем пользователем admin указанные файлы.
Запускаем sams -d и смотрим/присылаем сюда логи.
Есть кстати еще одно предположение - файл конечно большой, но теоретически мог быть положен в кэш сквида, и когда качал админ, ему отдали файл из кэша. Трафик из кэша у вас вроде согласно настроек не учитывается.
Но это предположение.
Проблема была обнаружена именно на пользователе admin.
4-го числа был скачан файл OOo_3.1.1_Win32Intel_install_wJRE_ru.exe, размером в 145 Мб. Информации об этом собитии в логах sams нет.
Далее осуществлялась проверка путем скачивания файла CureIT пользователями admin и test с промежутком времени в 10 минут. В логах sams были найдены сведения о скачивании файла пользователем test, однако пользователь admin якобы этот файл не скачивал.
Что посоветуете сделать далее? как найти теряющийся трафик?
З.Ы. CureIT качался по протоколу ftp. OpenOffice - http.
Согласно этому логу - sams как раз корректно нашел пользователя и приписал ему этот трафик.
Теперь остается задача получить такой лог для трафика, которые теряется и не попадает в статистику.
Connected database: squidctrl:localhost user=root
Connected database: squidlog:localhost user=root
Starting process: pid = 13510
Cache 0
Reading file: start=3119411 length=3135548
disable user script = /usr/local/share/sams/src/script/none
Administrator address:
ISP Mb size=1048576, kb size=1024
Found 18 SAMS users
0: econdir 192.168.0.162.0.0./255.255.255.255.0.0. 1 12600653 524288000 4ad2a383925dd ip
1: motroni 192.168.0.61.0.0./255.255.255.255.0.0. 1 27833415 524288000 4ad2a30776702 ip
2: admin 192.168.0.111.0.0./255.255.255.255.0.0. 1 150215332 3145728000 4ac951002a4a7 ip
3: glavbuh 192.168.0.102.0.0./255.255.255.255.0.0. 1 138443 209715200 4ad2a5a6dfbd0 ip
4: 4-3 192.168.0.12.0.0./255.255.255.255.0.0. 1 2388574 629145600 4ad41f387cafc ip
5: bpo 192.168.0.238.0.0./255.255.255.255.0.0. 1 2651663 524288000 4ad4057ae3a8e ip
6: Тест 192.168.0.222.0.0./255.255.255.255.0.0. 1 39019611 209715200 4ad541f7e58f7 ip
7: peonatalia 192.168.0.110.0.0./255.255.255.255.0.0. 1 4556884 314572800 4ad573ca8df8a ip
8: opmp-2 192.168.0.82.0.0./255.255.255.255.0.0. 1 12683093 209715200 4ad69cb362e95 ip
9: opmp-5 192.168.0.124.0.0./255.255.255.255.0.0. 1 750318 104857600 4ad69cd6c56bf ip
10: armen 192.168.0.241.0.0./255.255.255.255.0.0. 1 0 209715200 4ad6ad25e7396 ip
11: sankin 192.168.0.151.0.0./255.255.255.255.0.0. 1 44650545 524288000 4ad7c7d81a322 ip
12: politiko 192.168.0.175.0.0./255.255.255.255.0.0. 1 11830787 419430400 4ade889b2a89a ip
13: omts-1 192.168.0.226.0.0./255.255.255.255.0.0. 1 0 419430400 4ae1132690969 ip
14: opr-3 192.168.0.172.0.0./255.255.255.255.0.0. 1 0 419430400 4ae523e0045ce ip
15: opr-14 192.168.0.253.0.0./255.255.255.255.0.0. 1 20497465 419430400 4ae6a30dc669a ip
16: opr-9 192.168.0.126.0.0./255.255.255.255.0.0. 1 10398452 419430400 4aee717fc4510 ip
17: opmp-7 192.168.0.247.0.0./255.255.255.255.0.0. 1 2323044 104857600 4b399bfa92564 ip
Found 2 localhosts
192.168.0.0/255.255.255.0 >> 192.168.0.0/255.255.255.0
127.0.0.1 >> 127.0.0.1/255.255.255.255
2. SELECT count(*) FROM squidctrl.urlreplace
end=3119411 newend=3135548 clear=0 loadfile=0
Reading new data from /usr/local/squid/logs/access.log
open SQUID cache file: /usr/local/squid/logs/access.log
1 SQUID log string:
1263184830.329 0 192.168.0.111 TCP_MEM_HIT/301 625 GET http://google.ru/ - NONE/- text/html
Serch SAMS user: /admin user found
Test local domain: local domain not found
REALTRAFfic = 625 - 625
user /admin, ip=192.168.0.111 traffic: 625+150215332=150215957 limit:3145728000
update db: 2010-1-11 7:40:30 admin/ 625 http://google.ru/
Save new access.log file size
database appended
2 SQUID log string:
1263184830.505 168 192.168.0.111 TCP_MISS/200 5022 GET http://www.google.ru/ - DEFAULT_PARENT/127.0.0.1 text/html
Serch SAMS user: /admin user found
Test local domain: local domain not found
REALTRAFfic = 5022 - 0
user /admin, ip=192.168.0.111 traffic: 5022+150220354=150225376 limit:3145728000
update db: 2010-1-11 7:40:30 admin/ 5022 http://www.google.ru/
Save new access.log file size
3 SQUID log string:
1263184830.563 0 192.168.0.111 TCP_NEGATIVE_HIT/204 274 GET http://clients1.google.ru/generate_204 - NONE/- text/html
Serch SAMS user: /admin user found
Test local domain: local domain not found
REALTRAFfic = 274 - 0
user /admin, ip=192.168.0.111 traffic: 274+150220628=150220902 limit:3145728000
update db: 2010-1-11 7:40:30 admin/ 274 http://clients1.google.ru/generate_204
Save new access.log file size
database appended
..............................................................................................................................................
117 SQUID log string:
1263184846.779 32 192.168.0.111 TCP_MISS/302 293 GET http://lissyara.su/ - DEFAULT_PARENT/127.0.0.1 text/html
Serch SAMS user: /admin user found
Test local domain: local domain not found
REALTRAFfic = 293 - 0
user /admin, ip=192.168.0.111 traffic: 293+150811492=150811785 limit:3145728000
update db: 2010-1-11 7:40:46 admin/ 293 http://lissyara.su/
Save new access.log file size
database appended
update SAMS user /admin traffic: 153533129 2721637
Save new access.log file size
Генерирование http-трафика происходило пользователем admin.
Если будет необходимо выложу все логи (пропущено с 4 по 116).
Проблема подтвердилась.
sams -d действительно выводит лишние 0.0 в ip-адресе и маске. Причем так было во всей ветке 1.0..x
Я уже завел баг http://sams.nixdev.net/ticket/425 по этому поводу.
Причину такой реализации я уточню у человека, который писал код.
При этом дальнейшее раследование показало что эти 0.0 влияют только на вывод логов, а определение пользователей идет по первым 4м цифрам ip-адресе.
Поэтому чтобы продолжить поиски причины пропажи трафика у вас выполните следующие действия:
1. Остановите сервис sams
2. Сгенерируйте каким-либо пользователем http-треафик, чтобы это попало в логи squid
3. Запустите sams -d
4. Пришлите вывод сюда (там должен быть описан разбор каждой строчки лога).
mysql> select ip, ipmask from squidusers;
+---------------+-----------------+
| ip | ipmask |
+---------------+-----------------+
| 192.168.0.162 | 255.255.255.255 |
| 192.168.0.61 | 255.255.255.255 |
| 192.168.0.111 | 255.255.255.255 |
| 192.168.0.102 | 255.255.255.255 |
| 192.168.0.12 | 255.255.255.255 |
| 192.168.0.238 | 255.255.255.255 |
| 192.168.0.222 | 255.255.255.255 |
| 192.168.0.110 | 255.255.255.255 |
| 192.168.0.82 | 255.255.255.255 |
| 192.168.0.124 | 255.255.255.255 |
| 192.168.0.241 | 255.255.255.255 |
| 192.168.0.151 | 255.255.255.255 |
| 192.168.0.175 | 255.255.255.255 |
| 192.168.0.226 | 255.255.255.255 |
| 192.168.0.172 | 255.255.255.255 |
| 192.168.0.253 | 255.255.255.255 |
| 192.168.0.126 | 255.255.255.255 |
| 192.168.0.247 | 255.255.255.255 |
+---------------+-----------------+
18 rows in set (0.00 sec)
use squidctrl;
select ip, ipmask from squidusers;
Будте добры, расскажите как посмотреть.
Я сомневаюсь, что у меня есть эта таблица, ибо стоит редиректор - режик.
Вот базы MySQL:
mysql> SHOW DATABASES;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| squidctrl |
| squidlog |
| test |
+--------------------+
Гм. Второй раз сообщают о нулях.
Просьба проверить какие IP адреса у пользователей в БД (таблица squidusers).
Кажется нашел ошибку:
]# sams -d
Connected database: squidctrl:localhost user=root
Connected database: squidlog:localhost user=root
Starting process: pid = 9438
Cache 0
Reading file: start=743486 length=743486
disable user script = /usr/local/share/sams/src/script/none
Administrator address:
ISP Mb size=1048576, kb size=1024
Found 18 SAMS users
0: user1 192.168.0.162.0.0./255.255.255.255.0.0. 1 2933314 524288000 4ad2a383925dd ip
1: user2 192.168.0.61.0.0./255.255.255.255.0.0. 1 13752735 524288000 4ad2a30776702 ip
2: user3 192.168.0.111.0.0./255.255.255.255.0.0. 1 50894566 3145728000 4ac951002a4a7 ip
3: user4 192.168.0.102.0.0./255.255.255.255.0.0. 1 1232 209715200 4ad2a5a6dfbd0 ip
4: user5 192.168.0.12.0.0./255.255.255.255.0.0. 1 1749646 629145600 4ad41f387cafc ip
5: user6 192.168.0.238.0.0./255.255.255.255.0.0. 1 2651663 524288000 4ad4057ae3a8e ip
6: Тест 192.168.0.222.0.0./255.255.255.255.0.0. 1 38973004 209715200 4ad541f7e58f7 ip
7: user7 192.168.0.110.0.0./255.255.255.255.0.0. 1 3206386 314572800 4ad573ca8df8a ip
8: user8 192.168.0.82.0.0./255.255.255.255.0.0. 1 10599029 209715200 4ad69cb362e95 ip
9: user9 192.168.0.124.0.0./255.255.255.255.0.0. 1 198924 104857600 4ad69cd6c56bf ip
10: user10 192.168.0.241.0.0./255.255.255.255.0.0. 1 0 209715200 4ad6ad25e7396 ip
11: user11 192.168.0.151.0.0./255.255.255.255.0.0. 1 27080624 524288000 4ad7c7d81a322 ip
12: user12 192.168.0.175.0.0./255.255.255.255.0.0. 1 3895339 419430400 4ade889b2a89a ip
13: user13 192.168.0.226.0.0./255.255.255.255.0.0. 1 0 419430400 4ae1132690969 ip
14: user14 192.168.0.172.0.0./255.255.255.255.0.0. 1 0 419430400 4ae523e0045ce ip
15: user15 192.168.0.253.0.0./255.255.255.255.0.0. 1 1916901 419430400 4ae6a30dc669a ip
16: user16 192.168.0.126.0.0./255.255.255.255.0.0. 1 9091775 419430400 4aee717fc4510 ip
17: user17 192.168.0.247.0.0./255.255.255.255.0.0. 1 2323044 104857600 4b399bfa92564 ip
Found 2 localhosts
192.168.0.0/255.255.255.0 >> 192.168.0.0/255.255.255.0
127.0.0.1 >> 127.0.0.1/255.255.255.255
2. SELECT count(*) FROM squidctrl.urlreplace
end=743486 newend=743486 clear=0 loadfile=0
No new values...
Почему в базе нули в IP и масках после обновления? как это пофиксить?