Linux + to co mnie interesuje.

Parser pkt.pl part2

admin — Tue, 14 Jun 2011 16:49:00 +0000

Niestety z udostepnieniem programu nie jest tak prosto jak mogłoby się wydawać. Na pewnym forum zwrócono mi uwagę abym “dokładnie zapoznał się z regulaminem pkt.pl” i podobnych serwisów. Okazało się że tworzenie baz/parsowanie tekstów ze stron podobnych do pkt.pl jest niezgodne z ich regulaminem, na kuriozum zakrawa tez stwierdzenie jednego z brokerów bazy danych zumi.pl, która napisał do mnie, że nawet ręczne spisanie na kartce takich danych jest złamaniem regulaminu. Oczywiście nie mam zamiaru tutaj w żaden sposób łamać regulaminu serwisów, które takie dane udostępniają. Dlatego też nie mogę udostępnić programu. Niestety …

Parser pkt.pl w C#

admin — Sat, 04 Jun 2011 11:37:00 +0000

Z powodu nagłej potrzeby skompletowania bazy danych firm zacząłem szukać programu/ skryptu, który by parsował jakąś porządną stronę, na której takie informacje są. Szukałem jak to mówi jedno z praw Murphego “długo i bezskutecznie”. Okazało się, że wszystkie takie wynalazki są płatne można kupić na allegro za powiedzmy 150 PLN. Z racji tego, że średnio mi się uśmiecha płacić jakąkolwiek kasę za takie rzeczy postanowiłem sam sobie coś spłodzić, co odwaliłoby za mnie robotę. W PHP pisać specjalnie nie lubię więc już na starcie sobie odpuściłem, pomyślałem, że w sumie Python do tego świetnie się nadaje. Jednak po dłuższej chwili namysłu (przypomniałem sobie jak walczyłem z Pythonem i Paramiko na Windowsie) doszedłem do wniosku, że owszem można w Pythonie ale pod Linuxem bo pod Windowsem to niestety ale szkoda nerwów, a że akurat z Windowsa muszę korzystać bo gramy z żoną w Wiedźmina 2 to pomysł przełączania się między systemami odpadł również. I tak oto powstał on jedyny unikalny, wyjątkowy parser w C#. Wrzucę screeny, a za tydzień udostępnię program na blogu, tylko muszę zrealizować mój szatański plan. Tymczasem idę gotować zupę szczawiową jakby kogokolwiek to interesowało

svchost 100% cpu i mechanizm 6to4

admin — Sun, 27 Feb 2011 21:24:57 +0000

Ostatnimi czasy znowu nie pisałem, permamentny brak czasu (praca, praca w domu, kilka zleceń i oczywiście niezawodni znajomi, którym zawsze coś nie działa ale to akurat lubię bo jest okazja pogadać i wypić piwko/wino . Wracając jednak z wycieczki około osobistej do tematu. Dostałem ostatnimi czasy laptopa, core 2 duo, 2GB ram w opsie „działa bardzo wolno”, w sumie nic nadzywczajnego pomyślałem pewnie standard jakieś toolbary, malware, spyware itp. itd. Przez pierwsze 3h kiedy toczyłem batakie z tym komputerem wierzyłem w to mocno. Zwątpienie i pomysł że to może jedmal hardware przyszedł tak po 4h Problem okazał się po trosze tym i tym. Po odpaleniu CPU było zajęte praktycznie w 100%, pierwsze podejrzenia padły na jakąś infekcję szybki przegląd po autostarcie, procesach i usługach dał wynik średni ze wskazaniem na mierny – wszystko ok, wiadomo trochę śmieci ale nic nadzwyczjnego. Potem w ruch poszedł ComboFix, OTL, GMER, ProcesExplorer, shexvie, DrWeb, Comodo, svchost viewer – efekt jak wyżej, pomyślałem że może coś mi gdzieś umknęło i w akcie kompletnej rozpaczy pobrałem Malwarebytes – efekt jak wyżej czyli żaden. Nadal 100% CPU wcina. Szybkie spojrzenie na system i widzę że wyłączone są aktualizację, włączyłem pobieram czekam 2h najpierw błąd przy instalacji i wesoły komunikat „Wycofywanie aktualizacji ….” ok czekam wycofalo się, potem znowu coś tam robi bla bla bla, ogólnie strasznie długo. Odpalił się wreszcie patrze błąd aktualizacji nie pamiętam już jaki w każdym razie standardowa procedura,

„fsutil resource setautoreset true”

Zaktualizowało się, po tym zauważyłem że obciążenie ma związek z działaniem sieci wkładam kabelek połączy się jest ok jak nic nie gmeram w necie, jak zaczne chodzić po stronach albo w trakcie łączenia 100%. Spojrzałem w Manadzera Urządzeń „i oczom mym ukazał się las” – las kart sieciowych (oczywiście były ukryte) tak na oko z 600. W tym momencie rozwiązała się przyczyna zużycia CPu przy takiej ilości tunelowań Szybki ruch myszką po Google i już mnj więcej wiem o co chodzi 6to4 czyli mechanizm tłumaczenia z IPv4 na IPv6 (jako jedyna znana mi prowizorka okazała się nietrwała, a co bardziej zaskakujące zawodna tworząc las swoich kart) Niezrażony jednak ilościa kart sieciowych znalazłem kartę matkę i w myśl zasady z każdego dobrego RPG postanowiłem ubić najpierw Bosa a reszta jego ożywieńców pewno padnie razem z nim – w tym momencie po raz kolejny boleśnie przkonałem się o tym, że „życie ro nie gra komputerowa” ( w sumie jeden z głębszych wniosków w całej tej przygodzie wracając, zostały mi 604 karty do usunięcia jako że w Device Manager nie da rady zaznczayć 600-set pozycji, ba nie da sę nawet 2, przypomniałem sobie o alternatywie (która nie wiedzieć czemu nie jest podstawą, ale mniejsza o to). Program Devcon produkcji MS odpowiednik Device Manager tylko, że tekstowy (ale to akurat plus) nadaje się tutaj idealnie

Devcon.exe remove *6to4*

20 minut czekania aż ta chorda kart się usunie reset i wszystko pięlnie działa.

Sposób przekazania wiedzy w tym poście jest masakryczny zdaje sobie z tego sprawę dlatego wersja trochę bardziej humanitarna.

Jeśli svchost zjada Ci 100% CPU (ogólnie dużo):

1. Odpal Device Manager > Widok > Pokaż ukryte urządzenia

2. Jeśli masz tam od groma kart z nazwą 6to4 (to jest to przyczyną tak dużego obciążenia CPU)

3. Pobierz program Devcon http://support.microsoft.com/kb/311272/pl

4. Rozpakuj, skopiuj na dysk C

5. Wduś na klawiaturze Win+R, wpisz: cmd (wciśnij Enter)

6. W konsoli wpisz C: (enter)

7. Wpisz Devcon.exe remove *6to4* (enter) i czekaj aż wszystkie karty się usuną

8. Zresetuj komputer, ciesz się.

Munin – instalacja Wtyczek

admin — Mon, 11 Oct 2010 12:09:42 +0000

W poprzednim wpisie pokazałem co to Munin, do czego służy i jak wygląda. Munin monitoruje zasoby komputera/routera/pralki za pomocą wtyczek, są one pisane w różnych językach, głównie perl i python, jednak można napisać taką wtyczkę równie dobrze w bashu. Strona z pluginami znajduje się pod adresem http://exchange.munin-monitoring.org/, mamy tutaj podział na kategorie, a także informację w jakim środowisku działa wtyczka (windows, linux, solaris, wszystkie). Dla przykładu pokażę wam instalację i konfigurację 2 wtyczek.

1. sshd_log plugin

Wtyczka analizuje logi systemowe pod kątem logowań po SSH, pokazuje wartości dla logowań udanych, nieudanych, odrzuconych, logowań na konta nieistniejących użytkowników etc. Do czego się to może przydać ? – w sumie zawsze warto mieć jakąś świadomość tego jak bardzo nasz serwer jest popularny wśród chińskich botów . Dodatkowo mając taki wykres można sobie w łatwy sposób kontrolować to czy nasze zabezpieczenie SSH działają poprawni i co można w nich zmienić poprawić.

Zaczynamy od pobrania pliku z wtyczką, plik jest zapisany w formacie DOS i pod Linuksem będzie sypał błędami dlatego lepiej potraktować go programikiem żeby nie było problemów.
dos2linux
Po konwersji trzeba pamiętać o tym aby plik miał odpowiednie uprawnienia, głownie chodzi o możliwość wykonywania pliku, tak to powinno wyglądać (-rwxr-xr-x).
chmod 0755
Teraz kopiujemy plik do głównego katalogu Munina, gdzie przechowywane są wszystkie pliki wtyczek.
sudo cp /home/supermegazord/ /usr/share/munin/plugins/
ok sprawdzamy czy Munin widzi wtyczkę wydając polecenie w konsoli:
munin-node-configure
powinniśmy zobaczyć coś mniej więcej takiego tylko w większych ilościach:
ps_ | no | psu_ | no | sendmail_mailqueue | no | sendmail_mailstats | no | sendmail_mailtraffic | no | sensors_ | no | smart_ | no | squid_cache | no | squid_icp | no | squid_requests | no | squid_traffic | no | sshd_log | no | swap | yes | sybase_space | no |
ok widzimy wtyczkę o nazwie sshd_log jednak nie jest ona aktywna, żeby ją aktywować robimy 2 rzeczy, tworzymy dowiązanie do pliku wtyczki w katalogu /etc/munin/plugins/
ln –s /usr/share/munin/plugins/ /etc/munin/plugins/sshd_log
oraz dopisujemy wtyczkę do pliku konfiguracyjnego /etc/munin/plugin-conf.d/munin-node, wpis ma wyglądać tak jak poniżej
[sshd_log] user root env.logfile /var/log/auth.log

ważna kwestia wartość między nawiasami kwadratowymi to nazwa wtyczki i musi być ona dokładnie taka sama jak nazwa dowiązania w katalogu etc/muni/plugins. Jeśli nazwaliście tą wtyczkę np. lubie_pierogi wtedy to wpis powinien wyglądać następująco [lubie_pierogi]
wartość user root określa jako jaki użytkownik Munin będzie otwierał plik do analizy
ostatnia linijka wskazuje ścieżkę do pliku, w którym są zawarte informację o logowaniach po SSH, jeśli źle się uzupełni ścieżkę Munin będzie pokazywał puste wykresy.

Dodatkowo jeśli ktoś otworzył plik wtyczki np. przez nano zauważył na pewno, że w łatwy sposób można spolonizować opisy na wykresie. Ja tego nie robiłem bo mi się nie chciało ale można

Teraz dla pewności sprawdzamy czy wszystko działa ok
munin-node-configure
dostajemy
ps_ | no | psu_ | no | sendmail_mailqueue | no | sendmail_mailstats | no | sendmail_mailtraffic | no | sensors_ | no | smart_ | no | squid_cache | no | squid_icp | no | squid_requests | no | squid_traffic | no | sshd_log | yes | swap | yes | sybase_space | no |
czyli informację, że wtyczka jest widoczna i włączona. Teraz sprawdzimy samo działanie wtyczki
munin-run sshd_log
jeśli wszystko jest ok powinniśmy otrzymać coś takiego
NoRDNS.value 0 Breakin.value 0 LogPass.value 0 InvUsr.value 0 rootAttempt.value 0 NoID.value 0 LogKey.value 0
ja mam akurat wszystkie wartości 0 ponieważ mam świeży plik ale spokojnie to się szybko zmieni.

Poniżej jeszcze kilka zdjęć.

INSTALACJĘ DRUGIEJ WTYCZKI OPISZĘ JUTRO

Blog – reaktywacja (po raz n-ty)

admin — Thu, 30 Sep 2010 13:01:55 +0000

Tradycyjnie w tym miejscu chciałbym powiedzieć, że to kolejna już reaktywacja bloga, tym razem nie zachowały się poprzednie wpisy trochę szkoda ale trudno. Tego bloga mam nadzieje częściej aktualizować niż poprzednie, zobaczymy. Na blogu tradycyjnie mydło i powidło. Wracając jednak do tej reaktywacji to niestety ale wszystkie paczki i PKGBUILD-y do Archa, które miałem przepadły ale spokojnie wszystko powinno być w polskim repozytorium Arch Linux-a. To chyba na tyle ważnych informacji zapraszam do czytania i komentowania.

Munin – monitoring prawie wszystkiego.

admin — Wed, 29 Sep 2010 12:35:14 +0000

Munin http://munin-monitoring.org/ jest narzędziem służącym do monitorowania urządzeń w sieciach firmowych, ale jeśli ktoś ma taką fantazje może sobie oczywiście monitorować router, który stoi za ścianą. W zasadzie to jeśli tylko jakieś urządzenie obsługuje SNMP albo można na nim zainstalować Linuksa (np. jakiś tam router, żelazko, czy inna pralka to można to podłączyć pod Munina. Instalacja jest raczej prosta w przypadku systemów Debian-opodobnych sprowadza się do:

sudo apt-get install munin munin-node

Mamy już zainstalowane, teraz lekka zmiana w plikach konfiguracyjnych w zależności od potrzeb. Pierwsza sprawa o jakiej należy pamiętać to odblokowanie na maszynie, która gromadzi statystyki, portu 4949.

Edytujemy plik “/etc/munin/munin.conf” i zmieniamy według uznania:

[VPN] address 12.0.0.XX use_node_name yes

[Batman] address 172.16.2.XX use_node_name yes

[Localhost] address 12.0.0.XX

[foo.internetdsl.tpnet.pl] address 127.0.0.1

Tutaj deklarujemy jakie hosty będziemy monitorować i tak dla wyjaśnienia.

Wpis 1. – VPN (maszyna z Linuksem), która robi za serwer VPN w sieci lokalnej

Wpis 2. – Batman (maszyna z Linuksem), gdzieś na końcu świata:), wpięta w sieć VPN

Wpis 3. – Localhost (lokalny serwer Linuksowy) adres w sieci lokalnej

Wpis 4. – Router sprzętowy jakiś tam D-Link, tutaj ważna uwaga jako nazwa podana jest, nazwa domenowa urządzenia – nie bez kozery. Bez wnikania w szczegóły można przyjąć prostą zasadę jeśli mamy monitorować jakieś urządzenie po SNMP to jako jego nazwę podajemy adres domenowy, natomiast jako adres wpisujemy IP komputera lokalnego, może być 127.0.0.1 ale równie dobrze może być np. adres tego komputera w sieci lokalnej. Taki wpis zaoszczędzi nam sporo zabawy z robieniem dowiązań i kopiowaniem plików.

Kolejny plik do edycji to “/etc/munin/munin-node.conf’

log_level 4 log_file /var/log/munin/munin-node.log pid_file /var/run/munin/munin-node.pid

Tutaj ustawiamy stopień szczegółowości logowania, oraz ścieżkę do logu i pid-a.

allow ^12.0.0.XX$ allow ^172.16.2.XX$ allow ^12.0.0.XX$ allow ^83.15.XX.XX$ # Which address to bind to; # host * host 12.0.0.XX # And which port port 4949

wpisy zaczynające się od ‘allow’ dotyczą hostów jakie mogą przysyłać dane do gromadzenia, są to wpisy, które wskazują na adresy IP, hostów z poprzedniego pliku. Dla przykładu :

allow ^172.16.2.XX$

odpowiada wpisowi:

[Batman]
address 172.16.2.XX
use_node_name yes

dalej

allow ^83.15.XX.XX$

odpowiada wpisowi:

[foo.internetdsl.tpnet.pl]
address 127.0.0.1

Natomiast dwa ostatnie wpisy uzupełniamy w ten sposób, że w “Which address to bind to” wpisujemy adres naszego serwera gromadzącego dane może to być adres wewnątrzsieciowy byle nie 127.0.0.1 bo wtedy będą problemy z monitorowaniem zasobów po SNMP. Ostatni wpis to port TCP na jak odbywa się przesyłanie statystyk.

Teraz wystarczy zapisać pliki i zresetować usługę munin-node:

sudo /etc/init.d/munin-node restart

lub

sudo services munin-node restart

Oczywiście jeśli chcemy monitorować maszynę Linuksową czy Windowsową należy zainstalować na niej oprogramowanie munin-node aby wysyłało do nas te statystyki. Dla większości dystrybucji są gotowe pakiety nawet na SLES9 http://sourceforge.net/projects/munin/files/ Natomiast na Windowsa jest pakiet instalacyjny MSI http://sourceforge.net/projects/munin-nodewin32/files/ po instalacji dodaje usługę Munin-a, która odpowiedzialna jest za przesyłanie statystyk.

Poniżej jeszcze kilka zdjęć z monitoringu w następnym wpisie pokarzę jak instalować i konfigurować wtyczki do Munina.