Zostań wirtuozem audytowania stron

To proste. Dawniej – nie miałem dużej potrzeby analizowania stron. Nie posiadałem ich za dużo. SEO było łatwe. Wystarczyło zoptymalizować stronę pod kątem wytycznych Google, przyłożyć linkami i strona sama pięła się do góry. Sprawy się skomplikowały. Masowy wykup domen, tworzenie treści i uważniejszy dobór linkowania; wszystko to sprawiło, że aby spełnić najnowsze wymagania stawiane twórcom stron – potrzeba czegoś więcej niż tylko prosta optymalizacja.

Crawler

Dziś odwiedzamy kategorię Crawlery – czyli roboty lub boty. Mają one z reguły konkretnie określone zadanie. Występują pod różnymi nazwami (np. pająki sieciowe), są przeznaczone do wykonywania określonych przez programistów zadań. Najbardziej znanym botem – jest Googlebot – czyli robot wyszukiwarki, którego zadaniem jest indeksowanie stron. Roboty są napisane w różnych językach programowania, dlatego charakteryzują się szybkością działania, uzależnioną od wydajności danego języka. Np. obecnie najszybszym botem jest wyżej wspomniany Googlebot – który tak naprawdę wchodzi w skład skomplikowanej struktury wielu rozproszonych po całym świecie komputerów, różnych centrów danych i zbiera wiele informacji o: obrazach, filmach, wiadomościach, stronach internetowych, czy reklamach. Strony te podlegają kategoryzacji, ocenie wartości, w celu umieszczenia ich na określonej przez te roboty pozycji w wynikach wyszukiwania. Google wymyśliło swój język programowania [GO] na potrzeby zbudowania tak skomplikowanej wyszukiwarki. Innymi wydajnymi rozwiązaniami są:

• Java, która wymaga bardzo dużych zasobów sprzętowych i jest trudna do opanowania pod kątem nauki tego języka.
• Język R – służący do skomplikowanych obliczeń matematycznych, dużej ilości danych liczbowych i analizy tych danych.
• Python – bardzo szybki, łatwy w nauce. Wszechstronnie wykorzystywany przez badaczy uniwersyteckich jak i amatorów programowania. Może być wykorzystany na serwerze, jak również jako standardowa aplikacja – posiadająca swoje GUI.
• PHP – w najnowszej zoptymalizowanej wersji 7.0.x, ma stanowić konkurencję dla coraz częściej wybieranego Pythona. Jest to nadal najpowszechniejszy język programowania w sieci, stąd bardzo łatwo znaleźć kod bota napisanego w tym języku. Nie oznacza to jednak, że będzie to szybkie rozwiązanie. Z reguły są to boty napisane w starszych wersjach języka i są dość powolne.
• JavaSrcipt i JQuery – dzięki frameworkom i bibliotekom (dodatkom do standardowego przeglądarkowego języka), już nie jest to tylko język dla dzieciaków robiących “zegary na stronach”. Coraz częściej wykorzystywany w działaniach po stronie serwera, tzw. sever-side javascript dzięki Node.js.
• C# (czyt. C Sharp) i rozwiązania .NET – są to szybkie rozwiązania, zapewne wykorzystują API, gdzie aplikacja zainstalowana na sprzęcie użytkownika (tak jakby pusty kontener) łączy się z wybranym miejscem w sieci (serwerem) i wymienia się z nim zapytaniami, a w odpowiedzi otrzymuje dane.

Dlaczego wspominam o tych językach programowania, ano dlatego, że boty dla wyszukiwarek muszą posiadać własne bardzo szybkie rozwiązania. Boty sprawdzające całe strony muszą być dość szybkie. Natomiast, te które mają określone zadania jak np. wyszukiwanie adresów email, wyszukiwanie proxy, czy wyszukiwanie zdjęć – tworzone mogą być przez pojedyncze osoby. Zastosowanie botów, nie ogranicza się do pobierania danych – choć jest to ich główne zadanie. Boty mogą wykonywać również czynności przypominające akcje na stronie, które wykonuje prawdziwy użytkownik. Dziś skupię się na pierwszym typie botów. Botów audytujących strony.

Poszukiwania bezpłatnego oprogramowania, nie są łatwe. A cytując klasyka – “Jestem za młody, by za to płacić”. Znalezienie dobrego oprogramowania do analizy stron graniczyło z cudem. Na całe szczęście, czasy się zmieniają. Rozwój technologii i pomysłów na dobry soft – prą do przodu. Dlatego dziś łatwiej o znalezienie choćby strzępka informacji, który pozwoli zacząć poszukiwania tanich rozwiązań w sieci.

Z reguły, moje poszukiwania zaczynają się na forach związanych z pozycjonowaniem black hat. Wbrew pozorom, społeczność ta przekazuje sobie wiele informacji związanych nie tylko z pirackim oprogramowaniem, ale również z tym, które może zostać wykorzystane bezpłatnie.

Tym sposobem znalazłem kilka programów, które nie są tak popularne i rozwinięte jak Screaming Frog czy Xenu Link Sleuth, ale nadają się do wykonania podobnych lub tych samych zadań. Zresztą większość z Was, pewnie zna wyżej wspomniane programy.

Dla przypomnienia lub dla tych, którzy ich nie znają – wstawiam zrzuty ekranu.

Xenu i ScreamingFrog

Xenu jest już wiekowym rozwiązaniem, odchodzący do lamusa program, ma jeszcze jednego asa w rękawie, dzięki któremu zachował swoje miejsce u mnie na komputerze. Nadal może być przydatny, przy wyszukiwaniu porzuconych domen w starych katalogach stron. Obecnie używam innej metody wyszukiwania domen i nie jestem pewny do czego jeszcze mógłby być przydatny – może do tworzenia mapy witryny?

Krzyczącej Żaby nie trzeba zbytnio przedstawiać, fajny program niemal bez skaz 😉 Do głównych należy opłata roczna – wynosząca około 600zł. A w darmowym wydaniu program jest ograniczony do 500 rekordów (czyt. podstron).

Na rynku darmowego oprogramowania istniał jeszcze Link Sphinx, ale ze względu na brak wsparcia od wielu lat – zasługuje tylko na niewielkie wspomnienie.

Poniższy program przedstawiam w ramach ciekawostki. Zupełnie nie wiem jak go znalazłem i dlaczego mam go u siebie. Oparty o licencję GNU GPL – oprogramowanie wolne od opłat. Stworzony w języku Python 2.7.8 i przy wykorzystaniu modułów PyQt, QScintilla i Sqlite, bardzo ograniczony pod kątem funkcjonalności, posiada swoje repozytorium na GitHub’ie i czeka na zapaleńców, którzy go wesprą swoją programistyczną wiedzą. Uwaga! Program ma niepowtarzalną nazwę:

Link Checker 9.3

Link Checker 9.3 – http://wummel.github.io/linkchecker/index.html. Program sprawdza głównie linki, do jego zalet należą opcje eksportu do formatów: HTML, CSV, TXT i XML.

Swoją drogą repozytorium GitHub jest kopalnią pomysłów i gotowych rozwiązań, można je wykorzystać do własnych projektów lub do działań SEO.

Fast Link Checker Lite

Program występuje w dwóch wersjach Lite i Pro. Wersja Lite została okraszona licencją Freeware. Wielowątkowa wersja programu, którego działanie można przetestować dla niekomercyjnych projektów. Wersja PRO – to stosunkowo niewielki jednorazowy koszt: 39.95$. Program utrzymuje się długo na rynku i jest wspierany przez webtweaktools.com. Warto się przekonać, co potrafi to oprogramowanie.

WildShark SEO Spider

W moim zestawieniu, również znalazł się ten program. Jednak został lepiej opisany tutaj: https://techformator.pl/audyt-strony-internetowej-wildshark-seo-spider/

Dla wielu osób zastanawiający będzie fakt, dlaczego pokazuję tak wiele programów, wykonujących podobne czynności. Odpowiedź jest prosta, programy te potrafią mieć wiele niedoskonałości, jak np. na załączonym poniżej obrazku:

Audytowanie strony w jednym narzędziu, nie zawsze skutkuje sukcesem…

DRKSpider Java

W całym tym szaleństwie, nie chodzi o zbieractwo wszelkiej maści programów. A takich, które udostępniają jak najwięcej informacji o stronie w jak najkrótszym czasie. Jak sama nazwa wskazuje silnik tego programu został oparty o język Java. Jest to jego wada i zaleta zarazem. Zaletą jest szybkość jego działania. W dodatku program DRKSpiderJava jest bezinstalacyjny – odpalany za pomocą skryptu powłoki i posiada naprawdę niewielki rozmiar – około 4MB. Wadą natomiast jest jego zasobożerność – co może się objawiać “wysypywaniem programu”, w najmniej oczekiwanych momentach – zdarza się to przy dużej głębokości skanowania i przy dużych stronach, składających się z kilku tysięcy podstron.

BeamUsUp SEO Crawler

Posiada tyle samo wad i zalet – jak DRKSpiderJava, Również napisany w Javie. Z tym że jego rozmiar to już 22MB. Jak widać koncepcja interfejsu różni się w obu rozwiązaniach. Jednak z obu programów, można wyciągnąć naprawdę wiele informacji. Ocenę pozostawiam czytelnikom…

Ubersuggest

Nie wszyscy wiedzą o jednej z nowszych opcji Ubersuggesta. Dlatego warto czasami sprawdzać, co zmienia się w interfejsie tej przeglądarkowej aplikacji. Przez długi czas była ona darmowa, ale im więcej opcji się pojawia, tym bardziej zmierza ona w kierunku płatnego rozwiązania. Na chwilę obecną, już pojawiło się okno logowania, które sugeruje zamykanie programu i zapewne stworzenie z niego oprogramowania choćby trochę przypominającego Ahrefs, Moz, czy Semrush – czyli abonamentowego. Autor oprogramowania – Neil Patel, od zawsze utrzymywał, że Ubersuggest będzie bezpłatny. Ale nie oszukujmy się, wydał cały majątek, żeby połączyć się z bazami ukraińskiego DataForSEO – twórców m.in. RankActive. Bazy te są sprzedawane dla każdego kraju osobno, zarówno baza słów kluczowych, jak i baza SERPów, to nie mała opłata jednorazowa. Także spodziewam się, że będzie starał się szukać nowych (ale jednak starych) źródeł pozyskania pieniędzy… Mam nadzieję, że się mylę.

Netpeak Spider

Jako dodatek, do tej całej gamy oprogramowania wspomnę jeszcze o jednym z lepszych narzędzi audytujących, które można zdobyć bezpłatnie na kilka sposobów, mimo że jest to oprogramowanie abonamentowe: niezastąpiony Netpeak Software, któremu poświęcę osobny artykuł z krótkim poradnikiem…

Podsumowując: przedstawiłem najlepsze darmowe programy do audytowania stron, jakie udało mi się znaleźć w ostatnim czasie. Posiadają swoje przywary, jednak można wyciągnąć z nich wiele informacji, które pozwolą na lepszą pracę z własną stroną. Dlatego zachęcam do zapoznania się z nimi, ich ograniczeniami i możliwościami. Być może, któryś z nich zostanie z Wami na dłużej…