techformator
  • e-Marketing
  • Urządzenia mobilne
  • Oprogramowanie
  • Systemy
  • Inne
    • Aktualności
    • Internet i bezpieczeństwo
    • Sprzęt
  • Social Trends
  • Kontakt
techformator
  • e-Marketing
  • Urządzenia mobilne
  • Oprogramowanie
  • Systemy
  • Inne
    • Aktualności
    • Internet i bezpieczeństwo
    • Sprzęt
  • Social Trends
  • Kontakt
Jarek Kiliński
2 komentarze
25 października 2019
wirtuoz

Zostań wirtuozem audytowania stron

To proste. Dawniej – nie miałem dużej potrzeby analizowania stron. Nie posiadałem ich za dużo. SEO było łatwe. Wystarczyło zoptymalizować stronę pod kątem wytycznych Google, przyłożyć linkami i strona sama pięła się do góry. Sprawy się skomplikowały. Masowy wykup domen, tworzenie treści i uważniejszy dobór linkowania; wszystko to sprawiło, że aby spełnić najnowsze wymagania stawiane twórcom stron – potrzeba czegoś więcej niż tylko prosta optymalizacja.

Crawler

Dziś odwiedzamy kategorię Crawlery – czyli roboty lub boty. Mają one z reguły konkretnie określone zadanie. Występują pod różnymi nazwami (np. pająki sieciowe), są przeznaczone do wykonywania określonych przez programistów zadań. Najbardziej znanym botem – jest Googlebot – czyli robot wyszukiwarki, którego zadaniem jest indeksowanie stron. Roboty są napisane w różnych językach programowania, dlatego charakteryzują się szybkością działania, uzależnioną od wydajności danego języka. Np. obecnie najszybszym botem jest wyżej wspomniany Googlebot – który tak naprawdę wchodzi w skład skomplikowanej struktury wielu rozproszonych po całym świecie komputerów, różnych centrów danych i zbiera wiele informacji o: obrazach, filmach, wiadomościach, stronach internetowych, czy reklamach. Strony te podlegają kategoryzacji, ocenie wartości, w celu umieszczenia ich na określonej przez te roboty pozycji w wynikach wyszukiwania. Google wymyśliło swój język programowania [GO] na potrzeby zbudowania tak skomplikowanej wyszukiwarki. Innymi wydajnymi rozwiązaniami są:

  • Java, która wymaga bardzo dużych zasobów sprzętowych i jest trudna do opanowania pod kątem nauki tego języka.
  • Język R – służący do skomplikowanych obliczeń matematycznych, dużej ilości danych liczbowych i analizy tych danych.
  • Python – bardzo szybki, łatwy w nauce. Wszechstronnie wykorzystywany przez badaczy uniwersyteckich jak i amatorów programowania. Może być wykorzystany na serwerze, jak również jako standardowa aplikacja – posiadająca swoje GUI.
  • PHP – w najnowszej zoptymalizowanej wersji 7.0.x, ma stanowić konkurencję dla coraz częściej wybieranego Pythona. Jest to nadal najpowszechniejszy język programowania w sieci, stąd bardzo łatwo znaleźć kod bota napisanego w tym języku. Nie oznacza to jednak, że będzie to szybkie rozwiązanie. Z reguły są to boty napisane w starszych wersjach języka i są dość powolne.
  • JavaSrcipt i JQuery – dzięki frameworkom i bibliotekom (dodatkom do standardowego przeglądarkowego języka), już nie jest to tylko język dla dzieciaków robiących „zegary na stronach”. Coraz częściej wykorzystywany w działaniach po stronie serwera, tzw. sever-side javascript dzięki Node.js.
  • C# (czyt. C Sharp) i rozwiązania .NET – są to szybkie rozwiązania, zapewne wykorzystują API, gdzie aplikacja zainstalowana na sprzęcie użytkownika (tak jakby pusty kontener) łączy się z wybranym miejscem w sieci (serwerem) i wymienia się z nim zapytaniami, a w odpowiedzi otrzymuje dane.

Dlaczego wspominam o tych językach programowania, ano dlatego, że boty dla wyszukiwarek muszą posiadać własne bardzo szybkie rozwiązania. Boty sprawdzające całe strony muszą być dość szybkie. Natomiast, te które mają określone zadania jak np. wyszukiwanie adresów email, wyszukiwanie proxy, czy wyszukiwanie zdjęć – tworzone mogą być przez pojedyncze osoby. Zastosowanie botów, nie ogranicza się do pobierania danych – choć jest to ich główne zadanie. Boty mogą wykonywać również czynności przypominające akcje na stronie, które wykonuje prawdziwy użytkownik. Dziś skupię się na pierwszym typie botów. Botów audytujących strony.

Poszukiwania bezpłatnego oprogramowania, nie są łatwe. A cytując klasyka – „Jestem za młody, by za to płacić”. Znalezienie dobrego oprogramowania do analizy stron graniczyło z cudem. Na całe szczęście, czasy się zmieniają. Rozwój technologii i pomysłów na dobry soft – prą do przodu. Dlatego dziś łatwiej o znalezienie choćby strzępka informacji, który pozwoli zacząć poszukiwania tanich rozwiązań w sieci.

Z reguły, moje poszukiwania zaczynają się na forach związanych z pozycjonowaniem black hat. Wbrew pozorom, społeczność ta przekazuje sobie wiele informacji związanych nie tylko z pirackim oprogramowaniem, ale również z tym, które może zostać wykorzystane bezpłatnie.

Tym sposobem znalazłem kilka programów, które nie są tak popularne i rozwinięte jak Screaming Frog czy Xenu Link Sleuth, ale nadają się do wykonania podobnych lub tych samych zadań. Zresztą większość z Was, pewnie zna wyżej wspomniane programy.

Dla przypomnienia lub dla tych, którzy ich nie znają – wstawiam zrzuty ekranu.

Xenu i ScreamingFrog

Xenu Link Sleuth
Xenu Link Sleuth
Screaming Frog
Screaming Frog

Xenu jest już wiekowym rozwiązaniem, odchodzący do lamusa program, ma jeszcze jednego asa w rękawie, dzięki któremu zachował swoje miejsce u mnie na komputerze. Nadal może być przydatny, przy wyszukiwaniu porzuconych domen w starych katalogach stron. Obecnie używam innej metody wyszukiwania domen i nie jestem pewny do czego jeszcze mógłby być przydatny – może do tworzenia mapy witryny?

Krzyczącej Żaby nie trzeba zbytnio przedstawiać, fajny program niemal bez skaz 😉 Do głównych należy opłata roczna – wynosząca około 600zł. A w darmowym wydaniu program jest ograniczony do 500 rekordów (czyt. podstron).

Na rynku darmowego oprogramowania istniał jeszcze Link Sphinx, ale ze względu na brak wsparcia od wielu lat – zasługuje tylko na niewielkie wspomnienie.

Poniższy program przedstawiam w ramach ciekawostki. Zupełnie nie wiem jak go znalazłem i dlaczego mam go u siebie. Oparty o licencję GNU GPL – oprogramowanie wolne od opłat. Stworzony w języku Python 2.7.8 i przy wykorzystaniu modułów PyQt, QScintilla i Sqlite, bardzo ograniczony pod kątem funkcjonalności, posiada swoje repozytorium na GitHub’ie i czeka na zapaleńców, którzy go wesprą swoją programistyczną wiedzą. Uwaga! Program ma niepowtarzalną nazwę:

Link Checker 9.3

Link Checker 9.3 – http://wummel.github.io/linkchecker/index.html. Program sprawdza głównie linki, do jego zalet należą opcje eksportu do formatów: HTML, CSV, TXT i XML.

Link Checker 9.3
Link Checker 9.3

Swoją drogą repozytorium GitHub jest kopalnią pomysłów i gotowych rozwiązań, można je wykorzystać do własnych projektów lub do działań SEO.

Fast Link Checker Lite

Program występuje w dwóch wersjach Lite i Pro. Wersja Lite została okraszona licencją Freeware. Wielowątkowa wersja programu, którego działanie można przetestować dla niekomercyjnych projektów. Wersja PRO – to stosunkowo niewielki jednorazowy koszt: 39.95$. Program utrzymuje się długo na rynku i jest wspierany przez webtweaktools.com. Warto się przekonać, co potrafi to oprogramowanie.

Fast Link Checker Lite i PRO
Fast Link Checker Lite i PRO

WildShark SEO Spider

W moim zestawieniu, również znalazł się ten program. Jednak został lepiej opisany tutaj: https://techformator.pl/audyt-strony-internetowej-wildshark-seo-spider/

Dla wielu osób zastanawiający będzie fakt, dlaczego pokazuję tak wiele programów, wykonujących podobne czynności. Odpowiedź jest prosta, programy te potrafią mieć wiele niedoskonałości, jak np. na załączonym poniżej obrazku:

Wildshark SEO Spider
Wildshark SEO Spider

Audytowanie strony w jednym narzędziu, nie zawsze skutkuje sukcesem…

DRKSpider Java

W całym tym szaleństwie, nie chodzi o zbieractwo wszelkiej maści programów. A takich, które udostępniają jak najwięcej informacji o stronie w jak najkrótszym czasie. Jak sama nazwa wskazuje silnik tego programu został oparty o język Java. Jest to jego wada i zaleta zarazem. Zaletą jest szybkość jego działania. W dodatku program DRKSpiderJava jest bezinstalacyjny – odpalany za pomocą skryptu powłoki i posiada naprawdę niewielki rozmiar – około 4MB. Wadą natomiast jest jego zasobożerność – co może się objawiać „wysypywaniem programu”, w najmniej oczekiwanych momentach – zdarza się to przy dużej głębokości skanowania i przy dużych stronach, składających się z kilku tysięcy podstron.

DRKSpiderJava
DRKSpiderJava

BeamUsUp SEO Crawler

Posiada tyle samo wad i zalet – jak DRKSpiderJava, Również napisany w Javie. Z tym że jego rozmiar to już 22MB. Jak widać koncepcja interfejsu różni się w obu rozwiązaniach. Jednak z obu programów, można wyciągnąć naprawdę wiele informacji. Ocenę pozostawiam czytelnikom…

BeamUsUp SEO Crawler
BeamUsUp SEO Crawler

Ubersuggest

Nie wszyscy wiedzą o jednej z nowszych opcji Ubersuggesta. Dlatego warto czasami sprawdzać, co zmienia się w interfejsie tej przeglądarkowej aplikacji. Przez długi czas była ona darmowa, ale im więcej opcji się pojawia, tym bardziej zmierza ona w kierunku płatnego rozwiązania. Na chwilę obecną, już pojawiło się okno logowania, które sugeruje zamykanie programu i zapewne stworzenie z niego oprogramowania choćby trochę przypominającego Ahrefs, Moz, czy Semrush – czyli abonamentowego. Autor oprogramowania – Neil Patel, od zawsze utrzymywał, że Ubersuggest będzie bezpłatny. Ale nie oszukujmy się, wydał cały majątek, żeby połączyć się z bazami ukraińskiego DataForSEO – twórców m.in. RankActive. Bazy te są sprzedawane dla każdego kraju osobno, zarówno baza słów kluczowych, jak i baza SERPów, to nie mała opłata jednorazowa. Także spodziewam się, że będzie starał się szukać nowych (ale jednak starych) źródeł pozyskania pieniędzy… Mam nadzieję, że się mylę.

Ubersuggest
Ubersuggest

Netpeak Spider

Jako dodatek, do tej całej gamy oprogramowania wspomnę jeszcze o jednym z lepszych narzędzi audytujących, które można zdobyć bezpłatnie na kilka sposobów, mimo że jest to oprogramowanie abonamentowe: niezastąpiony Netpeak Software, któremu poświęcę osobny artykuł z krótkim poradnikiem…

Netpeak Spider
Netpeak Spider

Podsumowując: przedstawiłem najlepsze darmowe programy do audytowania stron, jakie udało mi się znaleźć w ostatnim czasie. Posiadają swoje przywary, jednak można wyciągnąć z nich wiele informacji, które pozwolą na lepszą pracę z własną stroną. Dlatego zachęcam do zapoznania się z nimi, ich ograniczeniami i możliwościami. Być może, któryś z nich zostanie z Wami na dłużej…

Polecane dla Ciebie

powiększone oczko

Sprawdzanie indeksacji linków w Google (Index Checker)

tworzenie listy

Listy katalogów stron – hurtowe pozyskiwanie adresów

gość z otwartą stroną google

Google, szybkie indeksowanie stron

2 komentarze

Kliknij tutaj aby skomentować
  • Mateusz pisze:
    25 października 2019 o 10:17

    Ostatnio odkryłem właśnie WildShark SEO Spider i niestety ale crawler działa chyba tylko na określone rozszerzenia domen. Na żadnej .pl i .eu nie udało się wystartować. Natomiast dla testów wrzuciłem domenę autora i crawler ruszył

  • Damian pisze:
    25 października 2019 o 10:55

    Do tej listy dodałbym jeszcze na przykład SEO Spy Glass, a szczególnie Website auditor.

Kategorie

  • Aktualności49
  • Internet i bezpieczeństwo35
  • Marketing internetowy163
  • Oprogramowanie43
  • Sprzęt14
  • Systemy operacyjne39
  • Urządzenia mobilne15

O autorze

Mariusz Kołacz

Freelancer z ponad 10 letnim doświadczeniem, specjalizujący się w marketingu internetowym dla e-commerce. Prowadzi kompleksowe kampanie SEO, Google ADS, Facebook ADS dla małych i dużych przedsiębiorstw. Po godzinach bloguje na tematy związane z SEO i IT oraz zgłębia tajniki medycyny i parapsychologii.

Wyszukaj

Poradniki IT

  • Jak zrobić bootowalny pendrive
  • Laptop nie widzi WiFi
  • Jak zrootować telefon
  • Formatowanie pendrive
  • Zabezpieczenie WordPress
  • Jak zrobić obraz dysku
  • Sprawdzenie dysku twardego

Poradniki SEO

  • Narzędzia SEO
  • Sprawdzanie pozycji w Google
  • Filtr w Google
  • Zakup domeny
  • Sprawdzanie linków
  • Pozycjonowanie za efekt
  • Zdejmowanie filtra Google

Oferta

Świadczę kompleksowe usługi z zakresu marketingu internetowego, w szczególności optymalizacja, pozycjonowanie stron i sklepów internetowych, audyty SEO, audyty pozycjonowania, audyty linków, audyty słów kluczowych, audyty kar od Google, audyty techniczne. Prowadzę również kampanie reklamowe Google ADS i Facebook ADS oraz tworzę treści na sklepy internetowe i blogi. Przeczytaj więcej na SocialTrends.pl

O blogu TechFormator

Na blogu poruszane są tematy związane z marketingiem internetowym i nowymi technologiami. Znajdziesz tutaj poradniki o pozycjonowaniu i optymalizacji stron, recenzje narzędzi SEO, oprogramowania użytkowego dla Windows, Linux i urządzeń mobilnych, recenzje sprzętu IT oraz poradniki komputerowe.

Copyright 2021 - Blog technologiczny TechFormator.pl
  • O blogu
  • O mnie
  • Narzędzia SEO
  • Reklama
  • Informacje
  • Archiwum
Wykorzystujemy pliki cookies. Przeglądając stronę wyrażasz zgodę na ich wykorzystanie zgodnie z ustawieniami przeglądarki [Polityka prywatności]