TechFormator
  • Mobile
  • Systemy
  • Sprzęt
  • e-Marketing
  • Bezpieczeństwo
  • Inne
    • Aktualności
    • Oprogramowanie
  • Social Trends
  • Kontakt
  • Reklama
TechFormator
  • Mobile
  • Systemy
  • Sprzęt
  • e-Marketing
  • Bezpieczeństwo
  • Inne
    • Aktualności
    • Oprogramowanie
  • Social Trends
  • Kontakt
  • Reklama
Mariusz Kołacz
38 komentarzy
26 kwietnia 2012
tworzenie listy

Listy katalogów stron – hurtowe pozyskiwanie adresów

Oprócz pozycjonowania stron zajmuję się także tworzeniem SEO botów. Wszystkie mają na celu zautomatyzować powtarzające się czynności lub usprawnić proces pozyskiwania danych (Data Mining). W niniejszym wpisie chciałbym przedstawić jeden z autorskich programów SEO. Program nosi nazwę CatScraper i jego zadaniem jest tworzenie listy katalogów na podstawie zebranych danych. Aplikacja jest bardzo prosta, ale pozwala zaoszczędzić sporo czasu.

W jednym z poprzednich artykułów opisałem, jak można pozyskać adresy katalogów wykorzystując darmowy dodatek do przeglądarki Google Chrome – XPath Scraper. Niestety zaprezentowana metoda jest dobra w odniesieniu do niewielkich zbiorów danych, dlatego też z biegiem czasu stworzyłem kilka programów, które automatyzowały proces pozyskiwania katalogów. Jednym z nich jest CatScraper.

Wersja 1.0 pobiera informacje tylko z jednej witryny. Na tę chwilę można wyłuskać 3449 katalogów. Natomiast docelowo mam zamiar rozszerzyć funkcjonalność do ponad 30 stron polskich i zagranicznych, szacunkowo będzie można pozyskać nawet 60-tysięcy adresów. Nie zdecydowałem jeszcze, czy rozszerzona wersja będzie darmowa.

CatScraper

UWAGA! Przed użyciem programu zapoznaj się z plikiem przeczytaj-TO.txt

CatScraper dostarczany jest w formie bezinstalacyjnej. Aplikację uruchamiamy poprzez plik CatScraper.exe – po włączeniu programu klikamy Uruchom i od tego momentu rozpoczyna się proces zbierania informacji. Proces można w każdej chwili zatrzymać. Listę można wyeksportować do pliku TXT (przycisk Zapisz).

Wymagania:

  • System operacyjny XP, Vista, Windows 7 32/64-bit lub Linux ze środowiskiem Wine i wgranymi bibliotekami Microsoft .NET (zobacz instrukcję dla Linux),
  • Biblioteki .NET Framework w wersji 4.0,
  • Pamięć RAM: 64MB,
  • Aktywne połączenie z Internetem.

CatScraper w wersji 1.0 udostępniam na licencji Freeware.

Aktualizacja: 5.02.2013 r.
Program można pobrać z fanpage, zakładka Free SEO Tools.

Aktualizacja: od dłuższego czasu aplikacja nie była rozwijana, w związku z czym, z dniem 16.06.2019 wsparcie dla programu zostaje wstrzymane. Program będzie niedostępny do pobrania. Być może w przyszłości na bazie programu stworzę nowy, o większych możliwościach.

Polecane dla Ciebie

seo bots

Tworzenie seo botów, przegląd darmowych narzędzi

klucz seo

Szybka indeksacja strony z Pingy Alpha 2

seo człowiek

Odfiltrowujesz strony? Ta aplikacja zwiększy Twoją produktywność!

38 komentarzy

Kliknij tutaj aby skomentować
  • Maksiu pisze:
    26 kwietnia 2012 o 19:45

    Przydatny programik. Mega lista w kilkanaście sekund. Dzięki za podzielenie się nim i powodzenia w rozwijaniu go ! Pozdrawiam.

    • Mariusz Kołacz pisze:
      26 kwietnia 2012 o 20:39

      Dzięki. Na ten moment wprowadziłem już jedną drobną poprawkę korygującą.
      Program na pewno będzie kontynuowany, czy i w jakiej formie zostanie udostępniona wersja rozszerzona… czas pokaże.

    • pc-max pisze:
      5 maja 2012 o 09:20

      podzielam opinię przedmówcy. ciekawe rozwiązanie. oby się sprawdzało i działało prawidłowo. pozdrawiam gorąco

  • Marek pisze:
    26 kwietnia 2012 o 21:35

    witam, program korzysta z tzw katalogów katalogów do pozyskiwania adresów ? mam coś podobnego co przegląda katalogi katalogów, nie tylko szuka adresów ale określa płanty nie płatny PR etc

    • Mariusz Kołacz pisze:
      26 kwietnia 2012 o 22:35

      Nie, ale ciekawy pomysł, taki wariant też mogę wprowadzić choć z określaniem typu katalogu może być problem. W seokatalogach mógłbym co najwyżej zebrać info z listy rozwijanej, jakie typy wpisów są dozwolone. Z określeniem czy darmowy, czy nie też nie byłby to problem, gdyby nie fakt, że wiele katalogów stosuje różne oznaczenia dla wpisów za free, ale myślę że jakbym do tego przysiadł do zrobienia 😉

    • Larg0 pisze:
      29 kwietnia 2012 o 20:56

      Program pobiera wszystkie katalogi z hxxp://www.katlista.pl/katlista.php liczymy na więcej! 🙂
      Fajnie, że rozwijasz program 🙂 Powodzenia !

  • Marek pisze:
    26 kwietnia 2012 o 22:40

    a w czym to piszesz .net c# ? czy inny język programowania…, byłoby znacznie prościej gdyby te katalogi katalogów były standaryzowane, a tak to co krok to prorok…

  • seotarget pisze:
    28 kwietnia 2012 o 01:18

    proponuje zrobić scraper google, listę footprintow i rozpoznawać katalogi po url oraz strukturze na stronie. Jeśli chciałbyś scraper do tego to mogę pomoc, mam wszystkie tematyki google w php więc było by szybciej. Skuteczność wyciągania 100%, sb myślę że ma z 30%(serio). A program ciekawy, na pewno sprawdzę dokładniej:)

    • Mariusz Kołacz pisze:
      28 kwietnia 2012 o 09:27

      Dobry pomysł, nie przyszło mi to na myśl a przecież do wyszukiwania też to stosuję 😉 Do określania typu katalogu z tego co widzę nie ma darmowego softu, jest jedynie Sick Platform Reader.

  • adam pisze:
    1 maja 2012 o 14:45

    Rewelacyjny program. Dzięki za kawal dobrej pracy. Powodzenia w rozwijaniu oprogramowania, z pewnością skuszę się nawet gdyby była drobna opłata.

  • HSMOnline pisze:
    2 maja 2012 o 10:19

    Fajny programik, wielkie dzięki:)

    A może da się dodać kolumnę z ilością Backlinków do danego katalogu?

    • Mariusz Kołacz pisze:
      2 maja 2012 o 13:16

      Nie ma sensu dodawać statystyk, sprawdziłem na przykładzie pobierania PR katalogu i wydajność programu na tym bardzo ucierpiała. Myślę że jak ktoś będzie miał listę katalogów, wrzuci sobie to do darmowego narzędzia np. , uruchomi sprawdzanie i po pewnym czasie pozyska interesujące go statystyki. Dodanie takiej funkcji jest zbędne, zadaniem programu jest pozyskiwanie informacji o adresach i niech tak zostanie. Być może dodatkowy moduł, pozyskiwanie statystyk jako opcja w menu, zobaczymy.

  • zxc pisze:
    3 maja 2012 o 14:03

    no dobra program działa,
    ale skąd bierze listę i co właściwie wyciąga?
    tak jak ktoś pisał katalogi katalogów, darmowe katalogi? co to w ogóle jest

    • Mariusz Kołacz pisze:
      3 maja 2012 o 17:36

      Wszystko zostało już poniekąd napisane i znajduje się w prezentacji CatScraper i komentarzach.

  • zxc pisze:
    3 maja 2012 o 19:52

    „Wersja 1.0 pobiera informacje tylko z jednej witryny. ”
    rozumiem, że pobiera z jednego katalogu katalogów 'jakiegoś’ tylko adresy, czyli na bierząco przeskanowuje go i ew. uzupełnia do wygenerowanego raporty nowe adresy?

    Czy nie można importować listy adresów i nauczyć go jak ma wyciągać z danej strony linki? – w tedy było by lepiej 😉

    • Mariusz Kołacz pisze:
      3 maja 2012 o 20:05

      Ogólnych schematów można „nauczyć”, tyle że każda strona jest inna i nie ma mowy, aby jedna definicja była w stanie uniwersalnie pobierać informacje. A też tutaj jest kwestia wydajności, w tym wypadku użycie wyrażeń regularnych byłoby konieczne, a jak wiemy zastosowanie tego w kodzie to duży spadek wydajności, dlatego kiedy mogę unikam tego rozwiązania.

  • Miki pisze:
    5 maja 2012 o 09:19

    Bardzo fajny programik. Pobrałem i z chęcią się pobawię. Mariusz, może napiszesz jakiś artykuł odnośnie ostatnich zmian w google. Widzę że u Ciebie na stronie ruch mocno spadł.

    • Mariusz Kołacz pisze:
      5 maja 2012 o 10:32

      Każdemu teraz spada ruch, naturalna rzecz. Niestety nie mam czasu na pisanie artykułów, za dużo roboty na głowie, ale w najbliższym czasie będę musiał coś ciekawego wrzucić na stronę.

      Ps. Co do propozycji artykułu, nie warto powielać po raz n-ty ostatnich informacji o zmianach w Google, było już na ten temat tyle publikacji, że kolejna nic nowego nie wniesie do tematu. Niestety w tego typu publikacjach liczy się czas, kto pierwszy poinformuje o zmianach ten zbiera najwięcej korzyści.

  • Radek pisze:
    5 maja 2012 o 17:34

    Dzięki wielkie, takie programiki są na miarę złota. Za chwilę będę go testował, potrzebuję dużej listy katalogów, mam nadzieje, że znajdzie się coś wartościowego 🙂

  • qazpl pisze:
    16 maja 2012 o 00:59

    a u mnie nie dziala. przelatuje do konca i ne mam zadnych adresow.
    program nie daje zadnego bledu ani komunikatu.

    • Mariusz Kołacz pisze:
      16 maja 2012 o 09:33

      Sprawdziłem działa, program nie ma jeszcze szerokiej obsługi błędów tzn. jest implementacja ale komunikaty nie są wypluwane na zewnątrz, choć przy braku połączenia program w ogóle nie powinien uruchomić procedury sprawdzania. Podejrzewam że strony nie zostały pobrane prawidłowo stąd brak wyników. Proponuję sprawdzić program na wyłączonej ochronie HIPS, jak Masz uruchomiony sandbox to go wyłącz lub zezwól programowi na pełną komunikację z serwerem.

  • Konkursy pisze:
    17 maja 2012 o 16:01

    Bardzo dziękuje za przydatny program, który wykorzystam w mig :)ale nie tylko programie bo sporo informacji ze strony są bardzo ciekawe i przydatne przy budowaniu pozycji własnej strony 🙂

  • Kuba pisze:
    5 czerwca 2012 o 10:47

    Gdyby program segregował katalogi wg skryptów (wystarczyły by tylko te najpopularniejsze) to chętnie bym zakupił taki soft 🙂

    • Mariusz Kołacz pisze:
      5 czerwca 2012 o 20:35

      Mam w planach stworzenie programu podobnego do Platform Reader, jak już go zrobię integracja z CatScraper nie powinna być trudna.

  • Pawlo pisze:
    7 czerwca 2012 o 13:23

    Tak zapytam, akurat bacznie się przyglądałem i nigdzie nie mogłem znaleźć linka do pobrania programu. Czy autor go tymczasowo usunął?

    P.S. Przyznam szczerze, że bardzo fajnie prezentuje się programik. Gdyby miał wbudowana funkcje rozpoznawania choć tych najpopularniejszych skryptów katalogów i grupowania ich, skłonny bym był za niego zapłacić. 😉

  • Pawlo pisze:
    7 czerwca 2012 o 13:26

    >>> Tak zapytam, akurat bacznie się przyglądałem i nigdzie nie mogłem znaleźć linka do pobrania programu. Czy autor go tymczasowo usunął?
    _____
    Już znalazłem, … ach te moje oczy, noszę okulary a dalej ślepy 😉

    • Mariusz Kołacz pisze:
      7 czerwca 2012 o 13:39

      Anoż, link był i jest na swoim miejscu 😉
      Natomiast niektóre aplikacje dostępne są/będą wyłącznie przez fanpejdż techformator.pl

      Funkcjonalność o której wspominasz rzeczywiście jest znaczącym uzupełnieniem aplikacji 😉

  • Franek pisze:
    26 lipca 2012 o 22:17

    Bardzo ciekawy programik, mam nadzieję że jeszcze nie porzuciłeś tego projektu i będziesz w dalszym ciągu go rozwijać. Tak jak pisali przedmówcy, w kolejnych wersjach można by dodać różne opcje związane z systemem wyszukiwania katalogów.

  • pcfaq pisze:
    28 września 2012 o 14:44

    Narzędzie mogłoby robić coś więcej niż tylko zbierać adresy stron internetowych – dobrze by było, gdyby umożliwiało na przykład automatyczne katalogowanie stron internetowych 🙂

    • Mariusz Kołacz pisze:
      29 września 2012 o 16:49

      …i może jeszcze za free dostępne? Jest to zwyczajnie nierealne przy sofcie do katalogowania.

  • Ola pisze:
    30 września 2012 o 15:21

    Mi się podoba, prosty program spełniający swoje założenie. Jak już stworzysz wersję rozszerzoną daj znać w komentarzach tego artykułu -łatwiej co niektórym z nas będzie go znaleźć i przetestować.

    • Mariusz Kołacz pisze:
      30 września 2012 o 15:30

      Wersja rozszerzona już od dawna funkcjonuje jest nim XPath Scraper Extended 😉 Uniwersalny scraper, który na podstawie footprintów jest wstanie wyciągnąć nie tylko listy katalogów, ale także i inne rzeczy 🙂

      Jest wysoce prawdopodobne, że okrojoną wersję „Basic” udostępnię na blogu za free (pisałem o tym na facebooku). Kiedy to nastąpi jeszcze nie wiem, zanim go udostępnię muszę jeszcze trochę popracować nad interfejsem bo nie powala na kolana i co najważniejsze przetłumaczyć na język ENG.

  • Anna pisze:
    18 października 2012 o 22:38

    Pytanie początkującego.
    Po zebraniu listy jak oceniacie, do których katalogów dodawać wpisy?
    A może do wszystkich?
    Wszędzie się teraz pisze, aby nie dodawać do kiepskich tworów, bo się pogorszy swoją sytuację, więc się zastanawiam, co zrobić.
    Pozdrawiam

    • Maxxx pisze:
      23 października 2012 o 00:42

      Jest kilka miejsc, gdzie można próbować sprawdzać wartość katalogów. Np. serwisy majesticseo lub ahrefs

  • Darek Jasiński pisze:
    27 stycznia 2013 o 20:53

    Chyba link jest uszkodzony lub nie ma już owego pliku na serwerze, bo nie udało mi się go pobrać.

    • Mariusz Kołacz pisze:
      28 stycznia 2013 o 08:29

      Wszystko działa, pobierz jeszcze raz bo plik jak był tak jest – nic nie było usuwane.

  • Kuba Mikita pisze:
    5 lutego 2013 o 12:33

    Ja też niestety nie mogę pobrać paczki z podanego linka. Na stronie komunikat „Nie znaleziono”. Może jakiś mirror? 🙂

    • Mariusz Kołacz pisze:
      5 lutego 2013 o 15:18

      Plik znajduje się na fanpage, zakładka Free SEO Tools.

Kategorie

  • Aktualności68
  • Internet i bezpieczeństwo44
  • Marketing internetowy168
  • Oprogramowanie43
  • Sprzęt38
  • Systemy operacyjne39
  • Urządzenia mobilne23

Najczęściej czytane

notatnik wordpress

Pozycjonowanie WordPress – przydatne wtyczki

Black Friday 2019

10 wskazówek jak nie dać się oszukać podczas Black Friday 2022 i Cyber Monday 2022

kostka z numerem 10

Wprowadź swoją stronę do TOP10 z SEOPilot

napis Core Web Vitals

Google: Sygnały dotyczące jakości strony WWW

Wyszukaj

Poradniki IT

drukowanie

Naprawa bufora wydruku, czyszczenie kolejki drukowania

windows desktop

Zapis i odtworzenie układu ikon Pulpitu

pamięć ram

Ustawienia pamięci wirtualnej w Windows

układ pamięci ram

Montowanie obrazów, tworzenie ramdysku w OSFMount

Poradniki SEO

Black Friday 2019

10 wskazówek jak nie dać się oszukać podczas Black Friday 2022 i Cyber Monday 2022

seo content

Prowadzenie bloga sklepu internetowego – 20 przydatnych narzędzi

notatnik wordpress

Pozycjonowanie WordPress – przydatne wtyczki

seo wzrost na wykresie

Jak sprawdzić czy strona jest pozycjonowana?

Oferta

Świadczę kompleksowe usługi z zakresu marketingu internetowego, w szczególności optymalizacja, pozycjonowanie stron i sklepów internetowych, audyty SEO, audyty pozycjonowania, audyty linków, audyty słów kluczowych, audyty kar od Google, audyty techniczne. Prowadzę również kampanie reklamowe Google ADS i Facebook ADS oraz tworzę treści na sklepy internetowe i blogi. Przeczytaj więcej na SocialTrends.pl

O blogu TechFormator

Na blogu poruszane są tematy związane z marketingiem internetowym i nowymi technologiami. Znajdziesz tutaj poradniki o pozycjonowaniu i optymalizacji stron, recenzje narzędzi SEO, oprogramowania użytkowego dla Windows, Linux i urządzeń mobilnych, recenzje sprzętu IT oraz poradniki komputerowe.

Copyright 2023 - Blog technologiczny TechFormator.pl
  • Pozycjonowanie
  • Reklama
  • Archiwum
Wykorzystujemy pliki cookies. Przeglądając stronę wyrażasz zgodę na ich wykorzystanie zgodnie z ustawieniami przeglądarki [Polityka prywatności]