Jeśli tego jeszcze nie widzieliście, to musicie zobaczyć. Dzień z życia inżyniera Twittera. Kawka, winko, spotkania z przyjaciółmi, joga, piłkarzyki, fajne żarcie i zero pracy.
Nie dziwię się, że kwiczeli jak ich wywalił na zbite pyski.
Jeśli tego jeszcze nie widzieliście, to musicie zobaczyć. Dzień z życia inżyniera Twittera. Kawka, winko, spotkania z przyjaciółmi, joga, piłkarzyki, fajne żarcie i zero pracy.
Nie dziwię się, że kwiczeli jak ich wywalił na zbite pyski.
Jeśli twoja strona padła ofiarą ataku DoS bota firmy Majestic, konkretnie MJ12bot, tak jak moja, to kilka porad jak zablokować to dziadostwo.

Jakiś czas temu zauważyłem wzmożony ruch na stronach spowodowany masowym skanowanie stron przez bota:
192.99.37.132 - - [03/Nov/2022:01:19:14 +0100] "GET / HTTP/1.1" 200 7266 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"
Requesty leciały jeden za drugim na wszystkie moje strony z dziesiątkami parametrów, dzień i noc w kółko wałkował każdą możliwą podstronę.
To bot crawlujący narzędzia Majestic SEO (nie polecam). Bot jest nieudolnie napisany i nie tylko ja mam z nim problemy, ponieważ dostaje pierdolca i DoS-uje strony poprzez masowe skanowanie nawet najgłupszych URL-i.
Warto pamiętać, że niektóre boty podszywają się pod MJ12bot, ale to dodatkowy powód, żeby i je blokować.
Oficjalnie przez regułę blokującą w robots.txt, wystarczy dopisać te dwie linjki:
User-agent: MJ12bot Disallow: /
Ale moment, moment! Kto by się tym przejmował, na pewno nie taka firma, która żyje z harvestowania danych SEO i dodanie tego wpisu do robots.txt nie ma kompletnie wpływu na to jak działa ich bot!
Zarówno tego dziadowskiego bota, jak i inne crawlery, które nie mają wpływu na indeksację naszej strony można prosto zablokować na poziomie serwera HTTP. W moim przypadku jest to nginx.
Wystarczy dodać regułę do sekcji server { … } (nie można tego niestety dodać do głównego bloku http { … } i dla każdej strony trzeba to kopiować):
if ($http_user_agent ~* "(SemrushBot|Semrush|AhrefsBot|MJ12bot|MegaIndex.ru|BLEXbot|BLEXBot|ZoominfoBot|YaK|VelenPublicWebCrawler|SentiBot|Vagabondo|SEOkicks|SEOkicks-Robot|mtbot|DotBot|Cliqzbot|coccocbot|Scrap|SiteCheck-sitecrawl|MauiBot|Java|GumGum|Clickagy|AspiegelBot|TkBot|CCBot|Qwantify|MBCrawler|serpstatbot|AwarioSmartBot|Semantici|ScholarBot|proximic|MojeekBot|GrapeshotCrawler|IAScrawler|linkdexbot|contxbot|PlurkBot|PaperLiBot|BomboraBot|Leikibot|weborama-fetcher|NTENTbot|admantx-usaspb|Eyeotabot|VoluumDSP-content-bot|SirdataBot|adbeat_bot|TTD-Content|admantx|Nimbostratus-Bot|Mail.RU_Bot|Quantcastboti|Onespot-ScraperBot|Taboolabot|Baidu|Jobboerse|VoilaBot|Sogou|Jyxobot|Exabot|ZGrab|Proximi|Sosospider|Accoona|aiHitBot|Genieo|BecomeBot|ConveraCrawler|NerdyBot|OutclicksBot|findlinks|JikeSpider|Gigabot|CatchBot|Huaweisymantecspider|Offline Explorer|SiteSnagger|TeleportPro|WebCopier|WebReaper|WebStripper|WebZIP|Xaldon_WebSpider|BackDoorBot|AITCSRoboti|Arachnophilia|BackRub|BlowFishi|perl|CherryPicker|CyberSpyder|EmailCollector|Foobot|GetURL|httplib|HTTrack|LinkScan|Openbot|Snooper|SuperBot|URLSpiderPro|MAZBot|EchoboxBot|SerendeputyBot|LivelapBot|linkfluence|TweetmemeBot|LinkisBot|CrowdTanglebot|Netcraft)") { return 403; }
Można tą regułę zapisać np. w pliku block-bots.conf i załączyć ten plik jeśli chcemy blokować boty na wielu stronach (zamiast przeklejać w kółko to samo):
server {
# block SEO bots
include /etc/nginx/global/block-bots.conf;
I przeładować nginx-a komendą:
service nginx reload
I po sprawie. Kiedyś myślałem, że fajnie, że boty SEO odwiedzają moją stronę, jednak teraz widzę, że ja nie mam z tego kompletnie korzyści, a jak trafi się tak nieudolnie napisany bot jak ten MJ12bot to może jeszcze namieszać. Blokować dziada!
PS. Zaktualizowałem listę botów, usunąłem blokady na Senzam, Python i Yandexa. Dodałem blokadę na bota Netcraft.
Jeden z ciekawszych filmów dotyczący skandalu ze słynnym raperem oczami byłego inżyniera Google. Wrzucam link do Rumble, bo ktoś sugerował, że oryginalny filmik był już zablokowany na YouTube.
Najlepsze praktyki SEO w 2022 roku do pozycjonowania i optymalizacji stron internetowych wyniesione z własnego doświadczenia. Wady, zalety i narzędzia do SEO.
Zacznę od tego czego nie powinieneś robić. A na pewno nie powinieneś zatrudniać żadnej firmy od pozycjonowania SEO, chyba że chcesz stracić pieniądze. A gwarantuję, że stracisz, a oni będą Cię co miesiąc doić finansowo jak krowę.
Polskie firmy SEO to dno spamerskiego mułu. Myślą, że są cwaniakami, bo kupili spamerskie narzędzia w stylu Xrumer za gruby hajs lub uprawiają tzw. marketing szeptany spamując na forach (które de facto nie są już tak popularne jak kiedyś) albo wcisną Ci bajeczkę, że znają tajemny składnik na sos SEO (tzw. SEO juice), ale co to jest, to Ci już nie powiedzą.
Miałem to szczęście, że nigdy nie musiałem zatrudniać tego typu firmy, jednak doradzałem klientom, którzy wpadli w tą pułapkę i słono za to zapłacili.
Kilka taktyk SEO, które zauważyłem na przestrzeni lat wykorzystywanych przez firmy SEO po wykupieniu jakichś gównopakietów typu SEO VIP Turbo Shit Tier Google Number 1:
{Dzień dobry|Cześć|Siema}, co sprawia że artykuł jest trochę inny, czasami korzystają do tego z tzw. text spinnerów, które to robią automatycznie. Obecnie wykorzystywane są też narzędzia do przepisywania tekstów, wykorzystujące sztuczną inteligencję, jak np. znakomity QuillBotNie wierzysz, że takie praktyki są do dzisiaj w 2022 roku stosowane? Poczytaj sobie ogłoszenia (świeże) na forum Pozycjonowanie i Optymalizacja, gdzie piszą również oficjalnie firmy SEO:
To trochę klik-baitowy nagłówek, bo szybko może to zrobić ktoś kto ma doświadczenie, jeśli jednak masz czas i poświecisz go na to, o czym piszę – zapewniam będziesz o dobre kilka kroków przed konkurencją.
og:image<nav> <article>, nagłówki <h1> (tylko jeden) i pod spodem wiele <h2> i <h3><a href="..." rel="nofollow"...rel="nofollow"). Jak je zdobyć? Wymiana linków, kupno linków (a jak), gościnne artykuły, przeglądy, wywiady, notatki prasowe. A najlepszym sposobem jest mieć po prostu dobry produkt, o którym inni sami będą pisali. Zdobywanie zewnętrznych linków jest cholernie trudne i pracochłonne, ale to podstawa działania wyszukiwarki i pozycji naszej strony od samego początku istnienia Google. Mogę polecić świetną prezentację Pana Szymona Słowika odnośnie tego tematu (wiele ciekawych smaczków): To zależy, jeśli pracujesz nad własną stroną uważam, że nie, chyba, że jednorazowo. Jeśli zajmujesz się SEO i zarządzasz kilkoma stronami lub stronami klientów – jak najbardziej. Samo kupno narzędzi do analizy SEO nie sprawi, że nagle twoja strona wyskoczy na pierwsze miejsce w wynikach wyszukiwania Google.
Najpopularniejsze narzędzia do analizy konkurencji i własnych projektów to m.in.:
Nie namawiam do piractwa, ale jeśli uważasz, że ceny niektórych z tych narzędzi są z kosmosu i że ryją swoimi botami po twoich stronach dzień w dzień jedynie dla własnego zysku nie dając niczego w zamian, zainteresuj się czymś takim jak usługi group buy, gdzie jedna osoba kupuje licencję na pakiet usług i odsprzedaje do nich dostęp w ramach własnego konta. Teraz już wiesz.
Pierwszy podstawowy błąd jaki widzę to brak rozwijania strony, raz ktoś postawi i wisi tak 10 lat to samo, bez dodatkowych treści, bez poprawy błędów językowych, bez poprawy linków, bez dbania o cokolwiek. Technologia stron ciągle ewoluuje, ciągle dodawane są nowe elementy, o które warto wzbogacić własną stronę.
Drugi błąd to brak zrozumienia, że potrzebne są linki zewnętrzne kierujące do twojej strony i że na tej zasadzie od samego początku funkcjonowała wyszukiwarka Google. Warto poczytać o algorytmie PageRank.
Obecnie analizowane są zapewne sygnały z wielu źródeł, nie tylko linki prowadzące do naszej witryny, ale np. linki z social media (które niekoniecznie mają atrybuty dofollow).
Piszę o tym, bo spotkałem się z sytuacją, gdy ktoś był zaskoczony, że zrobił piękną stronę, a jest na dnie wyników wyszukiwania. Po krótkiej rozmowie i analizie ile linków prowadzi do jego strony, wyszło że zero, bo myślał, że sama strona wystarczy. W dwa tygodnie i moich sugestiach udało mu się zdobyć 5 linków zewnętrznych, co w jego branży i konkurencji pomogło mu się wybić na górę wyników wyszukiwania, niby 5 linków to niewiele, a zmienia bardzo dużo.
Jak mówi przysłowie – jak dbasz, tak masz i to doskonale sprawdza się w optymalizacji SEO.
Masz uwagi, ciekawe narzędzia SEO, coś przekręciłem – skomentuj i zostaw linka.
Serwis DobreProgramy moim zdaniem od lat nie jest obiektywnym źródłem wskazującym faktycznie na dobre programy, a jedynie jedną wielką bazą z opłaconymi pozycjami.
Moje próby dodania tam swojego oprogramowania, mimo zapewnień wszelkiej maści redaktorów spełzły na niczym, a próbowałem od 2010 roku. Nikt nie wspomniał o płatnej promocji ani słowa, jednak dało się odczuć, że prawdopodobnie chcą pieniędzy, jednak oficjalnie tego nie powiedzą.

Zrozumiałem jak ten ich interesik wygląda i dałem sobie spokój, w międzyczasie DobreProgramy przejęła firma Wirtualna Polska. Postanowiłem napisać kolejny raz, tym razem bez owijania w bawełnę ile kosztowałoby dodanie programu do ich katalogu.
Tutaj macie ich ofertę promocyjną z 2021 roku, dzięki której zrozumiecie dlaczego na ich stronach nie znajdziecie programów mniej znanych producentów.
A dla wszystkich oburzonych hurr… durr… obrońców Dobrych Programów, jaką to mają super sekcję z newsami i obiektywnymi komentarzami, mam ciekawostkę, że sobie chyba nie zdajecie sprawy jak manipulowane są głosy komentarzy w tym serwisie przez boty marketingowe:

Zdziwko, nie? DobreProgramy, dobre newsy i dobre komentarze… chyba nie.