Jak zablokować MJ12bot?

Jeśli twoja strona padła ofiarą ataku DoS bota firmy Majestic, konkretnie MJ12bot, tak jak moja, to kilka porad jak zablokować to dziadostwo.

Majestic MJ12bot

Jakiś czas temu zauważyłem wzmożony ruch na stronach spowodowany masowym skanowanie stron przez bota:

192.99.37.132 - - [03/Nov/2022:01:19:14 +0100] "GET / HTTP/1.1" 200 7266 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"

Requesty leciały jeden za drugim na wszystkie moje strony z dziesiątkami parametrów, dzień i noc w kółko wałkował każdą możliwą podstronę.

Co to jest MJ12bot?

To bot crawlujący narzędzia Majestic SEO (nie polecam). Bot jest nieudolnie napisany i nie tylko ja mam z nim problemy, ponieważ dostaje pierdolca i DoS-uje strony poprzez masowe skanowanie nawet najgłupszych URL-i.

Warto pamiętać, że niektóre boty podszywają się pod MJ12bot, ale to dodatkowy powód, żeby i je blokować.

Jak teoretycznie zablokować MJ12bot?

Oficjalnie przez regułę blokującą w robots.txt, wystarczy dopisać te dwie linjki:

User-agent: MJ12bot
Disallow: /

Ale moment, moment! Kto by się tym przejmował, na pewno nie taka firma, która żyje z harvestowania danych SEO i dodanie tego wpisu do robots.txt nie ma kompletnie wpływu na to jak działa ich bot!

Jak skutecznie zablokować MJ12bot?

Zarówno tego dziadowskiego bota, jak i inne crawlery, które nie mają wpływu na indeksację naszej strony można prosto zablokować na poziomie serwera HTTP. W moim przypadku jest to nginx.

Wystarczy dodać regułę do sekcji server { … } (nie można tego niestety dodać do głównego bloku http { … } i dla każdej strony trzeba to kopiować):

if ($http_user_agent ~* "(SemrushBot|Semrush|AhrefsBot|MJ12bot|MegaIndex.ru|BLEXbot|BLEXBot|ZoominfoBot|YaK|VelenPublicWebCrawler|SentiBot|Vagabondo|SEOkicks|SEOkicks-Robot|mtbot|DotBot|Cliqzbot|coccocbot|Scrap|SiteCheck-sitecrawl|MauiBot|Java|GumGum|Clickagy|AspiegelBot|TkBot|CCBot|Qwantify|MBCrawler|serpstatbot|AwarioSmartBot|Semantici|ScholarBot|proximic|MojeekBot|GrapeshotCrawler|IAScrawler|linkdexbot|contxbot|PlurkBot|PaperLiBot|BomboraBot|Leikibot|weborama-fetcher|NTENTbot|admantx-usaspb|Eyeotabot|VoluumDSP-content-bot|SirdataBot|adbeat_bot|TTD-Content|admantx|Nimbostratus-Bot|Mail.RU_Bot|Quantcastboti|Onespot-ScraperBot|Taboolabot|Baidu|Jobboerse|VoilaBot|Sogou|Jyxobot|Exabot|ZGrab|Proximi|Sosospider|Accoona|aiHitBot|Genieo|BecomeBot|ConveraCrawler|NerdyBot|OutclicksBot|findlinks|JikeSpider|Gigabot|CatchBot|Huaweisymantecspider|Offline Explorer|SiteSnagger|TeleportPro|WebCopier|WebReaper|WebStripper|WebZIP|Xaldon_WebSpider|BackDoorBot|AITCSRoboti|Arachnophilia|BackRub|BlowFishi|perl|CherryPicker|CyberSpyder|EmailCollector|Foobot|GetURL|httplib|HTTrack|LinkScan|Openbot|Snooper|SuperBot|URLSpiderPro|MAZBot|EchoboxBot|SerendeputyBot|LivelapBot|linkfluence|TweetmemeBot|LinkisBot|CrowdTanglebot|Netcraft)") { return 403; }

Można tą regułę zapisać np. w pliku block-bots.conf i załączyć ten plik jeśli chcemy blokować boty na wielu stronach (zamiast przeklejać w kółko to samo):

server {
# block SEO bots
include /etc/nginx/global/block-bots.conf;

I przeładować nginx-a komendą:

service nginx reload

I po sprawie. Kiedyś myślałem, że fajnie, że boty SEO odwiedzają moją stronę, jednak teraz widzę, że ja nie mam z tego kompletnie korzyści, a jak trafi się tak nieudolnie napisany bot jak ten MJ12bot to może jeszcze namieszać. Blokować dziada!

PS. Zaktualizowałem listę botów, usunąłem blokady na Senzam, Python i Yandexa. Dodałem blokadę na bota Netcraft.

Siekiera rozłupująca Fiskars X27

Zostałem szczęśliwym posiadaczem siekiery rozłupującej Fiskars X27 i muszę przyznać, że frajdy jest co nie miara. To nie jest sponsorowany wpis, więc jeśli masz do porąbania sporo drewna na zimę – polecam z czystym sumieniem.

Siekiera rozłupująca Fiskars X27, X25, X17 i X11
Siekiera rozłupująca Fiskars X27, X25, X17 i X11

Od dawna byłem posiadaczem siekiery ciesielskiej Fiskars X10 i o ile do ścinania drzewek i gałęzi nadaje się idealnie i idzie jak burza, to do cięższych prac jak rozłupywanie twardego drewna – już brakuje jej mocy.

Czym się różni siekiera ciesielska od tej do rozłupywania?

Kształtem głowni. Siekiery ciesielskie wykorzystuje się do cięcia i mają wąską głownię. Siekiery rozłupujące mają szerszą, rozchodząca się na boki głownię, która po uderzeniu ma sprawić, że pieniek drewna łatwiej rozejdzie się na boki. To w sumie tyle.

Po lewej siekiera ciesielska, po prawej rozłupująca

Gdzie kupić tanio Fiskarsa?

Polecam zakup przez Amazona, mi udało się kupić za 249 PLN (po zniżkach). Wiem, że są w każdym Obi, ale ten sam model dostaniecie tam za znacznie wyższą cenę, na dzień dzisiejszy 369 PLN.

Recenzje Fiskarsa

Kilka recenzji, żeby sobie zobaczyć jak to wizualnie się prezentuje:

Niektórzy rękę sobie dadzą odciąć za klasyczne siekierki z drewnianą rękojeścią (zwłaszcza jak w nazwie mają jakiś nordycko-brzmiący wyraz typu Hultafors), ale uwierzcie mi, że ta kompozytowa rękojeść z Fiskarsa jest nie do zajechania. Wiele razy z całym impetem uderzyłem w punkt pod głownią siekiery i zero uszkodzeń. Może oprócz bolącej ręki 😉

Wygodny uchwyt pozwala na bezpieczne przewożenie siekiery np. w aucie, myślałem, że to zbędny gadżet, którego pozbędę się po zakupie, ale okazało się inaczej.

Ostrze ma prosty kształt, bez udziwnień i futurystycznych frezów utrudniających ostrzenie czy remodelowanie w przyszłości.

Jak ostrzyć siekierę?

Co do ostrzenia to polecam małą karbidową ostrzałkę ręczną SHARPAL 105N. Karbid jest twardszy niż stal (wykresy twardości karbidu w porównaniu do innych materiałów) i po prostu zdziera nadmiar materiału, jednocześnie ostrząc narzędzia ogrodowe, noże, czy właśnie siekierki. Byłem bardzo sceptycznie do tego nastawiony, ale zbyt mocne dociśnięcie karbidowej końcówki sprawia, że metal po prostu fruwa z krawędzi ostrza, wystarczy delikatnie kilka razy przejechać żeby podostrzyć każde ostrze. Mała, prosta, poręczna i tania.

Co do ostrzałek, to kupiłem sobie jeszcze przy okazji diamentową ostrzałkę Victorinoxa, która może nie jest tak agresywna jak ta wyżej karbidowa dla krawędzi ostrza, bo bardziej przypomina pilnik do paznokci, ale także świetnie sprawdza się do ostrzenia noży, np. w kuchni na szybko, efekty są rewelacyjne, szczerze nie spodziewałem się tego, bo mam jeszcze ostrzałki elektryczne (chińskie kopie oryginalnej ostrzałki projektu Kena Oniona) i ehem profesjonalną Spyderco Tri-Angle Sharpmaker (która jest totalną porażką bez dodatkowo płatnych diamentowych prętów).

Chcę więcej mocy!

Jest jeszcze jeden, większy od X27 model, tzw. splitting maul, czyli Fiskars X39:

Jednak ceną za większą moc jest waga. Model X27 waży 2.5 kG, a X39 już 3.9 kG.

Historia firmy Fiskars

Dla zainteresowanych historią firmy Fiskars i ich gamą produktów, polecam bardzo ciekawy film z prezentacją siekier i maczet oraz faktami dotyczącymi tejże firmy:

Najlepsze praktyki optymalizacji i pozycjonowania SEO w 2022 roku

Najlepsze praktyki SEO w 2022 roku do pozycjonowania i optymalizacji stron internetowych wyniesione z własnego doświadczenia. Wady, zalety i narzędzia do SEO.

Jak nie pozycjonować strony internetowej?

Zacznę od tego czego nie powinieneś robić. A na pewno nie powinieneś zatrudniać żadnej firmy od pozycjonowania SEO, chyba że chcesz stracić pieniądze. A gwarantuję, że stracisz, a oni będą Cię co miesiąc doić finansowo jak krowę.

Dojenie krowy
Firma SEO, która doi cię z pieniędzy

Jak działają polskie firmy SEO w 99%?

Polskie firmy SEO to dno spamerskiego mułu. Myślą, że są cwaniakami, bo kupili spamerskie narzędzia w stylu Xrumer za gruby hajs lub uprawiają tzw. marketing szeptany spamując na forach (które de facto nie są już tak popularne jak kiedyś) albo wcisną Ci bajeczkę, że znają tajemny składnik na sos SEO (tzw. SEO juice), ale co to jest, to Ci już nie powiedzą.

SEO Juice - tajemniczy składnik optymalizacji SEO
SEO Juice – tajemniczy składnik optymalizacji SEO

Miałem to szczęście, że nigdy nie musiałem zatrudniać tego typu firmy, jednak doradzałem klientom, którzy wpadli w tą pułapkę i słono za to zapłacili.

Metody SEO polskich firm optymalizacyjnych

Kilka taktyk SEO, które zauważyłem na przestrzeni lat wykorzystywanych przez firmy SEO po wykupieniu jakichś gównopakietów typu SEO VIP Turbo Shit Tier Google Number 1:

  1. Każą Ci poprawić dwa zdania na stronie, dla „optymalizacji seo”, dorzucą ze dwa dodatkowe zdania od siebie i włączą darmową wtyczkę do optymalizacji typu Yoast jeśli masz bloga na WordPressie. Jak będziesz miał pecha to dorzucą Ci gdzieś w footerze, mało widocznego linka do ich własnej strony.
  2. Zakładają blogi pod różnymi domenami, na różnych adresach IP, są to tzw. spam farmy lub jak to oni górnolotnie lubią pisać – zaplecze SEO. Do czego to służy? Czytaj dalej!
  3. Zatrudniają studenta, który pisze im wpisy na te spam farmy ze słowami kluczowymi pod klienta np. „najlepsza pralka” i linkiem do twojej strony. W 99% przypadków klient nawet nie wie (i celowo się tego nie mówi klientom) na jakim blogu zostały umieszczone artykuły linkującego do jego strony, a na tym samym blogu będą również inne spamowe wpisy dla innych klientów z zupełnie innych dziedzin. Przykładowo jak reklamujesz sklep internetowy to spodziewaj się, że znajdziesz się obok reklam grzybków konserwowych, salonów kosmetycznych i producentów kostki brukowej. Wujek Google od razu wykryje szwindel, a jak myślisz, że twoja firma SEO i pakiet za 1000 PLN na miesiąc są sprytniejsze od algorytmów Google za miliony dolarów to znaczy, że jesteś głupcem.
  4. Automatycznie wysyłają ten sam artykuł na wszystkie te spamowe blogi, dodatkowo używają np. randomowych zwrotów w formie template np. {Dzień dobry|Cześć|Siema}, co sprawia że artykuł jest trochę inny, czasami korzystają do tego z tzw. text spinnerów, które to robią automatycznie. Obecnie wykorzystywane są też narzędzia do przepisywania tekstów, wykorzystujące sztuczną inteligencję, jak np. znakomity QuillBot
  5. Udają, że nie wiedzą, że firma taka jak Google potrafi wykrywać spam farmy od lat i nawet posiada na to patent, udajmy, że tego nie widzimy… Adresy IP takich spam farm są na czarnych listach wujka Googla i to, że znajduje się tam artykuł z linkiem dofollow do twojej witryny nie zmienia absolutnie twojej pozycji w wynikach wyszukiwania, może chwilowo, dopóki farma nie zostanie wciągnięta na czarną listę.
  6. Odkryli magię marketingu szeptanego i wygląda to tak, że tworzą spamerskie konta na forach internetowych, jedna osoba pyta o coś np. „Jak szybko wypozycjonować moją stronę w Google?”, a druga za np. tydzień odpowiada i to całkiem fajnie i sensownie, bez żadnych linków, wszystko wygląda OK. Są na tyle cwani, że za dwa tygodnie do tej odpowiedzi już jest dodany link do ich klienta, robią to po to, żeby administracja na początku nie usunęła im tego spamu i żeby wszystko wyglądało ehem organicznie. Pozdrawiam idiotów spamujących tak moje forum programistyczne.
  7. Płacisz tym januszom seo co miesiąc za ten spam
  8. ???
  9. Profit (dla nich)
  10. Jak rezygnujesz z subskrypcji to Ci odcinają te gównoblogowe artykuły, spam farmy i tracisz „moc seo” (której i tak nie miałeś)
  11. Zapomniałbym, że przy próbie zrezygnowania z intratnej subskrypcji ich spamerskich usług możesz się spodziewać natarczywych telefonów od samego prezesa, który będzie Cię namawiał do pozostania wizjami ich nowych technologii spamerskich, po groźby prawnicze dotyczące zawiłych warunków zerwania umowy z np. 6 miesięcznym okresem wypowiedzenia. Tak łatwo nie oddadzą Ci SWOICH zarobionych pieniędzy. Nie mów, że nie ostrzegałem.

To niemożliwe, nikt tak nie robi już od dawna!

Nie wierzysz, że takie praktyki są do dzisiaj w 2022 roku stosowane? Poczytaj sobie ogłoszenia (świeże) na forum Pozycjonowanie i Optymalizacja, gdzie piszą również oficjalnie firmy SEO:

Optymalizacja i pozycjonowanie SEO, marketing szeptany.
Spam, spam, spam…

Jak szybko wypozycjonować swoją stronę?

To trochę klik-baitowy nagłówek, bo szybko może to zrobić ktoś kto ma doświadczenie, jeśli jednak masz czas i poświecisz go na to, o czym piszę – zapewniam będziesz o dobre kilka kroków przed konkurencją.

  1. Zacznij od dobrej podstawy. Kup porządny serwer lub hosting, nie jedź na darmowych hostingach, szybko odbijesz się od ich darmowych limitów i niedociągnięć. Google faworyzuje strony, które szybko się otwierają i do których jest szybki dostęp (czytaj fizycznie serwer jest blisko Ciebie). Jeśli masz firmę w Polsce – nie kupuj serwera czy hostingu w Ameryce, jeśli celujesz na cały świat – kup tam, skąd spodziewasz się swoich klientów. Do platform blogowych jak np. WordPress istnieją specjalistyczne hostingi, które stosują np. dyski NVM, mają włączony cache, obsługują najnowszy protokół HTTP/3, czy PHP 8 np. fajnie prezentuje się Cyberfolks (nie płacą mi).
  2. Dobry kontent, cały czas rozbudowa strony, a nie rzucenie dwóch podstron raz na 5 lat. Nie masz czasu, chęci? Zatrudnij kogoś do copywritingu, na Freelancerze znajdziesz ludzi, którzy to zrobią za grosze. Inwestuj we własną stronę, a nie spam farmy.
  3. Strona zoptymalizowana pod urządzenia mobilne jest faworyzowana w SERPach Google, zrób sobie ją np. w Bootstrap i przetestuj w narzędziu od Google, popraw wszystkie błędy
  4. Wiele wersji językowych połączonych hreflangiem Tell Google about localized versions of your page
  5. Tagi open graph i twitterowe Webmasters – Sharing – Documentation – Facebook for Developers. Co to sprawy? Że jak ktoś wklei linka do twojej strony na tych platformach to jednocześnie zostanie wyświetlony ładny obrazek oznaczony np. w tagach og:image
  6. Prosta struktura HTML, sekcje <nav> <article>, nagłówki <h1> (tylko jeden) i pod spodem wiele <h2> i <h3>
  7. Dobrze nazwane (to też ważne, nie używaj spacji ani polskich znaczków diakrytycznych) i opisane obrazki z atrybutem ALT (alternatywny opis obrazka dla osób niewidomych i robotów wyszukiwarek), co sprawi, że twój obrazek będzie częściej wyświetlany w wynikach wyszukiwania <img src=”…/jak-zoptymalizowac-strone-pod-seo.png” alt=”Jak zoptymalizować stronę pod SEO”>
  8. Dodanie tagów z Home – schema.org (microdata) np. Article – schema.org Type czy np. reviews (gwiazdki), które wyświetlane są w wynikach wyszukiwania
  9. Dbanie o to, żeby np. linki do materiałów czy zdjęć były CAŁY czas ok Screaming Frog SEO Spider, a uwierz mi, że linki na stronach cały czas są zmieniane i trzeba tego pilnować
  10. Dodanie tagów nofollow do linków zewnętrznych, żeby nam nie zjadały „seo juice” <a href="..." rel="nofollow"...
  11. Optymalizacja rozmiaru strony i obrazków dla szybszego ładowania np. Pinga pingo, fast image optimizer lub wykorzystanie gotowych komponentów do ich generowania np. yii2-imgopt, oraz wykorzystanie tzw. lazy loading, czyli leniwe ładowanie obrazków. W przyszłości wykorzystanie zoptymalizowanych formatów pod strony internetowe np. format .webp lub/i .avif
  12. Dobra struktura linków https://domena.com/artykuly/najlepsze-praktyki-seo a nie https://domena.com/article.php?id=39481
  13. Poprawne meta tagi (jedynie description, keywords można olać), tytuł strony, oraz ich długość (ScreamingFrog to wychwyci)
  14. Wrzucanie newsów z linkami na swoje profile social media (Twitter, Pinterest, Facebook itd.)
  15. Monitoring swojej strony na Google Search Console (błędy, błędy mobilne, szybkość działania strony)
  16. Monitorowanie strony we wbudowanym narzędziu w Google Chrome – Lighhouse (Klik prawym na stronę → Zbadaj Element → Zakładka Inspekcja)
  17. Jeśli masz siły i chęci to dorobienie wersji mobilnej AMP, która jest faworyzowana w wynikach wyszukiwania (np. wykorzystując wtyczki, nie wiem, do WordPressa). Nieaktualne, AMP upadło, nie marnuj czasu!
  18. Zainwestuj w tutoriale wideo prezentujące twoje produkty czy usługi, biorąc pod uwagę ceny takich usług na portalach jak Freelancer czy Fiverr nie zapłacisz dużo. Film możesz wgrać nie tylko na YouTube ale też na inne portale np. Vimeo. W każdym filmiku w opisie dodaj link do własnej strony.
  19. Zrób prezentację swojego produktu, usługi czy instrukcji obsługi i wrzuć na strony typu Slideshare.
  20. I coś o czym wielu ludzi zapomina i kompletnie o to nie dba. W miarę możliwości sukcesywne zwiększanie ilości linków zewnętrznych na TEMATYCZNIE powiązanych stronach do naszej strony DOFOLLOW (czyli bez tagu rel="nofollow"). Jak je zdobyć? Wymiana linków, kupno linków (a jak), gościnne artykuły, przeglądy, wywiady, notatki prasowe. A najlepszym sposobem jest mieć po prostu dobry produkt, o którym inni sami będą pisali. Zdobywanie zewnętrznych linków jest cholernie trudne i pracochłonne, ale to podstawa działania wyszukiwarki i pozycji naszej strony od samego początku istnienia Google. Mogę polecić świetną prezentację Pana Szymona Słowika odnośnie tego tematu (wiele ciekawych smaczków):
Nieoczekiwane taktyki link buildingu.

Czy warto kupować drogie, komercyjne narzędzia do SEO?

To zależy, jeśli pracujesz nad własną stroną uważam, że nie, chyba, że jednorazowo. Jeśli zajmujesz się SEO i zarządzasz kilkoma stronami lub stronami klientów – jak najbardziej. Samo kupno narzędzi do analizy SEO nie sprawi, że nagle twoja strona wyskoczy na pierwsze miejsce w wynikach wyszukiwania Google.

Najpopularniejsze narzędzia do analizy konkurencji i własnych projektów to m.in.:

Nie namawiam do piractwa, ale jeśli uważasz, że ceny niektórych z tych narzędzi są z kosmosu i że ryją swoimi botami po twoich stronach dzień w dzień jedynie dla własnego zysku nie dając niczego w zamian, zainteresuj się czymś takim jak usługi group buy, gdzie jedna osoba kupuje licencję na pakiet usług i odsprzedaje do nich dostęp w ramach własnego konta. Teraz już wiesz.

Dwa podstawowe błędy w SEO

Pierwszy podstawowy błąd jaki widzę to brak rozwijania strony, raz ktoś postawi i wisi tak 10 lat to samo, bez dodatkowych treści, bez poprawy błędów językowych, bez poprawy linków, bez dbania o cokolwiek. Technologia stron ciągle ewoluuje, ciągle dodawane są nowe elementy, o które warto wzbogacić własną stronę.

Nie pozwól, żeby twoja strona wyglądała jak stara stodoła…

Drugi błąd to brak zrozumienia, że potrzebne są linki zewnętrzne kierujące do twojej strony i że na tej zasadzie od samego początku funkcjonowała wyszukiwarka Google. Warto poczytać o algorytmie PageRank.

Obecnie analizowane są zapewne sygnały z wielu źródeł, nie tylko linki prowadzące do naszej witryny, ale np. linki z social media (które niekoniecznie mają atrybuty dofollow).

Piszę o tym, bo spotkałem się z sytuacją, gdy ktoś był zaskoczony, że zrobił piękną stronę, a jest na dnie wyników wyszukiwania. Po krótkiej rozmowie i analizie ile linków prowadzi do jego strony, wyszło że zero, bo myślał, że sama strona wystarczy. W dwa tygodnie i moich sugestiach udało mu się zdobyć 5 linków zewnętrznych, co w jego branży i konkurencji pomogło mu się wybić na górę wyników wyszukiwania, niby 5 linków to niewiele, a zmienia bardzo dużo.

Jak mówi przysłowie – jak dbasz, tak masz i to doskonale sprawdza się w optymalizacji SEO.

Masz uwagi, ciekawe narzędzia SEO, coś przekręciłem – skomentuj i zostaw linka.

Ile kosztuje dodanie programu do Dobrych Programów?

Serwis DobreProgramy moim zdaniem od lat nie jest obiektywnym źródłem wskazującym faktycznie na dobre programy, a jedynie jedną wielką bazą z opłaconymi pozycjami.

Moje próby dodania tam swojego oprogramowania, mimo zapewnień wszelkiej maści redaktorów spełzły na niczym, a próbowałem od 2010 roku. Nikt nie wspomniał o płatnej promocji ani słowa, jednak dało się odczuć, że prawdopodobnie chcą pieniędzy, jednak oficjalnie tego nie powiedzą.

Ostatnia próba dodania programów w 2016 roku.

Zrozumiałem jak ten ich interesik wygląda i dałem sobie spokój, w międzyczasie DobreProgramy przejęła firma Wirtualna Polska. Postanowiłem napisać kolejny raz, tym razem bez owijania w bawełnę ile kosztowałoby dodanie programu do ich katalogu.

Tutaj macie ich ofertę promocyjną z 2021 roku, dzięki której zrozumiecie dlaczego na ich stronach nie znajdziecie programów mniej znanych producentów.

Manipulacja głosami komentarzy na Dobrych Programach

A dla wszystkich oburzonych hurr… durr… obrońców Dobrych Programów, jaką to mają super sekcję z newsami i obiektywnymi komentarzami, mam ciekawostkę, że sobie chyba nie zdajecie sprawy jak manipulowane są głosy komentarzy w tym serwisie przez boty marketingowe:

Bot manipulujący głosami w komentarzach na Dobre Programy

Zdziwko, nie? DobreProgramy, dobre newsy i dobre komentarze… chyba nie.