Chciałbym wam dzisiaj pokazać jak wygląda moja typowa rozmowa z klientem, który mówi w języku obcej cywilizacji.

Jak stawiacie, jaki to był język? Dżungulski? Klingoński? 🙂
Macie podobne doświadczenia? Napiszcie koniecznie!
Jeśli twoja strona padła ofiarą ataku DoS bota firmy Majestic, konkretnie MJ12bot, tak jak moja, to kilka porad jak zablokować to dziadostwo.

Jakiś czas temu zauważyłem wzmożony ruch na stronach spowodowany masowym skanowanie stron przez bota:
192.99.37.132 - - [03/Nov/2022:01:19:14 +0100] "GET / HTTP/1.1" 200 7266 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"
Requesty leciały jeden za drugim na wszystkie moje strony z dziesiątkami parametrów, dzień i noc w kółko wałkował każdą możliwą podstronę.
To bot crawlujący narzędzia Majestic SEO (nie polecam). Bot jest nieudolnie napisany i nie tylko ja mam z nim problemy, ponieważ dostaje pierdolca i DoS-uje strony poprzez masowe skanowanie nawet najgłupszych URL-i.
Warto pamiętać, że niektóre boty podszywają się pod MJ12bot, ale to dodatkowy powód, żeby i je blokować.
Oficjalnie przez regułę blokującą w robots.txt, wystarczy dopisać te dwie linjki:
User-agent: MJ12bot Disallow: /
Ale moment, moment! Kto by się tym przejmował, na pewno nie taka firma, która żyje z harvestowania danych SEO i dodanie tego wpisu do robots.txt nie ma kompletnie wpływu na to jak działa ich bot!
Zarówno tego dziadowskiego bota, jak i inne crawlery, które nie mają wpływu na indeksację naszej strony można prosto zablokować na poziomie serwera HTTP. W moim przypadku jest to nginx.
Wystarczy dodać regułę do sekcji server { … } (nie można tego niestety dodać do głównego bloku http { … } i dla każdej strony trzeba to kopiować):
if ($http_user_agent ~* "(SemrushBot|Semrush|AhrefsBot|MJ12bot|MegaIndex.ru|BLEXbot|BLEXBot|ZoominfoBot|YaK|VelenPublicWebCrawler|SentiBot|Vagabondo|SEOkicks|SEOkicks-Robot|mtbot|DotBot|Cliqzbot|coccocbot|Scrap|SiteCheck-sitecrawl|MauiBot|Java|GumGum|Clickagy|AspiegelBot|TkBot|CCBot|Qwantify|MBCrawler|serpstatbot|AwarioSmartBot|Semantici|ScholarBot|proximic|MojeekBot|GrapeshotCrawler|IAScrawler|linkdexbot|contxbot|PlurkBot|PaperLiBot|BomboraBot|Leikibot|weborama-fetcher|NTENTbot|admantx-usaspb|Eyeotabot|VoluumDSP-content-bot|SirdataBot|adbeat_bot|TTD-Content|admantx|Nimbostratus-Bot|Mail.RU_Bot|Quantcastboti|Onespot-ScraperBot|Taboolabot|Baidu|Jobboerse|VoilaBot|Sogou|Jyxobot|Exabot|ZGrab|Proximi|Sosospider|Accoona|aiHitBot|Genieo|BecomeBot|ConveraCrawler|NerdyBot|OutclicksBot|findlinks|JikeSpider|Gigabot|CatchBot|Huaweisymantecspider|Offline Explorer|SiteSnagger|TeleportPro|WebCopier|WebReaper|WebStripper|WebZIP|Xaldon_WebSpider|BackDoorBot|AITCSRoboti|Arachnophilia|BackRub|BlowFishi|perl|CherryPicker|CyberSpyder|EmailCollector|Foobot|GetURL|httplib|HTTrack|LinkScan|Openbot|Snooper|SuperBot|URLSpiderPro|MAZBot|EchoboxBot|SerendeputyBot|LivelapBot|linkfluence|TweetmemeBot|LinkisBot|CrowdTanglebot|Netcraft)") { return 403; }
Można tą regułę zapisać np. w pliku block-bots.conf i załączyć ten plik jeśli chcemy blokować boty na wielu stronach (zamiast przeklejać w kółko to samo):
server {
# block SEO bots
include /etc/nginx/global/block-bots.conf;
I przeładować nginx-a komendą:
service nginx reload
I po sprawie. Kiedyś myślałem, że fajnie, że boty SEO odwiedzają moją stronę, jednak teraz widzę, że ja nie mam z tego kompletnie korzyści, a jak trafi się tak nieudolnie napisany bot jak ten MJ12bot to może jeszcze namieszać. Blokować dziada!
PS. Zaktualizowałem listę botów, usunąłem blokady na Senzam, Python i Yandexa. Dodałem blokadę na bota Netcraft.
Jeden z ciekawszych filmów dotyczący skandalu ze słynnym raperem oczami byłego inżyniera Google. Wrzucam link do Rumble, bo ktoś sugerował, że oryginalny filmik był już zablokowany na YouTube.
Najlepsze praktyki SEO w 2022 roku do pozycjonowania i optymalizacji stron internetowych wyniesione z własnego doświadczenia. Wady, zalety i narzędzia do SEO.
Zacznę od tego czego nie powinieneś robić. A na pewno nie powinieneś zatrudniać żadnej firmy od pozycjonowania SEO, chyba że chcesz stracić pieniądze. A gwarantuję, że stracisz, a oni będą Cię co miesiąc doić finansowo jak krowę.
Polskie firmy SEO to dno spamerskiego mułu. Myślą, że są cwaniakami, bo kupili spamerskie narzędzia w stylu Xrumer za gruby hajs lub uprawiają tzw. marketing szeptany spamując na forach (które de facto nie są już tak popularne jak kiedyś) albo wcisną Ci bajeczkę, że znają tajemny składnik na sos SEO (tzw. SEO juice), ale co to jest, to Ci już nie powiedzą.
Miałem to szczęście, że nigdy nie musiałem zatrudniać tego typu firmy, jednak doradzałem klientom, którzy wpadli w tą pułapkę i słono za to zapłacili.
Kilka taktyk SEO, które zauważyłem na przestrzeni lat wykorzystywanych przez firmy SEO po wykupieniu jakichś gównopakietów typu SEO VIP Turbo Shit Tier Google Number 1:
{Dzień dobry|Cześć|Siema}, co sprawia że artykuł jest trochę inny, czasami korzystają do tego z tzw. text spinnerów, które to robią automatycznie. Obecnie wykorzystywane są też narzędzia do przepisywania tekstów, wykorzystujące sztuczną inteligencję, jak np. znakomity QuillBotNie wierzysz, że takie praktyki są do dzisiaj w 2022 roku stosowane? Poczytaj sobie ogłoszenia (świeże) na forum Pozycjonowanie i Optymalizacja, gdzie piszą również oficjalnie firmy SEO:
To trochę klik-baitowy nagłówek, bo szybko może to zrobić ktoś kto ma doświadczenie, jeśli jednak masz czas i poświecisz go na to, o czym piszę – zapewniam będziesz o dobre kilka kroków przed konkurencją.
og:image<nav> <article>, nagłówki <h1> (tylko jeden) i pod spodem wiele <h2> i <h3><a href="..." rel="nofollow"...rel="nofollow"). Jak je zdobyć? Wymiana linków, kupno linków (a jak), gościnne artykuły, przeglądy, wywiady, notatki prasowe. A najlepszym sposobem jest mieć po prostu dobry produkt, o którym inni sami będą pisali. Zdobywanie zewnętrznych linków jest cholernie trudne i pracochłonne, ale to podstawa działania wyszukiwarki i pozycji naszej strony od samego początku istnienia Google. Mogę polecić świetną prezentację Pana Szymona Słowika odnośnie tego tematu (wiele ciekawych smaczków): To zależy, jeśli pracujesz nad własną stroną uważam, że nie, chyba, że jednorazowo. Jeśli zajmujesz się SEO i zarządzasz kilkoma stronami lub stronami klientów – jak najbardziej. Samo kupno narzędzi do analizy SEO nie sprawi, że nagle twoja strona wyskoczy na pierwsze miejsce w wynikach wyszukiwania Google.
Najpopularniejsze narzędzia do analizy konkurencji i własnych projektów to m.in.:
Nie namawiam do piractwa, ale jeśli uważasz, że ceny niektórych z tych narzędzi są z kosmosu i że ryją swoimi botami po twoich stronach dzień w dzień jedynie dla własnego zysku nie dając niczego w zamian, zainteresuj się czymś takim jak usługi group buy, gdzie jedna osoba kupuje licencję na pakiet usług i odsprzedaje do nich dostęp w ramach własnego konta. Teraz już wiesz.
Pierwszy podstawowy błąd jaki widzę to brak rozwijania strony, raz ktoś postawi i wisi tak 10 lat to samo, bez dodatkowych treści, bez poprawy błędów językowych, bez poprawy linków, bez dbania o cokolwiek. Technologia stron ciągle ewoluuje, ciągle dodawane są nowe elementy, o które warto wzbogacić własną stronę.
Drugi błąd to brak zrozumienia, że potrzebne są linki zewnętrzne kierujące do twojej strony i że na tej zasadzie od samego początku funkcjonowała wyszukiwarka Google. Warto poczytać o algorytmie PageRank.
Obecnie analizowane są zapewne sygnały z wielu źródeł, nie tylko linki prowadzące do naszej witryny, ale np. linki z social media (które niekoniecznie mają atrybuty dofollow).
Piszę o tym, bo spotkałem się z sytuacją, gdy ktoś był zaskoczony, że zrobił piękną stronę, a jest na dnie wyników wyszukiwania. Po krótkiej rozmowie i analizie ile linków prowadzi do jego strony, wyszło że zero, bo myślał, że sama strona wystarczy. W dwa tygodnie i moich sugestiach udało mu się zdobyć 5 linków zewnętrznych, co w jego branży i konkurencji pomogło mu się wybić na górę wyników wyszukiwania, niby 5 linków to niewiele, a zmienia bardzo dużo.
Jak mówi przysłowie – jak dbasz, tak masz i to doskonale sprawdza się w optymalizacji SEO.
Masz uwagi, ciekawe narzędzia SEO, coś przekręciłem – skomentuj i zostaw linka.
Serwis DobreProgramy moim zdaniem od lat nie jest obiektywnym źródłem wskazującym faktycznie na dobre programy, a jedynie jedną wielką bazą z opłaconymi pozycjami.
Moje próby dodania tam swojego oprogramowania, mimo zapewnień wszelkiej maści redaktorów spełzły na niczym, a próbowałem od 2010 roku. Nikt nie wspomniał o płatnej promocji ani słowa, jednak dało się odczuć, że prawdopodobnie chcą pieniędzy, jednak oficjalnie tego nie powiedzą.

Zrozumiałem jak ten ich interesik wygląda i dałem sobie spokój, w międzyczasie DobreProgramy przejęła firma Wirtualna Polska. Postanowiłem napisać kolejny raz, tym razem bez owijania w bawełnę ile kosztowałoby dodanie programu do ich katalogu.
Tutaj macie ich ofertę promocyjną z 2021 roku, dzięki której zrozumiecie dlaczego na ich stronach nie znajdziecie programów mniej znanych producentów.
A dla wszystkich oburzonych hurr… durr… obrońców Dobrych Programów, jaką to mają super sekcję z newsami i obiektywnymi komentarzami, mam ciekawostkę, że sobie chyba nie zdajecie sprawy jak manipulowane są głosy komentarzy w tym serwisie przez boty marketingowe:

Zdziwko, nie? DobreProgramy, dobre newsy i dobre komentarze… chyba nie.
Krótka historia programisty (Petr Kobalicek), który chciał dotację za swój projekt open source AsmJit, ale nie za bardzo było mu w smak informację o dotacjach utrzymywać na stronie projektu.
Historia nie jest o pieniądzach, wspieram mnóstwo projektów programistycznych mniejszymi i większymi kwotami pieniędzy, ale jest dla mnie skrajnie nieuczciwe prosić o dotację, mieć na stronie projektu sekcję informującą o dotacjach i ludziach, którzy je przesłali, a potem te informacje potajemnie usuwać (nawet jeśli minęło kilka lat).

Wspierałem finansowo projekt open source AsmJit project od samego jego początku istnienia, kiedy dowiedziałem się o nim w 2010 roku. Dawno, dawno temu, nieprawdaż?
Od czasu do czasu sprawdzałem co nowego. W 2019 roku zauważyłem, że Petr usunął informację o moich dotacjach ze strony projektu, pozostawiłem komentarz w repozytorium projektu na GitHubie. Petr nie odpowiedział na komentarz, nie wysłał mi żadnego maila, ale się wściekł, że w ogóle o tym wspomniałem.
Chciałbyś żeby było o tym cicho, czyż nie Petr?
Żeby było jasne, przez lata kilkukrotnie wysyłałem pieniądze na ten projekt. Petr zapewniał mnie, że przez to, że wpłacałem dotację zamieści link do mojej strony (sam wyszedł z tą inicjatywą).
Nie myślałem o tym za wiele, bo dotacje były zrobione w 2010 (!) roku, ale dla pewności przeszukałem swoje maile, co konkretnie zaproponował Petr:
20 kwiecień 2010
Hi Bartek,
I’d like to thank you for your generous donation.
If you want I can add a link to your name and your site under the Donation in AsmJit main page (I looked at your site and you are interested in assembler so this is also related page). You are first who donated to the AsmJit project and you have my respect.
Thank you!
— Best regards
Petr Kobalicek http://kobalicek.com
Jak widać Petr sam zaproponował, że zamieści link do mojej strony jeśli tylko tego będę chciał! Drogi kolega zapomniał co sam proponował, a teraz w 2019 zarzekał się, że to była płatna promocja i dlatego usunął informację o tej dotacji…
Dotacje zrobiłem, gdy projekt w ogóle nie był popularny, ale dla mnie był bardzo przydatny, nie liczyłem na nic w zamian, więc cieszyłem się z tego co zaproponował sam Petr.
Petr chciał upublicznić kwoty dotacji, wieć proszę bardzo:
Śmieszne sumy jak na dzień dzisiejszy, ale to nie jest sens tej historii. Zacytuję co powiedział Petr Kobalicek w 2010 roku:
“You are first who donated to the AsmJit project and you have my respect.”
Co za miły facet ten Petr Kobalicek, ponieważ zarzucił mi w dyskusji na GitHubie, że moje dotacje to tak naprawdę była płatna promocja i w swojej złości postanowił, że już nie potrzebuje moich pieniędzy (teraz, co nie) i zwróci mi całość żebym się odpierdolił…
Hi Bartosz,
It’s sad that you have chosen a public channel to resolve a personal matter between us. I really appreciate all donations, including yours, however, I think that we should differentiate between a donation and a paid advertisement. You “donated” to advertise your own product and I kept that advertisement for a very long time, however, I don’t consider your donation as a lifetime obligation to provide you advertisement of your commercial product.
Initially I wanted to fix this by keeping you on the list by changing the text it to the current donors format, but since you escalated it rather quickly (without even trying to contact me directly) I suggest to return you back all your donations so we can just move on without wasting more time on this. Just send me your IBAN so I can make the payment. I verified the total sum I received from you was ~120.55 EUR (4 payments total, last payment from March 2016), the PayPal archive doesn’t display fees so I will send you the exact amount that I have received. Let me know if it’s not the correct amount, it’s just what I have found in history.
And a last thing. Would you mind me sharing the total amount I received from you and the last transaction date on that issue page? Since you created it and made this thing public with the intention to hurt the project I think it would be fair to add some economic details there so a possible reader can make his own picture about the matter.
Best, Petr
Petr zdecydował zwrócić całą kwotę dotacji. Ale ponownie, nie chodzi tutaj o pieniądze…
Teraz, po prawie 10 latach odkąd stworzył swój projekt, nie potrzebuje już moich dotacji. Teraz, gdy jego projekt jest już bardzo popularny, teraz gdy ma korporacyjnych sponsorów i nie potrzebuje już żadnej finansowej pomocy i nie musi pamiętać o swoich skromnych początkach.
Mimo, że wszystko to stało się dawno temu, a Petr zwrócił mi całą kwotę dotacji sprzed prawie 10 lat, cała ta historia nie dawała mi spokoju, więc krótko i zwięźle – pierdolić Petra Kobalicka i jego fałszywy szacunek dla pierwszego supportera. Teraz mi lżej.