Screaming Frog SEO Spider: dé tool voor de echte SEO-ers

Ik maak wel eens het grapje dat SEO eigenlijk niets meer is dan trucjes en tools. Niet waar natuurlijk, maar gezien ik zelf SEO-consultant ben mag ik die wel maken. Ondanks dat er meer komt kijken bij SEO dan je standaard lijstje afwerken, is er toch een tool die je als echte SEO-er moet kennen. Namelijk Screaming Frog SEO Spider.

Screaming Frog heeft zoveel functies dat ik hem voor iedere website weer gebruik. Ik werk er nu twee jaar mee en blijf nieuwe dingen ontdekken. De handleiding voor alle functies van Screaming Frog staat gewoon online. In dit artikel geef ik daarom handige tips voor uitdagingen die je in de praktijk kan tegenkomen.

Hoe werkt Screaming Frog

Met Screaming Frog maak je een crawl van je website door de URL van je website erin te stoppen. De spider werkt net als de Google Bot door alle linkjes in je website te volgen. Als je orphan pages* in je website hebt, zullen deze niet naar boven komen. Dat is wel een belangrijke om te onthouden.

Nadat het crawlen klaar is laat de tool alle individuele pagina’s in je site zien. Je gebruikt hem voor het checken van de techniek maar bijvoorbeeld ook voor je Title Tags, Meta Descriptions, H1’s en H2’s.

* Een orphan page is een pagina die geen links vanaf andere pagina’s op de eigen website heeft.

Licentie

Ik begin direct met de eerste tip: Als je serieus bent over SEO, koop dan gewoon de licentie. De gratis versie heeft wat mij betreft teveel beperkingen. Zo kan je bijvoorbeeld niet meer dan 500 pagina’s crawlen, werkt de custom extractor niet en doet de ‘ignore robots.txt’ functie het ook niet. Do I need to say more?

404s uit Google Search Console controleren

De Google Search Console geeft aan dat je een flink aantal 404’s in je website hebt zitten. Oei, niet best natuurlijk. Deze moeten geredirect worden. Maar voordat je begint moet je ze controleren want het zou ook heel goed kunnen dat een paar gewoon een 200 status code hebben of al geredirect zijn en dus een 301 hebben. De Search Console loopt soms helaas wat achter.

Om ze niet allemaal handmatig na te hoeven lopen download je de lijst vanuit de Search Console. Volg daarna deze stappen:

1. In het Excelbestand uit de Search Console bewaar je enkel de URLs in 1 kolom. Verder verwijder je
2. Kopieer alle URLs en ga naar Screaming Frog
3. Klik op ‘Mode’ > ‘List’ > ‘Upload List’ > ‘Enter Manually’
4. Plak hier de URLs die je in stap 2 hebt gekopieerd
5. Klik op ‘Next’ > ‘Ok’
6. Screaming Frog crawlt nu alle handmatig ingevoerde URLs
7. Als de tool klaar is verschijnen alle URLs met de status
8. Verwijder alle 200 codes en 301s door met de rechter muisknop te klikken en vervolgens op ‘remove’.
9. Nu heb je als het goed is alleen URLs over met 404
10. Kies vervolgens bij ‘Filter’ voor HTML
11. En klik vervolgens op ‘Exporteer’ en sla op als Excelbestand
12. Start vervolgens het redirecten

Interne links opschonen; 301’s er tussenuit

Oké, ga maar even goed zitten voor deze want ik merk keer op keer weer dat dit een lastige is. Hoe gedetailleerd ik de instructies voor de websitebouwer ook maak.

Voordat we de ‘discussie’ gaan voeren of dit goed is voor SEO:  ja, Google zegt dat het niets doet voor je rankings, toch merken wij steeds weer dat het wel werkt. Daarom deze fijne tip.

Ik begin met een uitleg hoe 301’s op interne links ontstaan en waarom je ze moet ‘opschonen’.

Stel je hebt in je website veel 404’s gehad en deze heb je keurig geredirect. Klaar is Kees, toch? Not quite! Want in heel veel gevallen (eigenlijk bijna altijd), worden interne links niet gewijzigd en wordt er dus nog steeds gelinkt naar de oude pagina die middels een redirect naar de nieuwe pagina gaat.

Als de bezoeker op de link klikt gaat hij dus netjes naar de nieuwste pagina. Echter, het is voor SEO niet goed want met iedere 301 ertussen gaat waarde verloren. EN-DAT-WILLEN-SEO’ERS-NIET

Wat gaan we dan doen? De interne links opschonen! Wees voorbereid want een leuk klusje is het niet.

1. Klik op ‘Mode’ > ‘Spider’
2. Vul de URL in en klik op ‘Start’

3. De crawl start en de tool verzamelt alle pagina’s
4. Kies bij ‘Filter’ voor ‘HTML’
5. Als het mee zit dan heb je zoals bij ons maar één pagina met een 301 waar intern naartoe gelinkt wordt.

6. Klik vervolgens op ‘Bulk Export’ > ‘All Inlinks’
7. Sla het Excelbestand op en open het vervolgens
8. Nu ga je het bestand opruimen zodat je er straks in kan werken

Excelbestand opruimen

9. Sorteer kolom ‘Type’ en verwijder alle regels waar géén ‘HREF’ voor staat. Dus IMG, CSS en JS kunnen eruit. Dit maakt je lijst al een stuk
10. Verwijder nu kolom ‘Type’. Die is niet meer
11. Verwijder nu alles uit het bestand wat niet naar jouw website linkt. Sorteer hiervoor kolom ‘Destination’ op alphabet. Je linkt bijvoorbeeld ook naar YouTube, partners of andere websites. Je wilt enkel de interne links bewaren, de rest mag
12. Sorteer nu kolom ‘Status’ en en laat de statuscode van hoog naar laag
13. Bewaar voor dit onderdeel enkel de 301’s. Alle andere regels mogen
14. Verwijder nu alle kolommen behalve ‘Source’ en ‘Destination’.

‘Source’ is de pagina waar de link staat. ‘Destination’ is de pagina waar naartoe gelinkt wordt maar die geredirect is.

Interne links opschonen

15. Voeg nu een derde kolom toe die je de naam geeft: ‘Waar naartoe gelinkt moet worden’. Of iets in die trant.

16. In deze kolom vul je de juiste URLs heen. Dus de URL waar de Destination URL naartoe geredirect

Nu heb je het opschonen voorbereid en kan je aan de slag.

17. Bezoek op de website de pagina’s uit kolom ‘Source’ en zoek naar de links uit kolom ‘Destination’. Wijzig deze linkjes in de linkjes ‘Waar naartoe gelinkt moet worden’.

Als je kijkt naar bovenstaand voorbeeld wordt B dus vervangen door C.

Ik weet het, geen misselijk klusje als er veel links opgeschoond moeten worden. Maar trust me, het is de moeite waard.

Hreflang tags controleren

Bij onze klant Sendsteps (producent van Audience Response System), constateerde ik in de Search Console fouten in de Hreflang Tags en pagina’s zonder Hreflang Tags. Met de Custom Extraction functie van Screaming Frog kan je heel gemakkelijk een overzicht maken van alle Hreflang Tags in je website. Zo kan je bijvoorbeeld kijken op welke pagina’s tags missen of dat er naar de juiste URLs verwezen wordt.

Volg deze stappen:

1. Tel eerst hoeveel Hreflang Tags je hebt. Dus hoeveel talen er
2. Klik op ‘Configuration’ > ‘Custom’ > ‘Extraction’
3. Kies vervolgens voor ‘XPath’
4. Geef daarna in de linker kolom je custom extraction elementen een naam
5. Vervolgens voer je (//*[@hreflang])[1] in de derde kolom in
6. Als laatste kies je voor ‘Extract HTML Element’ Dat ziet er zo uit:

7. Klik nu op ‘Ok’
8. Voer nu de URL bovenaan in de balk in en klik daarna op ‘Start’
9. Klik in de tabs nu op ‘Custom’ en bij Filter voor ‘Extraction’

Je kan de verzamelde gegevens nu middels de ‘Export’ knop opslaan als Excelbestand.

Deze stappen zijn een belangrijk onderdeel van de Technische Zoekmachine Optimalisatie en door deze uit te voeren maak je al mooie eerste stappen.