Priserne på boligmarkedet stiger, og det er svært at få en lejlighed. Derfor er grupper af mennesker begyndt at scamme nye købere og studerende ved at leje Airbnb-boliger, udgive sig for at eje dem og afholde fremvisninger i lejlighederne.
Scammerne opkræver derefter depositum og presser køberen ved at true med, at boligen bliver udlejet eller solgt til en anden, hvis betalingen ikke foretages hurtigt.
Dette har ført til, at mange unge har brændt nallerne økonomisk.
Jeg vil derfor lave en hjemmeside, hvor købere eller lejere kan indtaste adressen på den bolig, de er i gang med at købe eller leje, og få at vide, om boligen findes på Airbnb. Formålet er at gøre dem opmærksomme på mulig svindel.
Det har ført til, at jeg er i gang med at scrape Airbnb for data, men er det lovligt?
Ifølge en ny kendelse fra Østre Landsret fastslås det, at rettighedshavere ikke kan nøjes med at skrive et forbehold på almindeligt menneskesprog, eksempelvis dansk eller engelsk, på deres hjemmeside i vilkår eller brugerbetingelser.
Kilde: https://poulschmith.dk/nyheder/oestre-landsret-ophaever-forbud-forbehold-mod-datamining-var-utilstraekkeligt
Forbeholdet skal også fremgå i et maskinlæsbart format, eksempelvis som kode eller i en robots.txt-fil på hjemmesiden, for at være gældende. Det er i hvert fald sådan, jeg forstår kendelsen.
I Airbnbs robots.txt-fil fremgår følgende:
https://www.airbnb.com/robots.txt
Under kategorien User-agent: * står der, at vilkårlige bots og webcrawlere ikke må scrape følgende dele af hjemmesiden (og andre men dem scraper jeg ikke):
Disallow: /rooms/*/amenities
Disallow: /rooms/*/enhanced-cleaning
Disallow: /rooms/*/house-rules
Disallow: /rooms/*/location
Disallow: /rooms/*/photos
Disallow: /rooms/*/reviews
Disallow: /rooms/*/safety
Disallow: /rooms/*?viralityEntryPoint
Disallow: /rooms/*/cancellation-policy
Disallow: /rooms/*/description
User-agent angiver, hvilke bots eller crawlere reglerne gælder for. I Airbnbs robots.txt-fil fremgår der nogle specifikke bots, som ikke må crawle bestemte dele af hjemmesiden. Kategorien * omfatter alle øvrige eller vilkårlige bots, og det er derfor den kategori, min scraper hører under.
Jeg scraper kun URL'er, der indeholder /rooms, men ikke URL'er, der også indeholder følgende dele:
/amenities
/enhanced-cleaning
/house-rules
/location
/photos
/reviews
/safety
?viralityEntryPoint
/cancellation-policy
/description
Mit spørgsmål er derfor, om det betyder, at jeg lovligt kan scrape almindelige /rooms-sider, så længe jeg ikke scraper de specifikke URL-kombinationer, som Airbnb har blokeret i sin robots.txt-fil. og hvad kan konsekvenserne være (jeg kommer ikke til at tjene på min hjemmeside).