Kā mēs vērtējam vietnes pieejamību AI meklēšanai un tās drošību
Audits mēra tehniskos nosacījumus, kurus var pārbaudīt no ārpuses. Šeit aprakstīts, ko tieši pārbaudām, kā aprēķinām vērtējumu un kur ir šīs metodes robežas.
Ko varam pamatoti noteikt
- Vai no mūsu infrastruktūras ir iespējams saņemt lapu un tās tekstu.
- Ko robots.txt deklarē konkrētiem robotiem.
- Vai lapa deklarē indeksēšanas un fragmentu rādīšanas ierobežojumus (meta robots, X-Robots-Tag).
- Vai saturs, iekšējās saites un strukturētie dati ir sasniedzami pārbaudītajā izlasē.
- Vai ir publicēti papildu AI paredzēti faili un vai ir integrāciju pazīmes.
- Kā konfigurēta šifrēšana, drošības galvenes, sīkdatnes un aizsardzība pret e-pasta viltošanu.
- Kādu programmatūru un tās versijas vietne atklāj publiski un kādas ievainojamības šīm versijām ir zināmas.
Ko audits nepierāda
- Ka ChatGPT vai cita sistēma vietni jau ir indeksējusi.
- Ka vietne tiks citēta vai ieteikta.
- Ka veiksmīgs mūsu pieprasījums nozīmē veiksmīgu īsta robota pieprasījumu no tā IP adresēm.
- Ka pārbaudītā izlase atspoguļo visas produktu, kategoriju vai valodu versijas.
- Ka vietne ir droša vai ievainojama: vērtējam tikai publiski redzamas pazīmes, ievainojamības nemeklējam un nemēģinām tās izmantot.
Audita tvērums
Ātrais audits pārbauda ievadīto publisko lapu, robots.txt, ierobežotu vietnes kartes daļu un līdz 5 atlasītām tā paša domēna lapām. Lapas tiek atlasītas pēc publiskām saitēm, izvairoties no meklēšanas, groza, pieteikšanās un filtru adresēm. Katrā pārskatā ir redzams faktiskais pārbaudīto adrešu saraksts.
Pārbaudītājs izmanto tikai HTTP un HTTPS, nepieslēdzas kontiem, neaizpilda veidlapas, neizmanto sīkdatnes un neapiet aizsardzību. Robotu noteikumus analizējam atsevišķi. Ja vietne apkalpo mūsu pieprasījumu un robots.txt to atļauj, nosūtām pa vienam salīdzinošam pieprasījumam ar AI robotu User-Agent nosaukumiem; katrs no tiem ir apzīmēts ar mūsu īsto nosaukumu (galvene X-Audit-By).
Vērtējuma sastāvs
Kopējo vērtējumu veido šādas grupas:
- Piekļuve – 25 %. Vai lapa ir sasniedzama un vai robotiem ir atļauts to lasīt un indeksēt.
- Satura lasāmība – 22 %. Vai galvenais saturs ir servera atgrieztajā HTML un vai lapas tēma ir skaidra.
- Atrodamība – 14 %. Vai roboti var atrast vietnes lapas, izmantojot vietnes karti, canonical un iekšējās saites.
- Semantiskā skaidrība – 11 %. Vai strukturētie dati un valodas signāli palīdz viennozīmīgi saprast saturu.
- Drošība – 18 %. Šifrēšana, drošības galvenes, sīkdatnes, vietnes atklātās programmatūras versijas un tām zināmās ievainojamības. Ietilpst kopējā vērtējumā; grupas vērtējums tiek rādīts arī atsevišķi kā drošības vērtējums.
- Ātrums – 10 %. Cik ātri serveris atbild un ko HTML liek pārlūkprogrammai gaidīt: atbildes laiks, saspiešana, attēlošanu bloķējoši skripti, attēli. Tas nav Core Web Vitals mērījums pārlūkprogrammā.
Papildu aģentu iespējas vērtējumā netiek ieskaitītas. llms.txt, Markdown alternatīvas, Link galvenes un WebMCP pazīmes tiek rādītas atsevišķā informatīvā sadaļā. WebMCP neesamību tikai pēc HTML nevar ticami pierādīt, tāpēc rādām „konstatēta pazīme” vai „nav apstiprināts”.
Šie svari ir mūsu metodikas izvēle, nevis apstiprināts modelis tam, kā AI sistēmas ranžē saturu. Vērtējums ir palīgorientieris: svarīgākais ir konkrēti secinājumi un to pierādījumi.
Pārklājums, kritiskie šķēršļi un „Nepietiek datu”
- Nepiemērojamās pārbaudes tiek izslēgtas no aprēķina – tās vērtējumu ne palielina, ne samazina.
- Blakus vērtējumam tiek rādīts pārbaužu pārklājums: kādu piemērojamo noteikumu svara daļu izdevās novērtēt.
- Ja būtiski dati nav zināmi, kopējā vērtējuma vietā rādām „Nepietiek datu”.
- Kritiskie šķēršļi, piemēram, deklarēts visas lapas indeksēšanas aizliegums, tiek rādīti atsevišķi, lai augsts citu pārbaužu vērtējums tos neaizsegtu.
Pārbaužu statusi
- Kārtībā – pārbaude veikta, trūkumi nav konstatēti.
- Brīdinājums – konstatēts trūkums vai pretruna, ko ir vērts pārskatīt.
- Problēma – konstatēts šķērslis, ko iesakām novērst.
- Neizdevās noteikt – datus neizdevās iegūt (piemēram, beidzās laiks vai nostrādāja aizsardzība). Tas automātiski nenozīmē vietnes kļūdu.
- Nav piemērojams – pārbaude šai vietnei nav aktuāla (piemēram, hreflang vienvalodas vietnē).
Katram secinājumam ir noteikuma ID un versija, pārbaudītais URL, laiks, HTTP informācija vai satura fragments, skaidrojums, prioritāte, ieteikums un saite uz avotu. Atsevišķi norādām pierādījuma ticamību.
Robotu mērķi
Meklēšanas roboti, modeļu apmācības roboti un lietotāja ierosināta piekļuve pārskatā tiek rādīti atsevišķi, jo tie ir atšķirīgi lēmumi. Aizliegums apmācības robotiem neskar AI meklēšanas robotus, taču samazina vietnes satura pieejamību AI sistēmām, tāpēc tiek ieskaitīts vērtējumā; ja slēgti visi apmācības roboti vai visa lietotāja ierosinātā piekļuve, kopējais secinājums vairs nav „labs”. Ja aizliegums ir apzināts īpašnieka lēmums, secinājumu var uzskatīt par informatīvu.
Ierobežojumi
- Pārbaudām no savas infrastruktūras. Ugunsmūris vai aizsardzības pakalpojums īstam robotam var atbildēt citādi nekā mums – gan labvēlīgāk, gan stingrāk.
- Izlase ir neliela: dažu lapu rezultāts nav visas vietnes novērtējums.
- JavaScript izpildām tikai ievadītajai lapai un tikai tad, ja tās sākotnējais HTML ir tukšs JavaScript karkass. Atlasītās iekšējās lapas vērtējam bez JavaScript, tāpēc saturu, kas tajās parādās tikai pārlūkprogrammā, neredzam.
- Strukturēto datu sintakses pārbaude neapstiprina, ka tie der katrai meklēšanas sistēmai.
- Ar HTTP 200 atbildi vien nepietiek: failu uzskatām par atrastu tikai tad, ja tā saturs atbilst sagaidāmajam formātam.
- Standarti un robotu saraksti mainās. Mainot metodiku, tiek izveidota jauna versija, bet veco pārskatu vērtējumi netiek pārrēķināti.
Spēkā esošie noteikumi
Tiek ielādēts spēkā esošo noteikumu saraksts…