Kaip vertiname svetainės prieinamumą AI paieškai ir saugumą
Auditas matuoja technines sąlygas, kurias galima patikrinti iš išorės. Čia aprašyta, ką tiksliai tikriname, kaip skaičiuojame balą ir kur šio metodo ribos.
Ką galime pagrįstai nustatyti
- Ar iš mūsų infrastruktūros gaunamas puslapis ir jo tekstas.
- Ką konkretiems robotams deklaruoja robots.txt.
- Ar puslapis deklaruoja indeksavimo ir ištraukų apribojimus (meta robots, X-Robots-Tag).
- Ar turinys, vidinės nuorodos ir struktūriniai duomenys pasiekiami tikrintoje imtyje.
- Ar paskelbti papildomi AI skirti failai ir integracijų požymiai.
- Kaip sukonfigūruotas šifravimas, saugumo antraštės, slapukai ir el. pašto apsauga nuo klastojimo.
- Kokią programinę įrangą ir jos versijas svetainė skelbia viešai ir kokie pažeidžiamumai toms versijoms žinomi.
Ko auditas neįrodo
- Kad „ChatGPT“ ar kita sistema svetainę jau indeksavo.
- Kad svetainė bus cituojama ar rekomenduojama.
- Kad sėkminga mūsų užklausa reiškia sėkmingą tikro roboto užklausą iš jo IP adresų.
- Kad tikrinta imtis atspindi visas produktų, kategorijų ar kalbų versijas.
- Kad svetainė saugi arba pažeidžiama: vertiname tik viešai matomus požymius, spragų neieškome ir nebandome jų išnaudoti.
Audito apimtis
Greitasis auditas tikrina įvestą viešą puslapį, robots.txt, ribotą svetainės žemėlapio dalį ir iki 5 atrinktų to paties domeno puslapių. Puslapiai atrenkami pagal viešas nuorodas, vengiant paieškos, krepšelio, prisijungimo ir filtrų adresų. Kiekvienoje ataskaitoje rodomas faktinis tikrintų adresų sąrašas.
Tikrintuvas naudoja tik HTTP ir HTTPS, nesijungia prie paskyrų, nepildo formų, nenaudoja slapukų ir neapeina apsaugų. Robotų taisykles analizuojame atskirai. Kai svetainė mūsų užklausą aptarnauja ir robots.txt tai leidžia, išsiunčiame po vieną palyginamąją užklausą su AI robotų User-Agent pavadinimais; kiekviena jų pažymėta mūsų tikruoju pavadinimu (antraštė X-Audit-By).
Balo sudėtis
Bendrą balą sudaro šios grupės:
- Prieiga – 25 %. Ar puslapis pasiekiamas ir ar robotams leidžiama jį skaityti bei indeksuoti.
- Turinio perskaitomumas – 22 %. Ar pagrindinis turinys yra serverio grąžintame HTML ir ar aiški puslapio tema.
- Randamumas – 14 %. Ar robotai gali atrasti svetainės puslapius per žemėlapį, canonical ir vidines nuorodas.
- Semantinis aiškumas – 11 %. Ar struktūriniai duomenys ir kalbos signalai padeda vienareikšmiškai suprasti turinį.
- Saugumas – 18 %. Šifravimas, saugumo antraštės, slapukai, skelbiamos programinės įrangos versijos ir joms žinomi pažeidžiamumai. Įeina į bendrą balą; grupės balas rodomas ir atskirai kaip saugumo balas.
- Greitis – 10 %. Kaip greitai serveris atsako ir ką HTML verčia naršyklę laukti: atsako laikas, suspaudimas, rodymą blokuojantys skriptai, paveikslėliai. Tai ne „Core Web Vitals“ matavimas naršyklėje.
Papildomos agentų galimybės į balą neįeina. llms.txt, Markdown alternatyvos, Link antraštės ir WebMCP požymiai rodomi atskiroje informacinėje dalyje. WebMCP nebuvimo vien iš HTML patikimai įrodyti negalima, todėl rodome „aptiktas požymis“ arba „nepatvirtinta“.
Šie svoriai yra mūsų metodikos pasirinkimas, o ne patvirtintas AI sistemų reitingavimo modelis. Balas yra pagalbinis orientyras: svarbiausia – konkrečios išvados ir jų įrodymai.
Aprėptis, kritinės kliūtys ir „Nepakanka duomenų“
- Netaikomos patikros pašalinamos iš skaičiavimo – jos balo nei didina, nei mažina.
- Šalia balo rodoma patikrų aprėptis: kokią taikomų taisyklių svorio dalį pavyko įvertinti.
- Jei esminiai duomenys nežinomi, vietoj bendro balo rodome „Nepakanka duomenų“.
- Kritinės kliūtys, pavyzdžiui, deklaruotas viso puslapio indeksavimo draudimas, rodomos atskirai, kad aukštas kitų patikrų balas jų nepaslėptų.
Patikrų būsenos
- Tvarkoje – patikra įvykdyta, trūkumų nerasta.
- Įspėjimas – rastas trūkumas ar prieštaravimas, kurį verta peržiūrėti.
- Problema – rasta kliūtis, kurią rekomenduojame sutvarkyti.
- Nepavyko nustatyti – duomenų gauti nepavyko (pvz., baigėsi laikas ar suveikė apsauga). Tai nėra automatiškai svetainės klaida.
- Netaikoma – patikra šiai svetainei neaktuali (pvz., hreflang vienakalbėje svetainėje).
Kiekviena išvada turi taisyklės ID ir versiją, patikrintą URL, laiką, HTTP informaciją arba turinio ištrauką, paaiškinimą, prioritetą, rekomendaciją ir nuorodą į šaltinį. Atskirai nurodome įrodymo patikimumą.
Robotų paskirtys
Paieškos robotai, modelių mokymo robotai ir vartotojo inicijuota prieiga ataskaitoje rodomi atskirai, nes tai skirtingi sprendimai. Draudimas mokymo robotams AI paieškos robotų neliečia, tačiau mažina svetainės turinio pasiekiamumą AI sistemoms, todėl įeina į balą; uždarius visus mokymo robotus arba visą vartotojo inicijuotą prieigą, bendra išvada nebėra „gera“. Jei toks draudimas – sąmoningas savininko sprendimas, išvadą galima laikyti informacine.
Ribotumai
- Tikriname iš savo infrastruktūros. Ugniasienė ar apsaugos paslauga tikram robotui gali atsakyti kitaip nei mums – ir palankiau, ir griežčiau.
- Imtis maža: kelių puslapių rezultatas nėra visos svetainės įvertinimas.
- JavaScript vykdome tik įvestam puslapiui ir tik tada, kai jo pradinis HTML yra tuščias JavaScript karkasas. Atrinkti vidiniai puslapiai vertinami be JavaScript, todėl jų naršyklėje atsirandančio turinio nematome.
- Struktūrinių duomenų sintaksės patikra nėra patvirtinimas, kad jie tinka kiekvienai paieškos sistemai.
- Vien HTTP 200 atsakymo nepakanka: failą laikome rastu tik tada, kai jo turinys atitinka tikėtiną formatą.
- Standartai ir robotų sąrašai keičiasi. Pakeitus metodiką kuriama nauja versija, o senų ataskaitų balai neperskaičiuojami.
Galiojančios taisyklės
Galiojančių taisyklių sąrašas įkeliamas…