Liigu sisu juurde
Solidus kodasAudit

Kuidas hindame veebisaidi kättesaadavust AI-otsingule ja selle turvalisust

Audit mõõdab tehnilisi tingimusi, mida saab kontrollida väljastpoolt. Siin on kirjeldatud, mida täpselt kontrollime, kuidas skoori arvutame ja kus on selle meetodi piirid.

Mida saame põhjendatult tuvastada

  • Kas leht ja selle tekst on meie taristust kättesaadavad.
  • Mida robots.txt konkreetsetele robotitele deklareerib.
  • Kas leht deklareerib indekseerimise ja väljavõtete kuvamise piiranguid (meta robots, X-Robots-Tag).
  • Kas sisu, siselingid ja struktureeritud andmed on kontrollitud valimis kättesaadavad.
  • Kas on avaldatud täiendavaid AI-le mõeldud faile ja kas leidub integratsioonide tunnuseid.
  • Kuidas on seadistatud krüpteerimine, turvapäised, küpsised ja kaitse e-posti võltsimise eest.
  • Millist tarkvara ja selle versioone sait avalikult näitab ning millised haavatavused on nende versioonide kohta teada.

Mida audit ei tõesta

  • Et ChatGPT või mõni muu süsteem on saidi juba indekseerinud.
  • Et saiti hakatakse tsiteerima või soovitama.
  • Et meie õnnestunud päring tähendab päris roboti õnnestunud päringut tema IP-aadressidelt.
  • Et kontrollitud valim peegeldab kõiki toodete, kategooriate või keelte versioone.
  • Et sait on turvaline või haavatav: hindame ainult avalikult nähtavaid tunnuseid, turvaauke me ei otsi ega püüa neid ära kasutada.

Auditi ulatus

Kiiraudit kontrollib sisestatud avalikku lehte, robots.txt-faili, piiratud osa saidikaardist ja kuni 5 valitud lehte samalt domeenilt. Lehed valitakse avalike linkide põhjal, vältides otsingu, ostukorvi, sisselogimise ja filtrite aadresse. Igas aruandes kuvatakse tegelik kontrollitud aadresside loend.

Kontrollija kasutab ainult HTTP-d ja HTTPS-i, ei logi kontodele sisse, ei täida vorme, ei kasuta küpsiseid ega hiili kaitsemeetmetest mööda. Robotite reegleid analüüsime eraldi. Kui sait teenindab meie päringut ja robots.txt seda lubab, saadame ühe võrdluspäringu iga AI-roboti User-Agenti nimega; iga selline päring on märgistatud meie tegeliku nimega (päis X-Audit-By).

Skoori koosseis

Üldskoori moodustavad järgmised rühmad:

  • Juurdepääs – 25 %. Kas leht on kättesaadav ja kas robotitel on lubatud seda lugeda ja indekseerida.
  • Sisu loetavus – 22 %. Kas põhisisu on serveri tagastatud HTML-is ja kas lehe teema on selge.
  • Leitavus – 14 %. Kas robotid leiavad saidi lehed saidikaardi, canonical-viidete ja siselinkide kaudu.
  • Semantiline selgus – 11 %. Kas struktureeritud andmed ja keelesignaalid aitavad sisu üheselt mõista.
  • Turvalisus – 18 %. Krüpteerimine, turvapäised, küpsised, saidi avaldatud tarkvaraversioonid ja nende teadaolevad haavatavused. Kuulub üldskoori hulka; rühma skoor kuvatakse ka eraldi turvaskoorina.
  • Kiirus – 10 %. Kui kiiresti server vastab ja mida HTML paneb brauseri ootama: vastuseaeg, pakkimine, renderdamist blokeerivad skriptid, pildid. See ei ole Core Web Vitalsi mõõtmine brauseris.

Agentide lisavõimalused skoori hulka ei kuulu. llms.txt, Markdowni alternatiivid, Link-päised ja WebMCP tunnused kuvatakse eraldi informatiivses osas. WebMCP puudumist ei saa ainult HTML-i põhjal usaldusväärselt tõestada, seetõttu kuvame „tunnus tuvastatud“ või „kinnitamata“.

Need kaalud on meie metoodika valik, mitte kinnitust leidnud mudel selle kohta, kuidas AI-süsteemid sisu järjestavad. Skoor on abistav orientiir: kõige tähtsamad on konkreetsed leiud ja nende tõendid.

Katvus, kriitilised takistused ja „Andmeid ei ole piisavalt“

  • Mittekohalduvad kontrollid jäetakse arvutusest välja – need skoori ei tõsta ega langeta.
  • Skoori kõrval kuvatakse kontrollide katvus: kui suurt osa kohalduvate reeglite kaalust õnnestus hinnata.
  • Kui olulised andmed on teadmata, kuvame koondskoori asemel „Andmeid ei ole piisavalt“.
  • Kriitilised takistused, näiteks kogu lehe deklareeritud indekseerimiskeeld, kuvatakse eraldi, et teiste kontrollide kõrge skoor neid ei varjaks.

Kontrollide olekud

  • Korras – kontroll on tehtud, puudusi ei leitud.
  • Hoiatus – leiti puudus või vastuolu, mis tasub üle vaadata.
  • Probleem – leiti takistus, mille soovitame kõrvaldada.
  • Ei õnnestunud tuvastada – andmeid ei õnnestunud saada (nt aeg sai otsa või rakendus kaitse). See ei tähenda automaatselt saidi viga.
  • Ei kohaldu – kontroll ei ole selle saidi puhul asjakohane (nt hreflang ükskeelsel saidil).

Igal leiul on reegli ID ja versioon, kontrollitud URL, aeg, HTTP-teave või sisuväljavõte, selgitus, prioriteet, soovitus ja viide allikale. Tõendi usaldusväärsuse märgime eraldi.

Robotite otstarbed

Otsingurobotid, mudelite treenimise robotid ja kasutaja algatatud juurdepääs kuvatakse aruandes eraldi, sest need on erinevad otsused. Treenimisrobotite keelamine ei puuduta AI-otsingu roboteid, kuid vähendab saidi sisu kättesaadavust AI-süsteemidele ja läheb seetõttu skoori arvesse; kui suletud on kõik treenimisrobotid või kogu kasutaja algatatud juurdepääs, ei ole üldhinnang enam „hea“. Kui keeld on omaniku teadlik otsus, võib leidu käsitleda informatiivsena.

Piirangud

  • Kontrollime oma taristust. Tulemüür või kaitseteenus võib päris robotile vastata teisiti kui meile – nii soodsamalt kui ka rangemalt.
  • Valim on väike: mõne lehe tulemus ei ole hinnang kogu saidile.
  • JavaScripti käivitame ainult sisestatud lehe puhul ja ainult siis, kui selle algne HTML on tühi JavaScripti kest. Valitud siselehti hindame ilma JavaScriptita, seega nende alles brauseris ilmuvat sisu me ei näe.
  • Struktureeritud andmete süntaksi kontroll ei kinnita, et need sobivad igale otsingusüsteemile.
  • Ainult HTTP 200 vastusest ei piisa: loeme faili leituks alles siis, kui selle sisu vastab oodatud vormingule.
  • Standardid ja robotite loendid muutuvad. Metoodika muutmisel luuakse uus versioon ning vanade aruannete skoore ümber ei arvutata.

Kehtivad reeglid

Kehtivate reeglite loendi laadimine…