Agent Policy Builder

Etsang hore li-crawler le baemeli ba AI ba ka sebelisa webosaete ea hau joang

Khetha seo u se lumellang bakeng sa koetliso ea AI, patlo ea AI le bathusi ba AI, 'me u fumane karolo ea robots.txt eo u lokelang ho e kenyelletsa sebakeng sa hau.

Qala

Ha ho letho la ho kenya
Sesebelisoa se seng le se seng
Lipuo tse 100

Mohlala oa sephetho

Mohlala o qapiloeng

# Example Ceramics

> Handmade ceramics, shipped from Tallinn.

AI use of this site: model training not permitted; AI search and answers permitted.

## Products

- [Catalogue](https://example.com/shop): every piece in stock

Mohlala oa lebenkele le qapiloeng. Lifaele tsa hau li sebelisa likhetho tsa hau.

Likhetho tsa hau

Koetliso ea mehlala ea AILi-crawler tse bokellang maqephe ho koetlisa mehlala ea AI.LumellaThiba

Patlo le likarabo tsa AILi-crawler tse etsang index ea maqephe bakeng sa lienjine tsa patlo le likarabo tsa AI.LumellaThiba

Bathusi ba AI ha ba kopuoaBathusi ba bulang leqephe ha mosebelisi a le kopa. Lik'hamphani tse ling li kanna tsa se sebelise robots.txt ho maeto ana.LumellaThiba

Li-crawler tse tloaelehileng tsa patlo, tse kang Googlebot le Bingbot, ha li ame.

Litsela tse lokelang ho sala li sa fumanehe ho li-crawler tsa AI tseo u li lumellang (ha u rata)Ntlha e le 'ngoe mohloling o mong le o mong, ho fihlela ho 10, e 'ngoe le e 'ngoe e qalang ka /. Crawler e bolokiloeng karolong ena e latela melao ena feela, ka hona fana ka lethathamo mona la litsela leha e le life tseo u seng u li thibetse li-crawler tsohle.Aterese ea sitemap (ha u rata)

Karolo ea mahala kapa Pro Kit: tefo e eketsa eng?

Sesebelisoa sa mahala se etsa karolo ea robots.txt ho tsoa likhethong tsa hau. Pro Kit e eketsa lifaele tse ling le tataiso ea ho li kenya.

Seo Pro Kit e se u fang sona

robots.txt, llms.txt le ai.txt tse buang ntho e le 'ngoe.
Litsela tseo libaka tsa mofuta oa hau li atisang ho li thibela li-crawler tsa AI, li tlatselitsoe ho uena.
Kakaretso ea lipehelo tsa hau tsa tšebeliso ea AI ka puo ea hau le ka Senyesemane.
Moo u lokelang ho beha faele e 'ngoe le e 'ngoe ho WordPress, Next.js, Shopify le libakeng tse ngata tse ling.

Karolo ea mahala le Pro Kit ka thoko ho e 'ngoe

MahalaPro Kit

Karolo ea AI ea robots.txtEeEe

Litsela tse tloaelehileng bakeng sa mofuta oa sebaka sa hauCheEe

llms.txt le ai.txtCheEe

Kakaretso ea lipehelo le tataiso ea ho kenyaCheEe

Tefo e le 'ngoe ea $6.99. Ha ho ngoliso 'me ha ho letho le ncha. Haeba kit e sa khone ho etsoa kapa u lefisoa habeli, u fumana tefello e feletseng.

Pro Kit: lifaele tsohle, li loketse ho kenngoa

Likhetho tse tšoanang e le khoasollo e le 'ngoe, hammoho le lifaele le litataiso tse tsamaeang le tsona.

Karolo ea AI ea robots.txt, e nang le litsela tse tloaelehileng bakeng sa mofuta oa sebaka sa hau
llms.txt: tataiso e khuts'oane ea sebaka sa hau bakeng sa litsamaiso tsa AI, e nang le lilinky tsa hau
ai.txt e nang le khetho ea hau mabapi le koetliso ea AI (tloaelo)
Kakaretso ea lipehelo tsa tšebeliso ea AI ka puo ea hau le ka Senyesemane, bakeng sa ho lekola
Tataiso ea ho kenya bakeng sa libaka tse ngata, WordPress, Next.js le Shopify

Mofuta oa sebakaLebitso la sebakaAterese ea sebakaTlhaloso ea mohlala o le mong (ha u rata)

Mohokahanyi bakeng sa likopo tsa tumello (ha u rata)Aterese ea lengolo-tsoibila kapa aterese ea leqephe. E hlaha ho llms.txt le kakaretsong ea lipehelo.

Lilinky tsa llms.txt (ha u rata)

Ho fihlela maqepheng a bohlokoa a 20. Ha ho se na lilinky, llms.txt e supa leqephe la hau la lapeng.

$6.99, e lefshoa hang. Khoasolla ka matsatsi a 7, ho fihlela makhetlong a 10.

Haeba kit e sa khone ho etsoa, u fumana chelete ea hau hape.

Lintho tseo u li kentseng li lula sebatli sena ho aha kit hape; re boloka feela monoana oa tsona hammoho le tefo. Ho khoasolla hape, sebelisa sebatli sena, kapa u kenye litekanyetso tse tšoanang.

Ke kopa hore kit e fuoe hang-hang 'me ke utloisisa hore ke lahleheloa ke tokelo ea ka ea ho ikhula hang ha khoasollo e qala.

Litefo tse sireletsehileng tsa Stripe. Litheko li bontšoa ka chelete ea heno.

Meeli ea ts'ebeletso · Leano la tefiso e khutlisoang · Leano la lekunutu

Tse ncha

2026-10-13Bara e ka holimo joale e na le mabokose a masoeu a bonolo 'me ha e sa na konopo ea UNIHI Home (UNIHOLIX Apps e ka tlase ho leqephe), 'me leqephe le pharaletse joaloka lihlahisoa tsa rona tse ling.