Catatan: Perlu diketahui bahwa pengaturan ini dapat dibaca dan diikuti hanya jika crawler yang diizinkan untuk mengakses halaman yang mencakup pengaturan ini.
Menggunakan tag meta robot - Membuat Meta tag robot - Robot Txt
Meta tag robot memungkinkan Anda memanfaatkan, granular khusus halaman pendekatan untuk mengendalikan bagaimana setiap halaman harus diindeks dan disajikan kepada pengguna dalam hasil pencarian. Tempatkan tag meta robot di bagian <head> halaman yang diberikan, seperti ini:
Artikel berkaitan dengan Meta Tag :
- Meta Keyword
- Meta Description
- Pengertian Meta Tag
<DOCTYPE html!>
<html> <head>
<meta name="robots" content="noindex" />
(...)
</ Head>
<body> (...) </ body>
</ Html>
Meta tag robot dalam contoh di atas menginstruksikan semua mesin pencari tidak menampilkan halaman dalam hasil pencarian. Nilai dari nama atribut ( robot ) menyatakan bahwa direktif berlaku untuk semua crawler. Untuk mengatasi crawler tertentu, menggantikan robot nilai nama atribut dengan nama crawler yang Anda menangani. Crawler tertentu juga dikenal sebagai pengguna-agen (crawler menggunakan yang user-agent untuk meminta halaman.) Standar Google web crawler memiliki user-agent nama Googlebot. Untuk mencegah Googlebot hanya dari merangkak halaman Anda, memperbarui tag sebagai berikut:
<meta name="googlebot" content="noindex" />
Tag ini sekarang menginstruksikan Google (tapi tidak ada mesin pencari lainnya) tidak menunjukkan halaman ini dalam hasil pencarian web. Baik nama dan isi atribut non-kasus sensitif.
Search engine mungkin memiliki crawler berbeda untuk sifat yang berbeda atau tujuan. Misalnya, untuk menampilkan halaman dalam hasil pencarian Google web, tetapi tidak dalam Berita Google, gunakan meta tag berikut:
<meta name="googlebot-news" content="noindex" />
Jika Anda perlu menentukan crawler beberapa individual, tidak apa-apa untuk menggunakan beberapa tag meta robot:
<meta name="googlebot" content="noindex">
<meta name="googlebot-news" CONTENT="NOSNIPPET">
Jika arahan bersaing ditemui oleh crawler kami akan menggunakan direktif yang paling ketat kita temukan.
Menggunakan X-Robots-Tag HTTP header
The X-Robots-Tag dapat digunakan sebagai elemen dari respon HTTP header untuk URL yang diberikan. Setiap direktif yang dapat digunakan dalam meta tag robot juga dapat ditetapkan sebagai Tag X-Robots- . Berikut ini adalah contoh dari respon HTTP dengan X-Robots-Tag menginstruksikan crawler tidak ke halaman indeks:
HTTP/1.1 200 OK
Tanggal: Tue, 25 May 2010 21:42:43 GMT
(...)
X-Robots-Tag: noindex
(...)
Beberapa X-Robots-Tag header dapat dikombinasikan dalam respon HTTP, atau Anda dapat menentukan daftar comma-separated arahan. Berikut ini adalah contoh dari respon HTTP header yang memiliki noarchive X-Robots-Tag dikombinasikan dengan unavailable_after X-Tag Robot- .
HTTP/1.1 200 OK
Tanggal: Tue, 25 May 2010 21:42:43 GMT
(...)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(...)
The X-Robots-Tag opsional dapat menentukan user-agent sebelum arahan. Misalnya, set berikut X-Robots-Tag header HTTP dapat digunakan untuk kondisional memungkinkan menampilkan suatu halaman dalam hasil pencarian untuk mesin pencari yang berbeda:
HTTP/1.1 200 OK
Tanggal: Tue, 25 May 2010 21:42:43 GMT
(...)
X-Robots-Tag: Googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(...)
Arahan ditentukan tanpa user agent-berlaku untuk semua crawler. Bagian bawah menunjukkan bagaimana menangani arahan gabungan. Kedua nama dan nilai-nilai tertentu yang tidak sensitif huruf.
Struktur Meta Tag Robot :
- All : Tidak ada batasan untuk mengindeks atau melayani. Catatan: direktif ini adalah nilai default dan tidak berpengaruh jika eksplisit tercantum
- Noindex : Jangan menampilkan halaman ini dalam hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian
- nofollow : Jangan mengikuti link di halaman ini
- none : Setara dengan noindex, nofollow
- nosnippet : Jangan menunjukkan potongan dalam hasil pencarian untuk halaman ini
- noodp : Jangan gunakan metadata dari proyek Open Directory untuk judul atau potongan ditampilkan untuk halaman ini.
- notranslate : Jangan melakukan terjemahan dari halaman ini dalam hasil pencarian
- noimageindex : Jangan Indeks gambar halaman ini.
- unavailable_after: [RFC-850 date/time] : Jangan menampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditetapkan dalam format RFC 850.
Setelah file robots.txt (atau tidak adanya satu) telah memberikan izin untuk menjelajah halaman, dengan halaman default diperlakukan sebagai crawlable, indexable, archivable, dan isinya telah disetujui untuk digunakan dalam potongan yang muncul dalam hasil pencarian, kecuali izin khusus ditolak dalam meta tag robot atau X-Robots-Tag .
Penanganan pengindeksan gabungan dan melayani arahan
Anda dapat membuat instruksi multi-direktif dengan menggabungkan robot arahan meta tag dengan koma. Berikut adalah contoh dari meta tag robot yang menginstruksikan web crawler untuk tidak halaman indeks dan tidak merangkak salah satu link pada halaman:
<meta name="robots" CONTENT="NOINDEX, NOFOLLOW">
Untuk situasi di mana beberapa crawler ditentukan bersama dengan arahan yang berbeda, mesin pencari akan menggunakan jumlah arahan negatif. Sebagai contoh:
<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">
Halaman yang berisi tag meta akan ditafsirkan sebagai memiliki noindex, nofollow direktif saat dirayapi oleh Googlebot.
Praktis pelaksanaan X-Robots-Tag dengan Apache
Anda dapat menambahkan X-Robots-Tag untuk respon HTTP sebuah situs menggunakan htaccess dan. file httpd.conf yang tersedia secara default pada server web Apache berbasis. Keuntungan menggunakan X-Robots-Tag dengan respon HTTP adalah bahwa Anda dapat menentukan merangkak arahan yang diterapkan secara global di seluruh situs. Dukungan dari ekspresi reguler memungkinkan tingkat fleksibilitas yang tinggi.
Misalnya, untuk menambahkan noindex, nofollow X-Robots-Tag . untuk respon HTTP untuk semua file PDF di seluruh situs, tambahkan potongan berikut ke akar situs htaccess file atau file httpd.conf.:
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</ Files>
Anda dapat menggunakan X-Robots-Tag untuk non-HTML file seperti file gambar mana penggunaan meta tag robot tidak mungkin. Berikut ini adalah contoh menambahkannoindex X-Robots-Tag direktif untuk file gambar (png, jpeg, jpg, gif....) di seluruh situs:
<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</ Files>
Menggabungkan merangkak dengan pengindeksan / melayani arahan
Meta tag robot dan X-Robots-Tag HTTP header ditemukan ketika URL dijelajahi. Jika halaman yang dilarang dari merangkak melalui file robots.txt, maka setiap informasi tentang mengindeks atau melayani arahan tidak akan ditemukan dan karena itu akan diabaikan.
Artikel
0 komentar:
Posting Komentar