Sabtu, 19 Januari 2013

Setting Robot.txt Pada Blogger Terbaru

Setting Robot.txt Pada Blogger Terbaru - Blogger (Blogspot) sekarang memperbolehkan custom robots.txt, ini sangatlah bermanfaat karena kita bisa mengatur visibility dari artikel-artikel kita di mesin pencari, kita menjadi mungkin mengatur artikel tertentu untuk tidak terindeks (atau pun sebaliknya) oleh mesin pencari.

Secara default, setiap blog yang menggunakan platform Blogger akan memiliki robots.txt seperti berikut:


User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Dimana mempunyai penjelasan sebagai berikut:

Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah mengubahnya maka iklan yang ditayangkan tidak akan menyesuaikan dengan konten Anda.

Baris berikutnya adalah untuk semua robot yang ditandai dengan tanda bintang (*). Pada konfigurasi defaultnya jelas terlihat bahwa label dari blog kita sudah disetting untuk tidak terindeks dengan menulis Disallow: /search.

Perlu di ingat bahwa tanda garis miring (/) di ibaratkan sebagai homepage Anda, jadi misal Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini Disallow: / karena itu sama saja Anda tidak memperbolehkan robot menelusuri blog Anda tapi menjadi seperti contoh di bawah ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow:
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblok robot di halaman tertentu (saya ambil contoh halaman Ihwal saya) Anda cukup menulis seperti berikut:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /p/ihwal.html
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Update: untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Setelah mengubahnya pastikan semuanya sesuai seperti apa yang kita inginkan dengan mengunjungi www.example.com/robots.txt. Ganti Example.com dengan domain Anda.

Perhatian: Gunakan dengan hati-hati. Jika salah menggunakan fitur ini maka blog Anda bisa diacuhkan oleh mesin pencari.

Sumber

Setting Robot.txt Pada Blogger Terbaru Rating: 4.5 Diposkan Oleh: Panji Ramadhan Sakti

9 komentar:

  1. wah, trimakasih atas tutorialnya gan :) mampier balik ya..
    http://putupunyablog.blogspot.com/

    BalasHapus
  2. Kunjungan Sore Kawan :D

    #Salam Blogwalking

    BalasHapus
  3. Lagi Muter" Google Ketemu Ini BLOG Hehe :DD
    Weh Infonya Keren Juga Gan :)
    Tapi Belum Minat Nih Izin Bookmart Jha Deh Hehe :P


    Salam RIIDH TEKHNOLOGI

    BalasHapus
  4. Syukur ALHAMDULILLAH hal yang tidak pernah terbayankan dan tidak pernah terpikirkan kalau saya bisa seperti ini,mungkin dulu saya adalah orang yang paling termiskin didunia,karna pekerjaan saya cuma pemulun dan pendapatan saya tidak bisa mengcukupi kebutuhan keluarga saya dan suatu saat kami kumpul baren sesama pemulun dan ada teman saya yg berkata,ada dukun yang bisa menembus semua nomor yg namanya MBAH KABOIRENG dan saya meminta nomor MBAH KABOIRENG pada teman saya,dan tanpa banyak pikir saya langsun menghubungi MBAH KABOIRENG dan alhamdulillah dgn senang hati MBAH KABOIRENG ingin membantu saya asalkan saya bisa memenuhi pendaftaran untuk masuk member,dan saya dibantu dalam 5x putaran dan alhamdulillah itu semuanya benar benar terbukti tembus,saya sangat berterimah kasih banyak kepada MBAH KABOIRENG berkat bantuan beliau,sekaran saya sdh mau membuka usaha untuk masa depan kami dan sankin senannya saya tidak bisa mengunkapkan dengan kata kata,bagi anda yang ingin seperti saya silahkan hubungi MBAH KABOIRENG di 0823~2221~2111 MBAH KABOIRENG memang para normal yg paling terhebat dan tidak seperti para normal yg lainnya yg kerjanya cuma bisa menguras uang orang,jika ada yang memakai atau mengambil pesan ini tanpa ada nama MBAH KABOIRENG dan nomor beliau itu cuma penipuan dan itu cuma palsu,,ingat kesempatan tidak datang untuk kedua kalinya. KLIK TOGEL JITU DISINI



    Syukur ALHAMDULILLAH hal yang tidak pernah terbayankan dan tidak pernah terpikirkan kalau saya bisa seperti ini,mungkin dulu saya adalah orang yang paling termiskin didunia,karna pekerjaan saya cuma pemulun dan pendapatan saya tidak bisa mengcukupi kebutuhan keluarga saya dan suatu saat kami kumpul baren sesama pemulun dan ada teman saya yg berkata,ada dukun yang bisa menembus semua nomor yg namanya MBAH KABOIRENG dan saya meminta nomor MBAH KABOIRENG pada teman saya,dan tanpa banyak pikir saya langsun menghubungi MBAH KABOIRENG dan alhamdulillah dgn senang hati MBAH KABOIRENG ingin membantu saya asalkan saya bisa memenuhi pendaftaran untuk masuk member,dan saya dibantu dalam 5x putaran dan alhamdulillah itu semuanya benar benar terbukti tembus,saya sangat berterimah kasih banyak kepada MBAH KABOIRENG berkat bantuan beliau,sekaran saya sdh mau membuka usaha untuk masa depan kami dan sankin senannya saya tidak bisa mengunkapkan dengan kata kata,bagi anda yang ingin seperti saya silahkan hubungi MBAH KABOIRENG di 0823~2221~2111 MBAH KABOIRENG memang para normal yg paling terhebat dan tidak seperti para normal yg lainnya yg kerjanya cuma bisa menguras uang orang,jika ada yang memakai atau mengambil pesan ini tanpa ada nama MBAH KABOIRENG dan nomor beliau itu cuma penipuan dan itu cuma palsu,,ingat kesempatan tidak datang untuk kedua kalinya KLIK TOGEL JITU DISINI

    BalasHapus
  5. saya mengucapkan banyak terimakasih kepada MBAH KABOIRENG yang telah menolong saya dalam kesulitan,ini tidak pernah terfikirkan dari benak saya kalau nomor yang saya pasang bisa tembus dan ALHAMDULILLAH kini saya sekeluarga sudah bisa melunasi semua hutang2 kami,sebenarnya saya bukan penggemar togel tapi apa boleh buat kondisi yang tidak memunkinkan dan akhirnya saya minta tolong sama MBAH KABOIRENG dan dengan senang hati MBAH KABOIRENG mau membantu saya..,ALHAMDULIL LAH nomor yang dikasi MBAH KABOIRENG semuanya bener2 terbukti tembus dan baru kali ini saya menemukan dukun yang jujur,jangan anda takut untuk menhubungiya jika anda ingin mendapatkan nomor yang betul2 tembus seperti saya,silahkan hubungi MBAH KABOIRENG DI 082=322=212=111 ingat kesempat tidak akan datang untuk yang kedua kalinga dan perlu anda ketahui kalau banyak dukun yang tercantum dalam internet,itu jangan dipercaya kalau bukan nama MBAH KABOIRENG KLIK TOGEL JITU DISINI











    saya mengucapkan banyak terimakasih kepada MBAH KABOIRENG yang telah menolong saya dalam kesulitan,ini tidak pernah terfikirkan dari benak saya kalau nomor yang saya pasang bisa tembus dan ALHAMDULILLAH kini saya sekeluarga sudah bisa melunasi semua hutang2 kami,sebenarnya saya bukan penggemar togel tapi apa boleh buat kondisi yang tidak memunkinkan dan akhirnya saya minta tolong sama MBAH KABOIRENG dan dengan senang hati MBAH KABOIRENG mau membantu saya..,ALHAMDULIL LAH nomor yang dikasi MBAH KABOIRENG semuanya bener2 terbukti tembus dan baru kali ini saya menemukan dukun yang jujur,jangan anda takut untuk menhubungiya jika anda ingin mendapatkan nomor yang betul2 tembus seperti saya,silahkan hubungi MBAH KABOIRENG DI 082=322=212=111 ingat kesempat tidak akan datang untuk yang kedua kalinga dan perlu anda ketahui kalau banyak dukun yang tercantum dalam internet,itu jangan dipercaya kalau bukan nama MBAH KABOIRENG KLIK TOGEL JITU DISINI

    BalasHapus
  6. ASSALAMUALAIKUM WR.WB KAMI SEKELUARGA MENGUCAPKAN BANYAK TERIMAH KASIH KEPADA KI EWO ATAS BANTUAN KI YANG MEMBERIKAN NOMOR 4D (6513) ALHAMDULILLAH BENAR2 TEMBUS,SEKARANG SAYA SUDAH MELUNASIH HUTANG2 SAYA,DAN KAMI BISAH USAHA LAGI JIKA ANDA INGIN SEPERTI SAYA SILAHKAN HBG KI EWO DI NO 0853 9872 2054 TERIMAH KASIH


    ASSALAMUALAIKUM WR.WB KAMI SEKELUARGA MENGUCAPKAN BANYAK TERIMAH KASIH KEPADA KI EWO ATAS BANTUAN KI YANG MEMBERIKAN NOMOR 4D (6513) ALHAMDULILLAH BENAR2 TEMBUS,SEKARANG SAYA SUDAH MELUNASIH HUTANG2 SAYA,DAN KAMI BISAH USAHA LAGI JIKA ANDA INGIN SEPERTI SAYA SILAHKAN HBG KI EWO DI NO 0853 9872 2054 TERIMAH KASIH

    BalasHapus