Taktik pertumbuhan penerbit untuk musim pilihan raya | WEBINAR
Taktik pertumbuhan penerbit untuk musim pilihan raya | WEBINAR
Selepas membaca modul ini, anda harus memahami apa itu bajet perayapan, bagaimana ia diperuntukkan kepada laman web dan cara mengoptimumkannya.
Tempoh Video
23:27
Jawab Kuiz
Ambil kuiz modul semasa
Bahan
Templat sedia untuk digunakan
Sumber
Laporan dan Sumber
2.6.1 Apakah Bajet Rangkaian?
Bajet perayapan ialah bilangan halaman di laman web anda yang akan dirayapi oleh perayap web dalam tempoh masa tertentu.
Setiap kali anda menekan butang terbitkan, Google perlu merangkak dan mengindeks kandungan tersebut agar ia mula muncul dalam hasil carian. Memandangkan skala dan jumlah kandungan di internet, merangkak menjadi sumber berharga yang perlu dianggarkan dan dikategorikan untuk penggunaan yang paling cekap.
Secara ringkasnya, sukar bagi Google untuk merayapi dan mengindeks setiap halaman di internet setiap hari. Jadi, Google merayapi setiap laman web mengikut bajet yang ditetapkan.
Bajet perayapan diberikan kepada laman web berdasarkan dua faktor — had perayapan dan permintaan perayapan.
Ini adalah kapasiti dan/atau kesediaan laman web untuk dirayapi.
Bukan semua laman web dibina untuk dirayapi setiap hari. Perayapan melibatkan Googlebot yang menghantar permintaan ke pelayan laman web anda yang, jika dilakukan terlalu kerap, mungkin akan menekan kapasiti pelayan.
Selain itu, bukan setiap penerbit mahu laman web mereka dirayapi secara berterusan.
Permintaan perayapan ialah ukuran kekerapan sesuatu halaman tertentu mahu dirayapi semula. Halaman popular atau halaman yang dikemas kini dengan kerap perlu dirayapi dan dirayapi semula dengan lebih kerap.
Jika Google tidak dapat merangkak dan mengindeks kandungan anda, kandungan tersebut tidak akan dipaparkan pada hasil carian.
Walau bagaimanapun, bajet perayapan pada amnya hanya menjadi perhatian penerbit sederhana hingga besar yang mempunyai lebih daripada 10,000 halaman di laman web mereka. Penerbit yang lebih kecil tidak perlu terlalu risau tentang bajet perayapan.
Walau bagaimanapun, penerbit yang mempunyai 10,000 atau lebih halaman di laman web mereka perlu mengelakkan halaman perayapan Googlebot yang tidak penting. Menghabiskan bajet perayapan anda untuk kandungan yang tidak relevan atau kurang penting bermakna halaman bernilai lebih tinggi mungkin tidak akan dirayapi.
Tambahan pula, penerbit berita perlu berhati-hati tentang bajet perayapan yang dibazirkan memandangkan perayapan adalah salah satu daripada tiga cara Google News menemui kandungan baharu tepat pada masanya. Dua lagi adalah dengan menggunakan peta laman dan Pusat Penerbit Google, yang telah kami terokai lebih lanjut dalam modul Peta Laman Google News dan Pusat Penerbit Google
Mengoptimumkan kekerapan dan kelajuan Googlebot merayapi laman web anda melibatkan pemantauan pelbagai pembolehubah. Kita mulakan dengan menyenaraikan faktor paling penting yang terlibat dalam mengoptimumkan bajet dan kekerapan merayapi.
Dua taktik paling berguna untuk memantau cara kandungan anda dirayapi ialah menganalisis fail log dan laporan statistik perayapan Google Search Console (GSC).
Fail log ialah dokumen teks yang merekodkan setiap aktiviti di pelayan laman web anda. Ini termasuk semua data tentang permintaan perayapan, permintaan halaman, permintaan imej, permintaan untuk fail javascript dan sebarang sumber lain yang diperlukan untuk menjalankan laman web anda.
Untuk tujuan SEO teknikal, analisis fail log membantu menentukan banyak maklumat berguna tentang perayapan URL, termasuk tetapi tidak terhad kepada:
Cara Melakukannya
Analisis fail log merupakan tugasan yang memerlukan sedikit pengetahuan teknikal dengan bahagian belakang laman web. Atas sebab ini, kami mengesyorkan penggunaan perisian penganalisis fail log. Terdapat beberapa alat analisis log percuma dan berbayar yang tersedia seperti Graylog , Loggly , Elastic Stack , Screaming Frog Log Analyzer dan Nagios, antara lainnya.
Jika anda seorang pembangun atau pentadbir sistem yang berpengalaman, anda juga boleh melakukan analisis fail log secara manual.
Untuk melakukan ini, ikuti langkah berikut:
Sebaik sahaja anda memuat turun fail log, anda boleh menukar sambungan kepada .csv dan membukanya menggunakan Microsoft Excel atau Google Sheets. Walau bagaimanapun, seperti yang telah kami katakan, pendekatan ini memerlukan tahap kepakaran tertentu untuk memahami fail log.
Anda juga boleh mengakses fail log menggunakan klien FTP dengan memasukkan laluan fail log. Laluan fail log biasa kelihatan seperti ini:
Nama pelayan (contohnya, Apache) /var/log/access.log
Walau bagaimanapun, adalah lebih mudah untuk menggunakan alat analisis log. Sebaik sahaja anda memuat naik fail log ke dalam alat tersebut, anda boleh menyusun data menggunakan beberapa penapis. Contohnya, anda akan dapat melihat URL yang paling kerap diakses oleh Googlebot.
Anda juga akan dapat melihat sama ada Googlebot telah mengakses URL yang tidak penting atau bernilai rendah seperti URL navigasi berfaset, URL pendua, dsb. Mengenal pasti perkara ini adalah penting kerana ia membazirkan bajet perayapan anda.
Lihat tangkapan skrin di bawah, yang diambil daripada Penganalisis Fail Log SEO Screaming Frog, untuk melihat apa yang kami maksudkan.
GSC menyediakan pemilik laman web dengan data dan pandangan yang komprehensif tentang cara Google merayapi kandungan mereka. Ini termasuk laporan terperinci tentang:
GSC juga menyediakan graf dan carta yang mudah difahami untuk memberikan pemilik laman web lebih banyak maklumat. Tangkapan skrin di bawah ialah rupa laporan statistik perayapan biasa tentang GSC.
GSC juga memberitahu anda jika terdapat sebarang masalah dengan perayapan. Ia menyemak beberapa ralat dan memberikan setiap satu kod. Ralat paling biasa yang diperiksa oleh GSC termasuk:
Laporan GSC juga menunjukkan berapa banyak halaman yang telah terjejas oleh setiap ralat di samping status pengesahan.
Cara Melakukannya
Berikut ialah cara anda boleh mengakses laporan statistik perayapan GSC untuk laman web atau halaman web anda:
Ini termasuk:
Kita kini tahu bahawa bajet rangkak merupakan sumber berharga yang penggunaannya mesti dioptimumkan untuk hasil terbaik. Berikut adalah beberapa teknik untuk melakukan ini:
Kandungan pendua mungkin akan dijelajah secara berasingan, yang akan menyebabkan pembaziran bajet pelayaran. Untuk mengelakkan perkara ini daripada berlaku, sama ada gabungkan halaman pendua di laman web anda menjadi satu atau padam halaman pendua.
Robots.txt ialah fail yang mempunyai beberapa tujuan, salah satunya adalah untuk memberitahu Googlebot supaya tidak merayapi halaman atau bahagian halaman tertentu. Ini merupakan strategi penting yang boleh digunakan untuk menghalang Googlebot daripada merayapi kandungan bernilai rendah atau kandungan yang tidak perlu dirayapi.
Berikut adalah beberapa amalan terbaik apabila menggunakan robots.txt untuk mengoptimumkan bajet perayapan:
Cara Melakukannya
Mencipta dan melaksanakan fail robots.txt untuk menyekat akses Googlebot memerlukan sedikit pengetahuan pengekodan. Berikut adalah langkah-langkah yang terlibat:
Fail robots.txt yang biasa akan mempunyai elemen berikut:
Berikut ialah rupa fail robots.txt yang ringkas.
Kod ini bermaksud bahawa ejen pengguna — Googlebot dalam hal ini — tidak dibenarkan merayapi sebarang URL yang bermula dengan " http://www.example.com/nogooglebot/ ".
Kami cadangkan anda mendapatkan bantuan pakar jika anda tidak selesa mencipta dan memuat naik fail robots.txt sendiri.
Bot perayapan tiba di tapak dengan peruntukan umum tentang berapa banyak halaman yang akan dirayapinya. Peta tapak XML secara berkesan mengarahkan bot untuk membaca URL yang dipilih, memastikan penggunaan bajet tersebut dengan berkesan.
Ambil perhatian bahawa prestasi kedudukan halaman bergantung kepada beberapa faktor termasuk kualiti kandungan dan pautan dalaman/luaran. Pertimbangkan untuk memasukkan hanya halaman peringkat teratas dalam peta. Imej boleh diperuntukkan peta laman XML mereka sendiri.
Ikuti cadangan ini untuk memastikan pelaksanaan peta laman XML yang optimum:
Untuk maklumat lanjut tentang peta laman, rujuk modul khusus kami mengenai topik ini .
Pautan dalaman melaksanakan tiga fungsi penting:
Oleh itu, untuk perayapan yang cekap, adalah penting untuk melaksanakan strategi pautan dalaman yang cekap. Untuk maklumat lanjut tentang pautan dalaman, rujuk modul kursus terperinci kami di sini.
Jika sesebuah laman web berjalan pada platform pengehosan kongsi, bajet perayapan akan dikongsi dengan laman web lain yang berjalan pada platform tersebut. Penerbit besar mungkin mendapati pengehosan bebas sebagai alternatif yang berharga.
Sebelum menaik taraf hosting anda untuk menyelesaikan beban trafik bot, terdapat beberapa faktor yang perlu dipertimbangkan yang mungkin memberi kesan kepada beban pelayan.
Untuk maklumat lanjut tentang kelebihan CDN, lihat modul pengalaman halaman .
Apabila Googlebot tiba di halaman web, ia akan memaparkan semua aset pada halaman tersebut, termasuk Javascript. Walaupun HTML yang dirayapi agak mudah, Googlebot mesti memproses Javascript beberapa kali untuk dapat memaparkannya dan memahami kandungannya.
Ini boleh menguras bajet perayapan Google untuk sesebuah laman web dengan cepat. Penyelesaiannya adalah dengan melaksanakan pemaparan Javascript di bahagian pelayan.
Cara Melakukannya
Menangani Javascript dalam kod sumber laman web anda memerlukan kepakaran pengekodan dan kami mengesyorkan agar anda berunding dengan pembangun web jika anda bercadang untuk membuat sebarang perubahan sedemikian. Walau bagaimanapun, berikut ialah beberapa garis panduan tentang perkara yang perlu dicari apabila cuba mengoptimumkan penggunaan Javascript.
CWV ialah ukuran prestasi halaman yang secara langsung mempengaruhi prestasi halaman anda dalam kedudukan carian.
Laporan CWV GSC mengumpulkan prestasi URL di bawah tiga kategori:
CWV juga boleh memberi kesan kepada bajet perayapan anda. Contohnya, halaman yang dimuatkan perlahan boleh memakan bajet perayapan anda kerana Google mempunyai masa yang terhad untuk tugas perayapan. Jika halaman anda dimuatkan dengan pantas, Google boleh merangkak lebih banyak daripadanya dalam masa yang terhad. Begitu juga, terlalu banyak laporan status ralat boleh memperlahankan perayapan dan membazirkan bajet perayapan anda.
Untuk pemeriksaan CWV yang lebih teliti, lihat pengalaman modul di halaman .
Crawler pihak ketiga seperti Semrush , Sitechecker.pro atau Screaming Frog membolehkan pembangun web mengaudit semua URL tapak dan mengenal pasti potensi isu.
Perayap pihak ketiga boleh digunakan untuk mengenal pasti:
Program-program ini menawarkan laporan statistik perayapan untuk membantu mengetengahkan masalah yang mungkin tidak dapat dikesan oleh alatan Google sendiri.
Memperbaiki data berstruktur dan mengurangkan isu kebersihan akan memperkemas tugas Googlebot dalam merayapi dan mengindeks laman web.
Kami mengesyorkan amalan terbaik berikut apabila menggunakan perayap pihak ketiga:
Parameter URL — bahagian alamat web yang mengikuti "?" — digunakan pada halaman atas pelbagai sebab, termasuk penapisan, penomboran halaman dan carian.
Walaupun ini boleh meningkatkan pengalaman pengguna, ia juga boleh menyebabkan masalah perayapan apabila kedua-dua URL asas dan URL yang mempunyai parameter mengembalikan kandungan yang sama. Contohnya ialah “http://mysite.com” dan “http://mysite.com?id=3” yang mengembalikan halaman yang sama.
Parameter membolehkan sesebuah laman web mempunyai bilangan pautan yang hampir tidak terhad — seperti apabila pengguna boleh memilih hari, bulan dan tahun pada kalendar. Jika bot dibenarkan merayapi halaman ini, bajet perayapan akan digunakan tanpa perlu.
Ini terutamanya boleh menjadi isu yang perlu dibimbangkan jika laman web anda menggunakan navigasi berfase atau pengecam sesi yang boleh menghasilkan berbilang halaman pendua yang, jika dirayapi, boleh menyebabkan pembaziran bajet perayapan.
URL pendua juga boleh berlaku jika anda mempunyai versi setempat halaman web anda dalam bahasa yang berbeza dan kandungan pada halaman ini belum diterjemahkan.
Kami mengesyorkan perkara berikut untuk menangani perkara ini:
Begini caranya yang mudah<hreflang> kelihatan seperti dalam kod sumber anda:
https://examplesite.com/news/hreflang-tags”/ >
Ini memberitahu perayap bahawa URL yang dinyatakan ialah varian Sepanyol (Mexico) bagi URL utama dan ia tidak boleh dianggap sebagai pendua.
Kita telah membincangkan perkara-perkara penting dalam pengurusan bajet rabaan. Petunjuk yang disenaraikan dalam bahagian ini, walaupun tidak penting untuk pengurusan bajet rabaan yang sihat, banyak membantu dalam menambah teknik yang dibincangkan sebelum ini.
Kecemasan perayapan berlaku apabila Googlebot membanjiri laman web anda dengan lebih banyak permintaan perayapan daripada yang dapat dikendalikannya. Adalah penting untuk mengenal pasti isu tersebut secepat mungkin, yang boleh dilakukan dengan memantau log pelayan dan statistik perayapan dengan teliti dalam Google Search Console.
Jika lonjakan perayapan secara tiba-tiba tidak diuruskan tepat pada masanya, ia boleh menyebabkan pelayan menjadi perlahan. Kelembapan pelayan akan meningkatkan purata masa tindak balas untuk perayap dan, akibat daripada masa tindak balas yang tinggi ini, enjin carian akan mengurangkan kadar perayapan mereka secara automatik. Ini menimbulkan masalah kerana kadar perayapan yang berkurangan akan menyebabkan kehilangan keterlihatan, dengan artikel baharu tidak dirayapi serta-merta.
Jika anda perasan perayapan berlebihan membebankan pelayan anda, berikut beberapa perkara yang boleh anda lakukan:
Google mempunyai algoritma canggih yang mengawal kadar perayapan. Jadi, idealnya, seseorang tidak seharusnya mengusik kadar perayapan. Walau bagaimanapun, dalam situasi kecemasan, anda boleh log masuk ke akaun GSC anda dan menavigasi ke Tetapan Kadar Perayapan untuk hartanah anda.
Jika anda melihat kadar perayapan di sana sebagai Dikira Sebagai Optimum, anda tidak akan dapat mengubahnya secara manual. Permintaan khas perlu difailkan dengan Google untuk mengubah kadar perayapan.
Jika ini tidak berlaku, anda boleh mengubah kadar perayapan sendiri kepada nilai yang anda inginkan. Nilai ini akan kekal sah selama 90 hari.
Jika anda tidak mahu mengganggu kadar perayapan dalam GSC, anda juga boleh menyekat akses ke halaman tersebut oleh Googlebot menggunakan robots.txt. Prosedur untuk melakukan ini telah dijelaskan sebelum ini.
Google boleh mengambil masa sehingga tiga hari untuk merayapi kebanyakan laman web. Satu-satunya pengecualian ialah laman berita atau laman web lain yang menerbitkan kandungan sensitif masa yang mungkin dirayapi setiap hari.
Untuk menyemak kekerapan halaman anda dirayapi, pantau log tapak anda. Jika anda masih merasakan kandungan anda tidak dirayapi sekerap yang sepatutnya, ikuti langkah berikut:
https://www.google.com/ping?sitemap=FULL_URL_OF_SITEMAP
Sila ambil perhatian: Langkah ini harus dilihat sebagai tindakan terakhir yang perlu diambil oleh sesiapa sahaja kerana ia membawa risiko tertentu. Jika Googlebot melihat ralat 503 dan 429, ia akan mula merangkak dengan lebih perlahan dan mungkin menghentikan perayapan, yang membawa kepada penurunan sementara dalam bilangan halaman yang diindeks.
Kod ralat 503 bermaksud pelayan tergendala buat sementara waktu, manakala 429 bermaksud pengguna telah menghantar terlalu banyak permintaan dalam tempoh masa tertentu. Kod ini memberitahu Googlebot bahawa masalahnya hanyalah sementara dan ia sepatutnya kembali merangkak halaman tersebut pada masa akan datang.
Walaupun langkah ini kelihatan kecil, ini penting kerana jika Googlebot tidak mengetahui sifat masalah yang dialami oleh halaman web, ia menganggap masalah itu bersifat jangka panjang dan mungkin menandakan halaman tersebut sebagai tidak responsif, yang boleh menjejaskan SEO.
Penciptaan kod ralat 503 dilakukan melalui fail PHP, yang dimasukkan ke dalam kod sumber HTML sedia ada halaman anda bersama-sama dengan mesej ralat. Anda juga perlu menulis beberapa baris kod HTML tambahan yang menyatakan bila laman web tersebut dijangka akan kembali.
Beginilah rupa kod untuk pengalihan 503:
Melakukan pengalihan 503 atau 429 memerlukan kemahiran pengekodan HTML lanjutan dan kami cadangkan anda berunding dengan pembangun web anda sebelum mencubanya.
Kini kita mempunyai pemahaman yang baik tentang apa itu bajet perayapan dan cara mengoptimumkannya. Walau bagaimanapun, mengetahui apa yang tidak boleh dilakukan berkaitan dengan bajet perayapan adalah sama pentingnya.
Berikut adalah beberapa perangkap biasa yang perlu dielakkan bagi memastikan anda memanfaatkan sepenuhnya bajet perayapan laman web anda:
Kekerapan Google merayapi laman web anda ditentukan oleh algoritmanya, yang mengambil kira beberapa isyarat untuk mencapai frekuensi perayapan yang optimum.
Meningkatkan kadar perayapan tidak semestinya membawa kepada kedudukan yang lebih baik dalam hasil carian. Kekerapan perayapan atau perayapan itu sendiri bukanlah faktor kedudukan.
Google tidak semestinya lebih menyukai kandungan yang lebih segar berbanding kandungan yang lebih lama. Google menilai halaman berdasarkan kerelevanan dan kualiti kandungan tanpa mengira sama ada ia lama atau baharu. Jadi, tidak perlu terus merayapinya.
Arahan kelewatan perayapan tidak membantu mengawal Googlebot. Jika anda ingin memperlahankan kekerapan perayapan sebagai tindak balas kepada perayapan berlebihan yang membanjiri laman web anda, rujuk arahan yang diberikan dalam bahagian di atas.
Kelajuan pemuatan laman web anda boleh mempengaruhi bajet perayapan anda. Halaman pemuatan yang pantas bermakna Google boleh mengakses lebih banyak maklumat melalui bilangan sambungan yang sama.
Untuk petua tentang pengoptimuman kelajuan pemuatan, lihat pengalaman modul di halaman .
Pautan nofollow mungkin masih akan menjejaskan bajet perayapan anda kerana pautan ini mungkin masih akan dirayapi. Sebaliknya, pautan yang tidak dibenarkan oleh robots.txt tidak memberi kesan pada bajet perayapan.
Selain itu, URL alternatif dan kandungan Javascript mungkin akan dirayapi, menghabiskan bajet perayapan anda, jadi penting untuk menyekat akses kepada URL tersebut sama ada dengan mengalih keluarnya atau menggunakan robots.txt.
Bajet perayapan merupakan sumber yang berharga dan penting untuk anda mengoptimumkannya. Isu perayapan dan pengindeksan boleh menjejaskan prestasi kandungan anda, terutamanya jika laman web anda mempunyai bilangan halaman yang banyak.
Dua operasi paling asas yang terlibat dalam mengoptimumkan bajet perayapan adalah memastikan peta laman anda dikemas kini dan memantau isu pengindeksan secara berkala daripada laporan statistik perayapan dan fail log GSC.
Adalah penting untuk mempelajari cara menggunakan amalan terbaik pengurusan perayapan semasa pelancaran ciri laman web baharu dan juga apabila ralat sekali sahaja berlaku.
