blog.nadiamode.com

อีหอย!! เพิ่งจะมาอินเด็กซ์ (Index) สัปดาห์ที่ผ่านมากูเกิลไม่ยอมอินเด็กซ์บล็อกของเดี๊ยนเลย ทุกเว็บเลย อารมณ์เสียมาก เป็นช่วงที่กำลังมันส์กับคลิปแอบถ่ายโฟร์มดพอดีแต่ดันไม่ยอมอินเด็กซ์ให้ เซ็งมาก ก็ยังงว่าทำไมนางไม่ยอม Index ให้สักทีนึกอยู่ว่าเว็บมีปัญหาอะไรหรือเปล่า

เพราะก่อนหน้านั้นดันแพรแวดไปออฟติไมซ์เว็บ คือใจเราก็อยากทำให้มันเพอร์เฟ็คอ่ะน่ะ เลยว่าจะไปบล็อค Robot ไม่ให้เข้ามา Crawl โฟลเดอร์และ path ที่ไม่จำเป็น และป้องกันเรื่อง Duplicate Content ก็เลยไปใส่

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://blog.nadiamode.com/sitemap.xml

โดยเอามาจาก Wordpress กับที่ Askapache แล้วก็ไปแก้ Meta ที่ Header เรียกว่าสแหลนไป Optimize ทุกจุดหลังจากนั้นได้เรื่องเลยค่ะปกติพอโพสต์บล็อกปุ๊บ ไม่เกิน 5 นาที หรือช้าสุด 15 นาที จะต้องอินเด็กซ์แล้ว เสิร์ชชื่อเรื่องลงไปเจอบล็อกเดี๊ยนแน่นอน อันนี้เงียบเลยค่ะ รอไป 2 วันก็ยังเหมือนเดิม

แค่นี้ไม่พอ ดันสาระแนไป Resubmit Sitemap ใน Google Webmaster Tools ใหม่ เพราะเข้าใจว่า Sitemap อาจมีปัญหาเลยให้มันสร้าง Sitemap ใหม่ เพื่อที่จะเอาไปซับมิทใหม่ คราวนี้ได้เรื่อง แย่กว่าเดิม นางกูเกิลไม่ยอมอินเด็กซ์เว็บดิชั้นเลยจนมาถึงวันนี้ สรุปรวม ปาเข้าไป 4-5 วัน แล้วช่วง 4-5 วันที่ผ่านมาเดี๊ยนก็เล่นกับคลิปโฟร์มดอยู่ ทราฟฟิกเลยไม่มาเลย ต้องไปดึงจากยูทูบว์แทน พอกล้อมแกล้มให้หายคัน

กว่าที่จะรู้ตัวก็เกือบสายไป เพราะเพิ่งจะไปดูรายละเอียดในไฟล์ Robots.txt ที่เอามาจากเว็บของ Wordpress เอง มันมี

Disallow: /*?*
Disallow: /*?

อยู่ ซึ่งเห็นบางคนบอกว่าไม่สามารถใช้ *?* ได้หรือค่านี้มันใช้ไม่ได้แล้ว คือ Bot มันจะมองเป็น

Disallow: /

แทน ก็จะหมายความว่า เราไปบล็อค Bot ไม่ให้เข้าเว็บโดยไม่ได้ตั้งใจ แต่อันนี้ก็ไม่ชัวร์นะ เพราะความจริง *? มันบล็อคไม่ให้อ่านไฟล์ที่มีเครื่องหมาย ? เฉยๆ (พวก Dynamic File) ไม่รู้ว่าค่านี้มันยังใช้ได้หรือเปล่า แต่อย่างน้อยมันก็ต้องมีสาเหตุมาจากอะไรสักอย่างใน Robots.txt ไฟล์เนี่ยแหละ

นอกจากนั้นก็ไปยัด

<?php if(is_single() || is_page() || is_category() || is_home()) { ?>
  <meta name="robots" content="all,noodp" />
<?php } ?>
<?php if(is_archive()) { ?>
  <meta name="robots" content="noarchive,noodp" />
<?php } ?>
<?php if(is_search() || is_404()) { ?>
  <meta name="robots" content="noindex,noarchive" />
<?php } ?>

ไว้ที่หัวด้วย หวังจะให้ช่วยในตอนแรก แต่สรุปคือตอนนี้เอาออกหมดเลย ในไฟล์ Robots.txt ก็อนุญาตให้บอทเข้าได้หมดเหมือนเดิม แล้วก็รอมาจนถึงวันนี้มันก็ยอม Index ให้เร็วเหมือนเมื่อก่อนแล้ว คิดว่าคงมีสาเหตุมาจากไฟล์ Robots.txt เนี่ยแหละ แล้วก็การไป Resubmit Sitemap ด้วย เพราะ เราต้องซับมิท Sitemap แล้วใช้เวลาสักพักกว่ามันจะเริ่ม Index ให้

ตอนนี้ที่บล็อก nadiamode กับที่เว็บ Techible ก็เริ่มเข้าสู่ภาวะปกติคือเขียนปุ๊บ Index ปั๊บ ส่วนที่ Techkr ยังไม่เข้าที่ เพราะตอนนี้ยังใช้เวลามากว่า 5-8 ชั่วโมงกว่าจะยอม Index ทั้งๆ ที่เมื่อก่อนมันอินเด็กซ์ให้แป็บเดียว ไม่ถึง 10 นาที สงสัยต้องรอสักพักแถมเพิ่งจะได้ PR กลับคืนมาหลังจากโดนกูเกิลแบน PR ไป

นิทานเรื่องนี้สอนให้ว่าจูนเว็บมากไม่ใช่จะดีเสมอไป อีบล็อกของ Wordpress เองมันยังไม่บล็อคบอทใน Robots.txt เลย อีพวกเว็บที่มันสอนให้เราบล็อคบอทใน Robots.txt มันก็ยังไม่บล็อคของตัวเองเลย แห๊ม… มาสอนให้เราบล็อค แต่ตัวเองไม่ยอมบล็อคเอง ไม่เชื่อไปเปิดดูไฟล์ Robots.txt ของพวกมันสิ