标签归档:爬行

别再傻傻分不清:爬行、抓取、索引、收录

看SEO有关博客和论坛时能感觉到,很多SEO并没有理解爬行、抓取、索引、收录这些概念到底指的是什么?区别在哪里?

noindex、nofollow、robots文件的功能又是什么?有什么作用?

如果对这些概念没有精准理解,在处理网站结构,决定什么页面需要被抓取,什么页面需要被索引,什么页面需要禁止抓取、索引等情况时,就无从下手,不知道怎么做了。

这么基本、重要,又比较容易混淆的SEO概念,今天我们就一起来学习一下。

继续阅读