搜索平台和搜索引擎，也就是对于seo行业比较简单的了解。如果想要大一个公司做大就一定要在公司网站的相关搜索引擎以及权重的提高上下功夫，这样的话客户在搜索一下关键词和需求的时候，就能够直接找到这个公司。对于我们企业的未来长远发展也非常得好。如果一个企业想要进行更多的发展，就一定要进行简单的一些搜索引擎设计。

　　robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。

　　robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。因此，机器人的优化将直接影响到搜索引擎对站点的收录。

　　只有在需要禁止抓取某些内容时，才写robots。一些服务器设置是问题：当机器人文件不存在时，它返回200个状态代码和一些错误消息，而不是404页面，这是因为搜索机器人误读了robots文件信息。robots meta标签主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样， robots meta标签也是放在页面的head>中，专门用来告诉搜索引擎机器人如何抓取该页的内容。 鑫宇网络坚持只做“有用的网站”和“有效果的网络营销”，追求商业策划与数据分析，帮助广大客户顺利对接上历次互联网浪潮，准确优选出符合自己需要的互联网运用，也为无数年轻人创造了职业和事业的成功故事，造就了中国互联网行业大量优秀职业经理人、创业者和品牌领军人物。