• 赏花不用跑远 宗角禄康开得正艳 2019-04-18
  • 买了S400就禁售F35战机?土防长:美国这是勒索 2019-04-18
  • 精准发力形成合力 坚决完成对口援藏任务 2019-04-13
  • 端午临近,苏州河上53支龙舟竞渡 2019-04-13
  • 河北馆陶:端午节火了“艾旅游” 2019-04-12
  • 李钺锋:台盟是联结两岸同胞的桥梁 2019-04-12
  • 《一说到底》第195期:个税谣言背后的中产焦虑 2019-04-08
  • 身高没有达到标准就不能认证教师资格证吗? 2019-04-02
  • 山西省国家标准化综合改革试点工作方案》发布 2019-03-29
  • 中央环保督察组向江西移交1258件信访问题线索 2019-03-25
  • 滴滴计划恢复部分夜间时段订单 2019-03-16
  • 洞见不闹革命的文化批评 2019-03-16
  • 飞船就是我的恋人(中国道路中国梦) 2019-03-15
  • 苏州大学研究生支教团网上众筹资助留守儿童 2019-03-10
  • 如果不是因为足球 俄罗斯妖星或将成为一名矿工 2019-03-09
  • 快乐12开奖走势图四川 快乐12开奖走势图四川-玉竹体验网
    你现在的位置:快乐12开奖走势图四川 - 养生会所 - 秦皇岛网站建设:有效地管理您的Robots.txt文件
    01月06日

    四川快乐十二的走势图:秦皇岛网站建设:有效地管理您的Robots.txt文件

    作者 : 风月体验小编 | 分类 :快乐12开奖走势图四川-养生会所 | 超过 人围观 | 已有 0 人留下了看法

    快乐12开奖走势图四川 www.nfhxne.com     秦皇岛网站建设:有效地管理您的Robots.txt文件

        robots.txt文件已经成为最近的头条新闻了,上个月我们庆祝了它的20岁生日,Google网站管理员工具使用新的Robots.txt测试工具更新了"阻止的URL"部分,以帮助您了解他们发现的错误或警告你的robots.txt文件。

        对于一个经验丰富的搜索营销,robots.txt文件可能看起来像一个简单但基本的搜索引擎优化的元素。对于这个文件知之甚少,简单的robots.txt错误可能会阻止搜索引擎抓取您的网站。

        Robots.txt和为什么我们需要它

        robots.txt文件是搜索引擎的资源,用于了解他们不应该花费时间爬行的页面,网站部分或页面类型。虽然如果管理不当可能会对搜索引擎优化造成危险,但是告诉Google您的网站上有哪些非搜索索引关键内容,重复的内容以及您不希望抓取的内容会是一大优势。


        非常,非常小心

        虽然这是一个网站管理员的便利工具,但您必须了解如何使用它并测试robots.txt文件。有三种类型的robots.txt指令:

        页面级别

        不允许:/examplepage.html

        文件夹级别

        不允许:/ example-folder /

        通配符指令

        作为文件夹的子页面(Disallow:/ example-  folder / *)

        文件类型(Disallow:/*.pdf)

        常见的错误

        以下是应该避免的常见robots.txt错误。

        不允许: /

        启动一个网站,并将分段网站robots.txt带入生产网站,禁止整个网站进行爬网。

        禁止:/ images /

        不允许:/视频/

        禁止持有可索引内容的网站的文件夹,如站点图像或视频。您可能会首先看到Google搜索查询信息中图片展示次数的下降或不存在。

        不允许:/*.css

        不允许:/*.js

        禁止搜索引擎访问您的CSS和JavaScript文件位置。隐瞒来自搜索引擎的页面模板代码可以让你看起来粗略的机器人。

        不允许:/*.pdf

        不允许:/*.doc

        只是因为它不是一个HTML页面而禁止页面类型。嘿,我也讨厌PDF,但他们排名,并可以从搜索结果中启动对网站的访问。

        管理Robots.txt


        是的,Google在帮助您管理robots.txt文件方面做得更好。但是,让我们先看看Bing.

        抓取信息的Bing的网站站长工具部分显示了robots.txt排除的内容。这是非常好的,因为你可以看到从搜索引擎视图中排除的所有页面以及没有被搜索引擎考虑的链接权限??聪旅娴睦?,它显示了第一个被排除的页面有295个入站链接指向它。

        Bing网站管理员工具Robots.txt排除

        除了Bing网站管理员工具之外,您还可以查看SEMrush Beta Site Audit显示的内容,作为通过robots.txt排除的网址。


        SEMrush从爬行阻止

        另外,如果你想查看类似的数据,你可以使用另外一个工具。虽然SEMrush可以帮助您查看网站上的SEO问题和竞争情报,但Siteliner网站允许您查看robots.txt排除内容,同时深入了解现场内容重复问题。对此版本的一个警告是,虽然它显示了每个页面持有的入站链接权益,但它也提供了"页面权力"等级,换句话说,页面跨多个网站链接。

        Siteliner跳过页面


        最后,Google网站站长工具提供了Robots.txt测试器。其他工具将有助于您了解您隐藏的内容,但Google会帮助您向他们展示他们在文件中的错误。他们还帮助提供对提供的测试页面及其潜在排除的直接了解。

        Google网站站长工具robots.txt测试程序


        结论

        robots.txt正确使用可以帮助您搜索引擎与网站爬行。这并不意味着它会立即从搜索引擎中删除内容,比如noindex元标记,但是随着时间的推移,不再被抓取的网页将会从索引中跳出来。

        希望这篇文章能帮助你理解Google blinder,意识到还有其他的robots.txt工具。此外,我也希望你现在可以看到简单的robots.txt错误可以从内容中删除内容,并从视图链接公平。


    本文来自 快乐12开奖走势图四川 转载请注明;

    本文地址://www.nfhxne.com/post/677.html。

    ? 上一篇下一篇 ?
    640*60广告位

    发表评论

    必填

    选填

    选填

    必填,不填不让过哦,嘻嘻。

    记住我,下次回复时不用重新输入个人信息

    最近发表
    Tags列表
    网站分类
    站长推荐
    最新留言
    快乐12开奖走势图四川
  • 赏花不用跑远 宗角禄康开得正艳 2019-04-18
  • 买了S400就禁售F35战机?土防长:美国这是勒索 2019-04-18
  • 精准发力形成合力 坚决完成对口援藏任务 2019-04-13
  • 端午临近,苏州河上53支龙舟竞渡 2019-04-13
  • 河北馆陶:端午节火了“艾旅游” 2019-04-12
  • 李钺锋:台盟是联结两岸同胞的桥梁 2019-04-12
  • 《一说到底》第195期:个税谣言背后的中产焦虑 2019-04-08
  • 身高没有达到标准就不能认证教师资格证吗? 2019-04-02
  • 山西省国家标准化综合改革试点工作方案》发布 2019-03-29
  • 中央环保督察组向江西移交1258件信访问题线索 2019-03-25
  • 滴滴计划恢复部分夜间时段订单 2019-03-16
  • 洞见不闹革命的文化批评 2019-03-16
  • 飞船就是我的恋人(中国道路中国梦) 2019-03-15
  • 苏州大学研究生支教团网上众筹资助留守儿童 2019-03-10
  • 如果不是因为足球 俄罗斯妖星或将成为一名矿工 2019-03-09