头条搜索站长平台-sitemap异常原因解释

sitemap异常原因解释解决方法

爬虫被封禁可能是您的网站对Bytespider的UA或IP进行封禁建议您根据我们公布的UA和IP进行解封，第二天重新抓取之后会恢复正常

sitemap文件数据量过大可能是您的sitemap节点数量超过了5w个建议您拆分为几个小的sitemap文件

sitemap地址非法可能是您的sitemap地址不可访问或者存在xml和txt混合模式的数据建议您按照我们的要求提交sitemap地址

站点服务不可用我们请求您的网站3次后发现您的网站仍旧不可访问会暂时停止抓取，则返回该原因请您检查服务器是否可正常运转，如果正常，等正常调度后正常抓取

sitemap地址不存在可能是您的地址无法访问，返回404，我们获取不了任何信息请您排查sitemap地址链接，等正常调度后可恢复正常抓取

txt文件未发现有效链接可能是您的txt文件链接并非按照要求提供html链接请您按照我们的规范格式提交

xml文件数据量过大可能是您的xml文件大小超过10M，item数目超过1W个建议您拆分几个小的xml文件

推火专家头条搜索站长平台