实战:驴妈妈SEO全自动内链系统Python版

SEO系统

SEO系统真的是只有你想不到，没有实现不了的，只要往正确的方向想SEO思路，可以延伸做出很多不同的SEO系统出来，就比如内链系统，内链对于SEO来说是相当重要的，不管是百度SEO，还是GOOGLE SEO，好的内链逻辑能一定程度上提升网站页面在SE上的排序，本渣渣最近也有在研究GOOGLE SEO，想要学习GOOGLE SEO的话，推荐大家先去看看谷歌SEO优化指南 - Search Engine Optimization (SEO) Starter Guide，没法添加链接，大家自行在谷歌上搜索即可，个人感觉好的内链系统对于GOOGLE SEO来说效果会更显著一些，有助于提升PageRank传递，百度SEO话，就不多说了，哈哈，继上一期分享了本渣渣在携程做的一套内链系统后，这一期给大家分享之前在驴妈妈负责度假的时候，利用Python Scrapy做的一套自动化内链系统，这两套SEO内链系统，百度，谷歌都适用。

屌的一批的Python

Python真的是太屌了，可以用来搞爬虫，爬取网上的内容，web开发，数据分析，自动化运维，人工智能，无所不能，Python在编程语言中也是连续三年夺冠了。

在SEO领域里，Python可以来实现哪些功能呢

• 搭建分析网站Log日志数据系统，监控分析各SE Spider的抓取情况，各频道类目的抓取情况，根据数据更好地调整利用Spider抓取资源
• 网站排名监控系统，监控自己网站及竞品关键词排名情况，当排名及流量异常时，可以分析原因，及时调整优化方案，内链等
• 网站页面收录系统，监控网站各频道类目的收录情况，根据数据调整Spider抓取路径
• 词库系统，用于挖掘，清洗，过滤，相关性计算，去重，入库
• 自动化内链系统，爬取SE搜索结果数据，利用SE相关性算法，推荐关键词描文本
• 推送数据系统，主要针对百度的主动推送，移动专区里的天级别，周级别数据推送
• 刷排名系统，模拟用户行为，点击搜索结果排名，提升排名

Python版自动化内链系统

前面扯了一堆，接下来进入正题，跟大家分享一下如何利用Python Scrapy来实现自动化内链系统，大致的思路是通过在百度上site:站点 关键词，这样的话百度搜索结果中就会出来很多与这个关键词比较相关的站内页面，然后把这些站内页面利用Python爬取下来，再在这些站内页面中添加个内链模块，调用显示该关键词，以驴妈妈为例，假设A关键词对应的URL为A1，在百度上site:lvmama.com A，这个时候会出来很多与A关键词比较相关的驴妈妈站内页面，然后将这些站内页面爬取下来，在这些页面上添加内链模块，推荐A关键词描文本，链接指向A1,其中涉及很多逻辑判断条件，像爬取的结果里如果有A关键词对应的A1链接话，就将此条链接从搜索结果中过滤掉，再建立关系，存储到数据库中，这些判断过滤条件，就不在此细说了，大致的流程是这样的。

要实现该内链系统，必然需要数据库，当时我规划了4张表，关键词表，爬取数据表，爬取URL关系表，关键词内链关系表，针对这些数据库表，然后我还做了一个内链系统后台，用于控制内链数据

• 关键词表，用于存储需要优化的目标关键词，字段为关键词，关键词分类，URL，排名，最多被推荐数，站内被推荐次数，搜索量，关键词在百度上被查询的次数
• 爬取数据表，用于存储爬取百度搜索结果中的标题和URL以及绑定对应的搜索关键词
• 爬取URL关系表，存储爬取来的搜索结果前10条相互推荐的关系表，用于前端显示相互推荐时调用
• 关键词内链关系表，存储爬取来的每条URL和搜索关键词建立的关系集合，用于URL前端页面内链模块调用关键词描文本集合

内链系统更新机制

本系统是通过爬取百度搜索结果数据，利用百度相关性算法来实现的自动化内链系统，该系统会每一个月更新一次数据，在百度上site，搜索结果数据以a+的形式存储到数据库中，调用显示在前端，然后还会以排名的好坏，调整关键词展现在前端的次数，排名不好，会多入口展现在前端，传递权重。

多多踩坑

一个新的系统在开发，测试，上线阶段，都会遇到各种各样的问题和坑，有服务器的，爬虫数据解析，逻辑问题，反爬虫问题等，通过和产品技术各种撕逼，所幸SEO内链系统上线了，上线后，效果还不错，在此过程，对自身做项目也是一种成长，不要怕坑，多多踩坑，对自身的思维也会有所成长。