Skip to content

提供北京工商大学(btbu)成绩、课表查询的web应用。 教务管理系统爬虫。Flask框架.网址

Notifications You must be signed in to change notification settings

Petelin/BTBU-Spider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

36 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

##微信公众平台ebtbu内接的查成绩、查课表。

使用:

  1. pip install -r requirements.txt
  2. python3 run.py done.

爬虫做的事

  1. 登录vpn,获得session,外网访问内网,需登录[北京工商大学vpn][1] VPN

  2. 登录教务处,验证码识别,由于是固定字符(10个左右),准确度可达100% jwc

  3. 构造请求,拿到结果,成绩、课表页面处理 result

  4. Flask [Web][2] 提供用户入口,随登录随爬取,不储存任何信息。

  5. 推荐一下fabric 在我项目里,可以一键更新代码,重启服务器,一键在服务器创建独立的测试页面。

难点

  1. 服务器是在外网,如何穿透内网。
  2. 学校网站万年不升级,只能用ie访问,所有手机都不能登录,错综复杂的跳转,重定向,比如登录之后,必须去访问另一个页面才算登陆成功、查成绩之前必须先去首页后的一串神奇的请求码。
  3. vpn 登录错误次数多了会封我们的ip,现在是做了两台机器,Nginx分发,暑假访问量大的时候临时从网上爬了一批ip代理,手动加了几个ip算是扛过去了(出成绩那天,在线人数300+,感觉真的是技术有用!!!)

未来

  1. 前端补补课,做个好看的课表和成绩展示页面。 -- 完成,BootStrap神器加身。
  2. 拓展一下ip代理,不要写死,搞个池子,随时能添加,想着是放redis里面。

感谢

有人start这个项目,好兴奋啊,花了很多时间在这上面,这绝对是对我的肯定。欢迎诸位和我多多交流。

离校,已经不维护了.

tip: 2018/7/19日亲测可用

About

提供北京工商大学(btbu)成绩、课表查询的web应用。 教务管理系统爬虫。Flask框架.网址

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages