为什么要学习爬虫

学习目的以及需求

需求来自于：抓取的某个网站或者某个应用的内容，提取有用的价值

实现手段

模拟用户在浏览器或者应用(app)上的操作，实现自动化的程序

爬虫应用场景（利用爬虫能做什么？）

总结

  • 抢票神器
  • 投票神器
  • 预测（股市预测、票房预测）
  • 国民情感分析

  • 社交关系网络

    六度分隔(Six Degrees of Separation)现象(又称为“小世界现象”small world phenomenon)，可通俗地阐述为：“你和任何一个陌生人之间所间隔的人不会超过六个，也就是说，最多通过六个人你就能够认识任何一个陌生人。”

    一家德国报纸接受了一项挑战，要帮法兰克福的一位土耳其烤肉店老板，找到他和他最喜欢的影星马龙·白兰度(电影《教父1》主演)的关联。结果经过几个月，报社的员工发现，这两个人只经过不超过六个人的私交，就建立了人脉关系。原来烤肉店老板是伊拉克移民，有个朋友住在加州，刚好这个朋友的同事，是电影《这个男人有点色》的制作人的女儿在女生联谊会的结拜姐妹的男朋友，而马龙·白兰度主演了这部片子。

  • 政府部门舆情监控

    • 预警负面舆情，及时发现和处理企业的负面信息

    • 保持对事态的第一时间获知权，加强监测力度。

    • 舆论危机涉及的政府相关部门保持紧密沟通。

      “郭美美微博炫富”事件概况。2011年6月21日，新浪微博用户“郭美美Baby”备受网友关注，这个自爆“住大别墅，开玛莎拉蒂”的20岁女孩，而认证身份却是“中国红十字会商业总经理”，网友对其真实身份也猜测万分，更有网友认为她是中国红十字会副会长郭长江的女儿，由此引发网友对中国红十字会的热议

      负面舆情最大的危害就是对公司形象，舆情口碑造成不良影响，而其直接后果就是公司销售和竞争力的下降，严重者就像三鹿公司一样，直接导致一个品牌的消亡

      以上海为例，无论在涉日舆情、地铁调价，还是普陀城管打人等“网络热点舆情”处理上，各部门协同作战、相互配合、共同商议，判断危机走向，对预案进行适当修正和调整，以符合实际所需是危机应对的重要措。

...