Python爬取2万条微博热搜，带你揭开热搜趋势！

作者：徐麟，某互联网公司数据分析狮

我们此次通过爬取2019年2W+条热搜数据，包括内容以及搜索指数，为大家揭开微博热搜2019的诸多秘密，一起利用数据“硬核吃瓜”，包括：2019微博热搜最大的瓜，微博程序员集体加班的日子，微博热搜的常客，热搜里的2019互联网……

获取数据来源

我们此次并没有直接去爬取微博的原始数据，而是从一个专门记录微博热搜历史数据的网站获取，网站界面如下： 通过网站的数据接口，我们获取到了今年1月1日至今的2W多条数据，爬取代码如下：

resou = pd.DataFrame(columns=['date','title','searchCount','rank'])
resou_date = getBetweenDay('2019/01/01','2019/07/12')
for i in resou_date:
     print(i)
     url= 'https://www.enlightent.cn/research/top/getWeiboHotSearchDayAggs.do?date={}'.format(str(i))
     html = requests.get(url=url, cookies=cookie, headers=header).content
     data = json.loads(html.decode('utf-8'))
    for j in range(100):
         resou = resou.append({'date':i,'title':data[j]['keyword'],
        'searchCount':data[j]['searchCount'],'rank':j+1},ignore_index=True)

最终获取到的吃瓜数据如下： 有了前面的瓜源获取过程，我们获取到了2W+吃瓜数据，下面就可以开始利用这些数据愉快地开始我们的吃瓜之旅

2019微博热搜最火事件

说到吃瓜，大家首先关注的一定是那些最大的瓜，要吃就吃最大的瓜也是广大吃瓜群众所遵从的基本原则，我们通过对比热搜数据的搜索指数，选取出了15个最大的瓜，数据如下：

2019最让微博程序员抓狂的日子

为何“今天到底是什么日子”这种看似没有任何营养的内容，都会有那么高的搜索指数。为了回答这个问题，我们统计了2019年每天的TOP100热搜话题平均指数，并绘制了日历热度图： 可以看到6月27日的指数远高于其他天数，而且基本上是其他时间的两到三倍，这一天就是“今天到底是什么日子”这个话题的诞生之日，并且这一天微博服务器毫无疑问地“应声倒地”，我想这一定是让微博程序员怀疑人生的日子

下面我们就来具体看看，这一天到底发生了些什么： 看到这份榜单，我们仿佛看到了程序员们6月27日的绝望。宋慧乔&宋仲基离婚这个巨型瓜的出现，程序员们还可以用自己的信念支撑着服务器不要崩溃，然而正当程序员们以为稳操胜券的时候，范冰冰&李晨分手这个更加巨大的瓜出现了，我想程序员们内心一定是这样的：

2019最勤劳的瓜生产商

前面提到了6月27日是微博程序员最为抓狂的日子，那么又有那些生产商为广大吃瓜群众源源不断地创造吃瓜素材呢，我们也统计了相关数据，想必这些生产商也是广大程序员们最怕的人： 榜单中易烊千玺以80次的出现次数荣登榜首，也就是说平均每两天他就会为广大群众生产一次“吃瓜素材”，也是非常地勤劳，想到作者一个月一篇原创的节奏，默默留下了悔恨的泪水。周董也在榜单中以78次的数据位居次席，毕竟周董是一代人的青春记忆，大家也都在时刻关注着周董。

或许大家会认为榜单都被娱乐圈所霸占，没啥新意之时，东哥站了出来，成为荣登本榜单的唯一互联网人士，不过个人还是希望今后不要在榜单中再看到东哥的身影，毕竟老话说得好“no news is good news”。

那些专属热搜的词语

如同“*，是怎样的体验”这样的知乎体，“震惊！”这样的uc体，热搜也有一些比较常出现，能代表热搜独特气质的词语，我们从中选取了一些比较有代表的词语并统计其出现次数 华为在榜单中出现了86次，也印证了大家在上半年对于华为的关注度，未来也希望有更多类似于“华为**系统上线”这样振奋人心的消息出现在热搜中。

同时在小编看来否认，道歉，心疼这三个词是非常有特色的热搜词语，毕竟很难在其他的地方会时不时就看“心疼**”这种标题，我们针对于这三个词语制作了相应的词云：

否认版 道歉版 心疼版

完整代码

# -*- coding: utf-8 -*-
'''
更多Python学习资料以及源码教程资料，可以在群1136201545免费获取
'''
## 调用要使用的包
import json
import random
import requests
import time
import pandas as pd
import os
import jieba
from scipy.misc import imread  # 这是一个处理图像的函数
from wordcloud import WordCloud, ImageColorGenerator
import matplotlib.pyplot as plt
import datetime
from collections import Counter
os.chdir('D:/爬虫/微博热搜')
## 获得日期
def getBetweenDay(begin_date,end_date):
    date_list = []
    begin_date = datetime.datetime.strptime(begin_date, "%Y/%m/%d")
    end_date = datetime.datetime.strptime(end_date, "%Y/%m/%d")
    while begin_date