今日看点

Python爬《沉默的真相》3万+弹幕,告诉你这剧到底“香”在哪?_print

发表于话题:沉默的真相解析
发布时间:2021-06-09

原标题:Python爬《沉默的真相》3万+弹幕,告诉你这剧到底“香”在哪?

文末扫海报二维码领【本文代码】

J哥 | 作者

菜J学Python | 来源

https://mp.weixin.qq.com/s/le-jsfCEZgfhfyeCwQPmEQ

本文运用文本挖掘技术,对最近热播剧《沉默的真相》3万+弹幕进行数据分析,希望对你有一定的启发。

本文数据分析思路及步骤如下图所示,阅读本文需要10min,你可添加小数获取弹幕数据进行测试。

1

数据获取

本文仅提供核心代码:

fromxml.dom.minidom importparse

importxml.dom.minidom

defxml_parse(file_name):

DOMTree = xml.dom.minidom.parse(file_name)

collection = DOMTree.documentElement

# 在集合中获取所有entry数据

entrys = collection.getElementsByTagName( "entry")

print(entrys)

result = []

forentry inentrys:

content = entry.getElementsByTagName( 'content')[ 0]

print(content.childNodes[ 0].data)

i = content.childNodes[ 0].data

name = entry.getElementsByTagName( 'name')[ 0]

print(name.childNodes[ 0].data)

j = name.childNodes[ 0].data

dd = [j,i]

result.append(dd)

print(result)

returnresult

2

数据清洗

1.导入数据分析库

#数据处理库

importnumpy asnp

importpandas aspd

importglob

importre

importjieba

#可视化库

importstylecloud

importmatplotlib.pyplot asplt

importseaborn assns

%matplotlib inline

frompyecharts.charts import*

frompyecharts importoptions asopts

frompyecharts.globals importThemeType

fromIPython.display importImage

#文本挖掘库

fromsnownlp importSnowNLP

fromgensim importcorpora,models

2.合并弹幕数据

《沉默的真相》共12集,分集爬取,共生成12个 csv格式的弹幕数据文件,保存在 danmu文件夹中。通过 glob方法遍历所有文件,读取数据并追加保存到 danmu_all文件中。

csv_list = glob. glob( '/菜J学Python/danmu/*.csv')

print( '共发现%s个CSV文件'% len(csv_list))

print( '正在处理............')

fori in csv_lis t:

fr = open(i, 'r'). read

with open( 'danmu_all.csv', 'a') asf:

f. write(fr)

print( '合并完毕!')

3.重复值、缺失值等处理

#error_bad_lines参数可忽略异常行

df = pd.read_csv( "./danmu_all.csv",header= None,error_bad_lines= False)

df = df.iloc[:,[ 1, 2]] #选择用户名和弹幕内容列

df = df.drop_duplicates #删除重复行

df = df.dropna #删除存在缺失值的行

df.columns = [ "user", "danmu"] #对字段进行命名

df

清洗后数据如下所示:

4.机械压缩去重

机械压缩去重即 数据句内的去重,我们发现弹幕内容存在例如"啊啊啊啊啊"这种数据,而实际做情感分析时,只需要一个“啊”即可。

#定义机械压缩去重函数

def yasuo( st):

fori in range( 1, int( len( st)/ 2)+ 1):

forjin range( len( st)):

ifst[ j: j+i] == st[ j+i: j+ 2*i]:

k= j+ i

whilest[ k: k+i] == st[ k+i: k+ 2*i] andk< len( st):

k= k+ i

st= st[: j] + st[ k:]

returnst

yasuo( st= "啊啊啊啊啊啊啊")

应用以上函数,对弹幕内容进行句内去重:

df[ "danmu"] = df[ "danmu"].apply(yasuo)

5.特殊字符过滤

另外,我们还发现有些弹幕内容包含 表情包、特殊符号等,这些脏数据也会对情感分析产生一定影响。

特殊字符直接通过正则表达式过滤, 匹配出中文内容即可。

df[ 'danmu'] = df[ 'danmu'].str.extract( r"([u4e00-u9fa5]+)")

df = df.dropna #纯表情直接删除

另外, 过短的弹幕内容一般很难看出情感倾向,可以将其一并过滤。

df= df[df[ "danmu"].apply(len)>= 4]

df= df.dropna

3

数据可视化

可视化图表来看,网友对《沉默的真相》还是相当认可的,尤其对白宇塑造的正义形象江阳,提及频率远高于其他角色。

1.整体弹幕词云

2.主演提及

4

文本挖掘(NLP)

1.情感分析

情感分析对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同,可分为基于 新闻评论的情感分析和基于 产品评论的情感分析。

其中,前者多用于 舆情监控和信息预测,后者可帮助用户 了解某一产品在大众心目中的口碑。目前常见的情感极性分析方法主要是两种:基于 情感词典的方法和基于 机器学习的方法。

本文主要运用Python的第三方库 SnowNLP对弹幕内容进行情感分析,使用方法很简单,计算出的情感score表示语义积极的概率, 越接近0情感表现越消极,越接近1情感表现越积极。

df[ 'score'] = df[ "danmu"].apply( lambdax:SnowNLP(x).sentiments)

df.sample( 10) #随机筛选10个弹幕样本数据

(1)整体情感倾向

plt.rcParams[ 'font.sans-serif'] = [ 'SimHei'] # 设置加载的字体名

plt.rcParams[ 'axes.unicode_minus'] = False# 解决保存图像是负号'-'显示为方块的问题

plt.figure(figsize=( 12, 6)) #设置画布大小

rate = df[ 'score']

ax = sns.distplot(rate,

hist_kws={ 'color': 'green', 'label': '直方图'},

kde_kws={ 'color': 'red', 'label': '密度曲线'},

bins= 20) #参数color样式为salmon,bins参数设定数据片段的数量

ax.set_title( "弹幕整体情感倾向 绘图:「菜J学Python」公众号")

plt.show

(2)观众对主演的情感倾向

mapping = { 'jiangyang': '白宇|江阳', 'yanliang': '廖凡|严良', 'zhangchao': '宁理|张超', 'lijing': '谭卓|李静', 'wengmeixiang': '李嘉欣|翁美香'}

forkey, value in mapping. items:

df[key] = df[ 'danmu'].str.contains(value)

average_value = pd.Series({key: df. loc[df[key], 'score'].mean forkey in mapping. keys})

print(average_value.sort_values)

由各 主要角色情感得分均值可知,观众对他们都表现出积极的情感。翁美香和李静的情感得分均值相对高一些,难道是男性观众偏多?江阳的情感倾向相对较低,可能是观众对作为正义化身的他惨遭各种不公而鸣不平吧。

2.主题分析

这里的主题分析主要是将弹幕情感得分划分为两类,分别为 积极类(得分在0.8以上)和 消极类(得分在0.3以下),然后再在各类里分别细分出5个主题,有助于挖掘出观众情感产生的原因。

首先, 筛选出两大类分别进行分词:

#分词

data1 = df[ 'danmu'][ df["score"]>=0.8]

data2 = df[ 'danmu'][ df["score"] < 0.3]

word_cut= lambdax:' ' .join( jieba.cut( x)) #以空格隔开

data1= data1.apply(word_cut)

data2= data2.apply(word_cut)

print( data1)

print(' ----------------------')

print( data2)

然后, 分别去除停用词:

#去除停用词

stop = pd.read_csv( "/菜J学Python/stop_words.txt",encoding= 'utf-8',header= None,sep= 'tipdm')

stop = [ ' ', ''] + list(stop[ 0])

#print(stop)

pos = pd.DataFrame(data1)

neg = pd.DataFrame(data2)

pos[ "danmu_1"] = pos[ "danmu"].apply( lambdas:s.split( ' '))

pos[ "danmu_pos"] = pos[ "danmu_1"].apply( lambdax:[i fori inx ifi.encode( 'utf-8') notinstop])

#print(pos["danmu_pos"])

neg[ "danmu_1"] = neg[ "danmu"].apply( lambdas:s.split( ' '))

neg[ "danmu_neg"] = neg[ "danmu_1"].apply( lambdax:[i fori inx ifi.encode( 'utf-8') notinstop])

接着, 对积极类弹幕进行主题分析:

#正面主题分析

pos_dict = corpora.Dictionary(pos[ "danmu_pos"]) #建立词典

#print(pos_dict)

pos_corpus = [pos_dict.doc2bow(i) fori inpos[ "danmu_pos"]] #建立语料库

pos_lda = models.LdaModel(pos_corpus,num_topics=5,id2word=pos_dict) #LDA模型训练

print( "正面主题分析:")

fori inrange(5):

print( 'topic',i+1)

print(pos_lda.print_topic(i)) #输出每个主题

print( '-'*50)

结果如下:

最后, 对消极类弹幕进行主题分析:

#负面主题分析

neg_dict = corpora.Dictionary(neg[ "danmu_neg"]) #建立词典

#print(neg_dict)

neg_corpus = [neg_dict.doc2bow(i) fori inneg[ "danmu_neg"]] #建立语料库

neg_lda = models.LdaModel(neg_corpus,num_topics=5,id2word=neg_dict) #LDA模型训练

print( "负面面主题分析:")

forj inrange(5):

print( 'topic',j+1)

print(neg_lda.print_topic(j)) #输出每个主题

print( '-'*50)

结果如下:

5

总结

本文较为系统的分析了 《沉默的的真相》3万+弹幕数据,但由于 snownlp对商品评论做文本挖掘更有效,您也可以尝试用 百度AI和腾讯AI进行情感分析,分析的结果可能更准确一些。

标签组:[python] [情感分析

本文来源:https://www.kandian5.com/articles/30378.html

相关阅读

男孩最好的属相排行榜

在中国传统的十二生肖中,每个生肖都有其独特的性格特点和命运走向。人们常常根据生肖来分析自己的性格、运势,甚至是人生的顺利与否。那么,在这十二个生肖中,哪些属相的男孩最为幸运、最有潜力、最具魅力呢?今天...

2025-04-07

倪妮解锁春日新造型 墨镜造型演绎别样文艺范

4月1日,倪妮工作室发布了一组春日造型图,ccd风格为倪妮打造出别样的迷人风采。倪妮佩戴墨镜甜酷。倪妮秀发蓬松。倪妮氛围感十足。倪妮五官立体。倪妮文艺感满满。倪妮笑容感染力强。倪妮表情耍酷。倪妮骨相完...

2025-04-07

汉成帝刘骜:汉元帝刘奭与王政君之子

在西汉王朝的历史长河中,汉成帝刘骜作为第十二位皇帝,其生平事迹充满了传奇色彩。他的身份,更是与西汉王朝的兴衰紧密相连。那么,汉成帝刘骜究竟是谁的儿子呢?让我们一同走进历史,探寻答案。 一、刘骜的出身...

2025-04-07

一辈子最有钱的生肖男

财富对于很多人来说是努力的成果,而对于一些人来说,似乎命运天生就偏爱他们,给了他们一生的好运与财富。而在十二生肖中,有些男孩天生就注定拥有无穷的财运,他们的命运轨迹似乎总能与财富紧密相连。那么,哪些生...

2025-04-07

男孩女孩着床成功后在孕42天有哪些不同的表现?

男孩女孩着床成功后在早孕反应、皮肤变化和胎动出现时间上都有不同,此外怀女孩的话,在前三个月都不是很喜欢吃鸡蛋和各种肉类,但喜欢吃水果,尤其是一些酸的水果,而怀男孩的话,孕妇对于肉和蛋都喜欢吃,对水果也...

2025-04-07

张骞出使西域:引进的不仅是物产,更是文化的交融

张骞,这位西汉时期的杰出外交家和探险家,以其非凡的勇气和坚定的信念,两度出使西域,不仅开拓了东西方交流的新纪元,更将西域的物产、文化引入中原,同时也将中原的文化、科技传播至远方。他的壮举不仅丰富了中国...

2025-04-07

让世界看到中国美 中央广播电视总台《中式上新夜》节目开播

中华传统服饰文化,是中华优秀传统文化的重要组成部分,每一种风格、图案、色彩都深深镌刻着特定的历史痕迹与文化意蕴。为了更好地向世界传播中国传统服饰文化的独特魅力,一档时尚文化类融媒体节目《中式上新夜》,...

2025-04-07

《我的世界大电影》今日上映 首映日预售冠军合家欢影片小长假必看

由美国传奇影业和美国华纳兄弟影片公司携手打造,根据全球畅销电子游戏创作的真人电影《我的世界大电影》今日正式上映。影片主演杰森·莫玛和杰克·布莱克问候中国观众,在线邀请大...

2025-04-07

三国奇人刘琰:从皇室宗亲到荒唐殒命的悲剧人生

在三国时期的蜀汉政坛上,有这样一位人物:他出身皇室宗亲,深得刘备器重;他位居高官显爵,却鲜有政治作为;他生活奢靡无度,最终因一件荒唐事而身败名裂。他就是蜀汉车骑将军刘琰,一个充满矛盾与悲剧色彩的历史人...

2025-04-07

女性怀孕初期一直胸胀疼是怀的男孩吗?

怀孕初期胸胀疼和怀男孩是没有任何关系的,其实孕后胸胀疼是很正常的生理表现,因为怀孕后女性体内性激素水平发生变化,从而引起胸胀疼的症状,但是这种对孕妇身体是没有任何影响的,所以建议孕期姐妹不要相信这些传...

2025-04-07