今日看点

用Python实现《沉默的真相》3万+弹幕情感分析!简单!

发表于话题:沉默的真相解析
发布时间:2021-06-09

以前我写过不少文本数据分析,比如《八佰》影评分析、《三十而已》热评分析等,但基本停留在可视化分析层面。本文将运用文本挖掘技术,对最近热播剧《沉默的真相》弹幕数据进行深入分析,希望对大家有一定的启发。

本文数据分析思路及步骤如下图所示,阅读本文需要10min,您可在「菜J学Python」公众号后台回复

文本挖掘获取弹幕数据进行测试。

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

一、数据获取

如果您对弹幕数据采集感兴趣,可查看J哥往期原创文章「弹幕爬虫,看这一篇就够了!」,本文仅提供核心代码:

from xml.dom.minidom import parse

import xml.dom.minidom

def xml_parse(file_name):

    DOMTree = xml.dom.minidom.parse(file_name)

    collection = DOMTree.documentElement

    # 在集合中获取所有entry数据

    entrys = collection.getElementsByTagName("entry")

    print(entrys)

    result = []

    for entry in entrys:

        content = entry.getElementsByTagName('content')[0]

        print(content.childNodes[0].data)

        i = content.childNodes[0].data

        name = entry.getElementsByTagName('name')[0]

        print(name.childNodes[0].data)

        j = name.childNodes[0].data

        dd = [j,i]

        result.append(dd)

        print(result)

    return result

二、数据清洗

1.导入数据分析库

#数据处理库

import numpy as np

import pandas as pd

import glob

import re

import jieba

#可视化库

import stylecloud

import matplotlib.pyplot as plt

import seaborn as sns

%matplotlib inline

from pyecharts.charts import *

from pyecharts import options as opts

from pyecharts.globals import ThemeType 

from IPython.display import Image

#文本挖掘库

from snownlp import SnowNLP

from gensim import corpora,models

2.合并弹幕数据

《沉默的真相》共12集,分集爬取,共生成12个csv格式的弹幕数据文件,保存在danmu文件夹中。通过glob方法遍历所有文件,读取数据并追加保存到danmu_all文件中。

csv_list = glob.glob('/菜J学Python/danmu/*.csv')

print('共发现%s个CSV文件'% len(csv_list))

print('正在处理............')

for i in csv_list:

    fr = open(i,'r').read()

    with open('danmu_all.csv','a') as f:

        f.write(fr)

print('合并完毕!')

3.重复值、缺失值等处理

#error_bad_lines参数可忽略异常行

df = pd.read_csv("./danmu_all.csv",header=None,error_bad_lines=False)

df = df.iloc[:,[1,2]] #选择用户名和弹幕内容列

df = df.drop_duplicates() #删除重复行

df = df.dropna() #删除存在缺失值的行

df.columns = ["user","danmu"] #对字段进行命名

df

清洗后数据如下所示:

4.机械压缩去重

机械压缩去重即数据句内的去重,我们发现弹幕内容存在例如"啊啊啊啊啊"这种数据,而实际做情感分析时,只需要一个“啊”即可。

#定义机械压缩去重函数

def yasuo(st):

    for i in range(1,int(len(st)/2)+1):

        for j in range(len(st)):

            if st[j:j+i] == st[j+i:j+2*i]:

                k = j + i

                while st[k:k+i] == st[k+i:k+2*i] and k=4]

df = df.dropna()

三、数据可视化

数据可视化分析部分代码本公众号往期原创文章已多次提及,本文不做赘述。从可视化图表来看,网友对《沉默的真相》还是相当认可的,尤其对白宇塑造的正义形象江阳,提及频率远高于其他角色。

1.整体弹幕词云

2.主演提及

四、文本挖掘(NLP)

1.情感分析

情感分析是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同,可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中,前者多用于舆情监控和信息预测,后者可帮助用户了解某一产品在大众心目中的口碑。目前常见的情感极性分析方法主要是两种:基于情感词典的方法和基于机器学习的方法。

本文主要运用Python的第三方库SnowNLP对弹幕内容进行情感分析,使用方法很简单,计算出的情感score表示语义积极的概率,越接近0情感表现越消极,越接近1情感表现越积极。

df['score'] = df["danmu"].apply(lambda x:SnowNLP(x).sentiments)

df.sample(10) #随机筛选10个弹幕样本数据

12

(1)整体情感倾向

plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置加载的字体名

plt.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题

plt.figure(figsize=(12, 6)) #设置画布大小

rate = df['score']

ax = sns.distplot(rate,

            hist_kws={'color':'green','label':'直方图'},

            kde_kws={'color':'red','label':'密度曲线'},

            bins=20) #参数color样式为salmon,bins参数设定数据片段的数量

ax.set_title("弹幕整体情感倾向  绘图:「菜J学Python」公众号")

plt.show

12345678910

(2)观众对主演的情感倾向

mapping = {'jiangyang':'白宇|江阳', 'yanliang':'廖凡|严良', 'zhangchao':'宁理|张超','lijing':'谭卓|李静', 'wengmeixiang':'李嘉欣|翁美香'}

for key, value in mapping.items():

    df[key] = df['danmu'].str.contains(value)

average_value = pd.Series({key: df.loc[df[key], 'score'].mean() for key in mapping.keys()})

print(average_value.sort_values())

12345

由各主要角色情感得分均值可知,观众对他们都表现出积极的情感。翁美香和李静的情感得分均值相对高一些,难道是男性观众偏多?江阳的情感倾向相对较低,可能是观众对作为正义化身的他惨遭各种不公而鸣不平吧。

2.主题分析

这里的主题分析主要是将弹幕情感得分划分为两类,分别为积极类(得分在0.8以上)和消极类(得分在0.3以下),然后再在各类里分别细分出5个主题,有助于挖掘出观众情感产生的原因。

首先,筛选出两大类分别进行分词。

#分词

data1 = df['danmu'][df["score"]>=0.8]

data2 = df['danmu'][df["score"]

标签组:[python] [情感分析] [danmu

本文来源:https://www.kandian5.com/articles/30348.html

相关阅读

曹无伤左司马职务解析:汉朝中央官制中的重要角色

在中国古代历史的长河中,汉朝以其完备的官制和繁荣的文化著称于世。其中,左司马这一职务在汉朝中央官制中占据着重要的地位。而曹无伤,作为秦汉之际刘邦麾下的一位将领,就曾担任过左司马这一职务。 一、汉朝中...

2025-04-03

汉明帝刘庄并未被杀:一位英明君主的传奇一生

在中国历史上,汉明帝刘庄是一位备受赞誉的君主。然而,关于“汉明帝刘庄为什么被杀”的疑问,实际上是一个基于误解的问题。根据真实的历史资料,汉明帝刘庄并未被杀,他是一位在位期间政治清明、经济繁荣、文化昌盛...

2025-04-03

三国第一毒士之争:李儒与贾诩的较量

在三国时期,谋士辈出,他们以其卓越的智谋和深邃的算计,在历史的舞台上留下了浓墨重彩的一笔。其中,李儒与贾诩两位谋士,因其毒辣的手段和深沉的心机,被后人并称为“三国第一毒士”。然而,关于这一称号究竟应归...

2025-04-03

孙恩与孙权:血缘关系的探寻

在中国历史上,孙恩与孙权都是极具影响力的人物。他们分别活跃在不同的历史时期,各自在各自的时代留下了深刻的印记。然而,近年来,关于孙恩是否是孙权后代的问题,引起了人们的广泛关注和讨论。 一、孙恩与孙权...

2025-04-03

澶渊惊雷:寇准力挽狂澜的孤勇与智慧

公元1004年的深秋,北风裹挟着辽军铁蹄的震颤,黄河岸边的澶州城笼罩在战争的阴云之下。北宋朝廷内,主和派大臣们如惊弓之鸟,或主张南迁金陵,或建议西逃蜀地。在这历史抉择的十字路口,一位目光如炬的政治家挺...

2025-04-03

杜甫的代表作:千年传颂的文学瑰宝

在中国古代文学的璀璨星河中,杜甫无疑是最耀眼的星辰之一。作为唐代伟大的现实主义诗人,杜甫以其深沉的情感、卓越的艺术成就和广泛的社会关怀,被后世尊称为“诗圣”。他的代表作不仅在当时广为流传,历经千年仍被...

2025-04-03

寒门诗魂:鲍照诗歌的刚健风骨与形式突围

在南朝绮靡文风中,鲍照如同一把淬火而出的利剑,以寒门之躯劈开时代的脂粉气。他的诗歌既是对门阀制度的血性呐喊,更是中国古典诗歌美学的一次惊险飞跃。这位被杜甫赞为"俊逸鲍参军"的诗人,用充满棱角的文字构建...

2025-04-03

盛彦师之死:李渊的权谋棋局与功臣末路

在唐朝开国功臣的星空中,盛彦师的名字曾如流星般划过,留下短暂而耀眼的光芒。他斩李密、平王世充、拒降徐圆朗,以骁勇善战著称,最终却落得被唐高祖李渊赐死的结局。这场看似悖理的历史悲剧,实则暗含李渊巩固皇权...

2025-04-03

唐朝统一战争:十年烽火铸就大一统伟业

唐朝,作为中国历史上最为辉煌灿烂的王朝之一,其统一之路却并非一帆风顺。在隋末天下大乱、群雄并起的背景下,唐高祖李渊于公元618年建立唐朝,但此时的新王朝仅占据关中、河东一隅,天下仍处于四分五裂之中。为...

2025-04-03

刘唐:梁山泊中的赤发鬼杰

在《水浒传》这部描绘北宋末年农民起义的鸿篇巨制中,刘唐以其独特的形象和鲜明的性格,成为了梁山泊一百零八将中不可忽视的一员。他绰号“赤发鬼”,紫黑阔脸,鬓边一搭朱砂记,上生一片黑黄毛,形象威猛而独特。那...

2025-04-03