本章主要内容是主要是通过pandas模块来进行数据分析。(注:文章只是对天池入门赛课件的学习)
一、学习目标
1、学习使用pandas读取赛题规律
2、分布赛题数据的分布规律
二、数据读取
使用pandas直接读取数据,
import pandas as pd# 读取数据train_df = pd.read_csv('D:/py_project/天池/data/train_set.csv', sep='t')train_df.head()
第一列为数据的label值,第二列为新闻的内容。
三、数据分析
3.1、目标
1)赛题数据中,新闻文本的长度是多少?
2)类别分布是什么样的?什么类别占比比较多
3)字符分布是什么样的?
3.2、句子长度分析
赛题数据中,每行句子的字符使用空格隔开,所以可以通过直接统计单词的个数来得到每个句子的长度。
train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))print(train_df['text_len'].describe())
从图中的统计可以看出,20万条数据的平均长度为907字符,最长的句子为57921字符,最短的只有2字符,长度差别较大。
所以我们导入matplot库来看句子长度的分布,
import matplotlib.pyplot as plt_ = plt.hist(train_df['text_len'], bins=200)plt.xlabel('Text char count')plt.title("Histogram of char count")
从分布图可以看出,句子长度主要分布在20000以下
3.3、类别分布统计
现在统计各类新闻的类别数量,首先做出类别分布图,
_ = plt.hist(train_df['text_len'], bins=200)plt.xlabel('Text char count')plt.title("Histogram of char count")
在数据集中标签的对应的关系如下:{'科技': 0, '股票': 1, '体育': 2, '娱乐': 3, '时政': 4, '社会': 5, '教育': 6, '财经': 7, '家居': 8, '游戏': 9, '房产': 10, '时尚': 11, '彩票': 12, '星座': 13}
从直方图看出,标签分布不均匀,科技类型新闻最多。
3.4、字符分布统计
我们可以通过collections库中的Counter函数来统计词频,
from collections import Counterall_lines = ' '.join(list(train_df['text']))word_count = Counter(all_lines.split(" "))word_count = sorted(word_count.items(), key=lambda d:d[1], reverse=True)print(len(word_count))print(word_count[0])print(word_count[-1])
从统计结果可以看出,总共有6869个字符,其中'3750'这个字符出现最多,有7482224次,而'3133'这个字符出现最少,只有1次。
下面代码统计了不同字符在句子中出现的次数,其中字符3750,字符900和字符648在20w新闻的覆盖率接近99%,很有可能是标点符号。
train_df['text_unique'] = train_df['text'].apply(lambda x: ' '.join(list(set(x.split(' ')))))all_lines = ' '.join(list(train_df['text_unique']))word_count = Counter(all_lines.split(" "))word_count = sorted(word_count.items(), key=lambda d:int(d[1]), reverse = True)print(word_count[0])print(word_count[1])print(word_count[2])
四、结论
通过上述分析过程,我们可以得出结论:
赛题中每个新闻包含的字符个数平均为1000个,还有一些新闻字符较长;赛题中新闻类别分布不均匀,科技类新闻样本量接近4w,星座类新闻样本量不到1k;赛题总共包括7000-8000个字符;每个新闻平均字符个数较多,可能需要截断;由于类别不均衡,会严重影响模型的精度;