天池有些长期比赛可以练习玩玩(还可以继续提交),于是试了下简单的新闻文本分类任务,Top1的解决方案思路是”预训练+fgm+交叉验证模型融合“,代码是基于bert4keras的,本人基于bert4torch复现了”fgm+交叉验证模型融合“部分(未复现预训练),默认参数下f1=0.9727,具体详细详细解决方案请参考原作者。
比赛链接:零基础入门NLP - 新闻文本分类Top1:天池新闻分类Rank1复现项目链接:bert4torch复现项目
复现指标
三个指标分别为作者提交,本人自己跑,bert4torch复现跑bert4torch框架介绍
bert4torch是一个基于pytorch的训练框架,前期以效仿和实现bert4keras的主要功能为主,特点是尽量简洁轻量,提供丰富示例,有兴趣的小伙伴可以试用,欢迎star。
bert4torch项目/Tongjilibo/bert4torch