700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > 中文分词及词性标注

中文分词及词性标注

时间:2021-03-23 22:15:18

相关推荐

中文分词及词性标注

支持中文分词(N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注),命名实体识别(中国人名、音译人名、日本人名、地名、实体机构名识别),关键词提取,自动摘要,短语提取,拼音转换,简繁转换,文本推荐,依存句法分析(MaxEnt依存句法分析、CRF依存句法分析)

TL;DR

启动服务

docker pull samurais/hanlp-api:1.0.0docker run -it --rm -p 3002:3000 samurais/hanlp-api:1.0.0

访问服务

中文分词

POST /tokenizer HTTP/1.1Host: localhost:3002Content-Type: application/json{"type": "nlp","content": "刘德华和张学友创作了很多流行歌曲"}

关键词提取

POST /keyword HTTP/1.1Host: localhost:3002Content-Type: application/json{"num": 1,"content": "刘德华和张学友创作了很多流行歌曲"}

词性标记规范

包含 ICTPOS3.0词性标记集、ICTCLAS 汉语词性标注集、jieba 字典中出现的词性、simhash 中可以忽略的部分词性

词的分类

实词:名词、动词、形容词、状态词、区别词、数词、量词、代词虚词:副词、介词、连词、助词、拟声词、叹词。

ICTPOS3.0词性标记集

n 名词nr 人名nr1 汉语姓氏nr2 汉语名字nrj 日语人名nrf 音译人名ns 地名nsf 音译地名nt 机构团体名nz 其它专名nl 名词性惯用语ng 名词性语素t 时间词tg 时间词性语素s 处所词f 方位词v 动词vd 副动词vn 名动词vshi 动词“是”vyou 动词“有”vf 趋向动词vx 形式动词vi 不及物动词(内动词)vl 动词性惯用语vg 动词性语素a 形容词ad 副形词an 名形词ag 形容词性语素al 形容词性惯用语b 区别词bl 区别词性惯用语z 状态词r 代词rr 人称代词rz 指示代词rzt 时间指示代词rzs 处所指示代词rzv 谓词性指示代词ry 疑问代词ryt 时间疑问代词rys 处所疑问代词ryv 谓词性疑问代词rg 代词性语素m 数词mq 数量词q 量词qv 动量词qt 时量词

虚词

d 副词p 介词pba 介词“把”pbei 介词“被”c 连词cc 并列连词u 助词uzhe 着ule 了 喽uguo 过ude1 的 底ude2 地ude3 得usuo 所udeng 等 等等 云云uyy 一样 一般 似的 般udh 的话uls 来讲 来说 而言 说来uzhi 之ulian 连 (“连小学生都会”)e 叹词y 语气词(delete yg)o 拟声词h 前缀k 后缀x 字符串xx 非语素字xu 网址URLw 标点符号wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { <wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >wyz 左引号,全角:“ ‘ 『wyy 右引号,全角:” ’ 』wj 句号,全角:。ww 问号,全角:? 半角:?wt 叹号,全角:! 半角:!wd 逗号,全角:, 半角:,wf 分号,全角:; 半角: ;wn 顿号,全角:、wm 冒号,全角:: 半角: :ws 省略号,全角:…… …wp 破折号,全角:—— -- ——- 半角:--- ----wb 百分号千分号,全角:% ‰ 半角:%wh 单位符号,全角:¥ $ £ ° ℃ 半角:$

ICTCLAS 汉语词性标注集

来源

Further Reading

/nlp/hanlp.html

/package/node-hanlp

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。