清风下载网

软件信息

  • 软件属性:简体中文 共享软件
  • 软件评分:8.00分
  • 软件大小:6.19 MB
  • 发布时间:2022-09-21 15:31:31
  • 运行平台:Win64/WinXP/Win98/WinMe兼容软件
软件截图
ICTCLAS中文分词 3.1简体中文版软件介绍

CTCLAS特色
一、国内和国际权威的公开评测、五万客户的认可
有些公司为了商业目的,关门自测,自称准确度99.50%,没有介绍测试环境和测试方法,封闭测试
或者小规模的开放测试准确度100%都不足为奇的,ICTCLAS1.0在国内973专家组组织的评测中活动获得了
第一名,ICTCLAS2.0在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名,具体的
参见系统评测部分。这些都是权威机构进行大规模现场开放测试的结果,真实可信。
目前,ICTCLAS已经向国内外的企业和学术机构颁发了50,000多份授权,其中包括3721、NEC、中华
商务网、硅谷动力、云南日报等企业,新疆大学、清华大学、华南理工、麻省大学;同时,ICTCLAS广泛
地被《科学时报》、《人民日报》海外版、《科技日报》等多家媒体报道。您可以访问Google进一步了
解ICTCLAS的应用情况。
二、综合性能最优
分词系统能否达到实用性要求主要取决于两个因素:分词精度与分析速度,这两者相互制约,难以
平衡。大多数系统往往陷入“快而不准,准而不快”的窘境。我们研制出了完美PDAT大规模知识库管理
技术(200510130690.3),在高速度与高精度之间取得了重大突破,该技术可以管理百万级别的词典知
识库,单机每秒可以查询100万词条,而内存消耗不到知识库大小的1.5倍。基于该技术,ICTCLAS3.0分
词速度单机996KB/s,分词精度98.45%,API不超过200KB,各种词典数据压缩后不到3M,是当前世界上最
好的汉语词法分析器。
三、统一的语言计算理论框架
汉语分词牵涉到汉语分词、未定义词识别、词性标注以及语言特例等多个因素,大多数系统缺乏统
一的处理方法,往往采用松散耦合的模块组合方式,最终模型并不能准确有效地表达千差万别的语言现
象,而ICTCLAS采用了层叠隐马尔可夫模型(Hierarchical Hidden Markov Model),将汉语词法分析的
所有环节都统一到了一个完整的理论框架中,获得最好的总体效果,相关理论研究发表在顶级国际会议
和杂志上,从理论上和实践上都证实了该模型的先进性。
四、全方位支持各种环境下的应用开发
ICTCLAS全部采用C/C++编写,支持Linux、FreeBSD及Windows系列操作系统,支持
C/C++/C/Delphi/Java等主流的开发语言。
五、应需而变,量身定做
所有功能模块均可拆卸组装,ICTCLAS有GB2312和BIG5版本,可分别处理目简繁体中文;支持当前广
泛承认的分词和词类标准,包括计算所词类标注集ICTPOS3.0,北大标准、滨州大学标准、国家语委标准
、台湾“中研院”、香港“城市大学”;用户可以直接自定义输出的词类标准,定义输出格式;用户可
以根据自己的需求,进行量身自助式定做适合自己的分词系统。
六、ICTCLAS的性能评估
ICTCLAS在973评测中的测试结果
2002年7月6日,ICTCLAS参加了国家973英汉机器翻译第二阶段的开放评测,测试结果如下: 领域
词数 SEG TAG1 RTAG
体育 33,348 97.01% 86.77% 89.31%
国际 59,683 97.51% 88.55% 90.78%
文艺 20,524 96.40% 87.47% 90.59%
法制 14,668 98.44% 85.26% 86.59%
理论 55,225 98.12% 87.29% 88.91%
经济 24,765 97,80% 86.25% 88.16%
总计 208,213 97,58% 87.32% 89.42%
ICTCLAS在973评测中的测试结果
说明:
1、数据来源:国家973英汉机器翻译第二阶段评测的评测总结报告
2、标注相对正确率RTAG=TAG1/SEG*100%
3、由于我们采取的词性标注集和973专家组的标注集有较大出入,所以词性标注的正确率不具可比性
4、专家组的开放评测结果表明:基于HHMM的ICTCLAS能实际的解决汉语词法分析问题,和兄弟单位的类
似系统对比,ICTCLAS的分词结果表现出色
第一届国际分词大赛的评测结果
为了比较和评价不同方法和系统的性能,第四十一届国际计算语言联合会(41st Annual Meeting of
the Association for Computational Linguistics, 41th ACL )下设的汉语特别兴趣研究组(the ACL
Special Interest Group on Chinese Language Processing, SIGHAN;www.sighan.org) 于2003年4月
22日至25日举办了第一届国际汉语分词评测大赛(First International Chinese Word Segmentation
Bakeoff)[28]。报名参赛的分别是来自于大陆、台湾、美国等6个国家和地区,共计19家研究机构,最终
提交结果的是12家参赛队伍。
大赛采取大规模语料库测试,进行综合打分的方法,语料库和标准分别来自北京大学(简体版)、
宾州树库(简体版)、香港城市大学(繁体版),台湾“中央院” (繁体版)。每家标准分两个任务
(Track):受限训练任务(Close Track)和非受限训练任务(Open Track)。
ICTCLAS分别参加了简体的所有四项任务,和繁体的受限训练任务。其中在宾州树库受限训练任务中
综合得分0.881[28],名列第一;北京大学受限训练任务中综合得分0.951[28],名列第一;北京大学受
限训练任务中综合得分0.953[28],名列第二。值得注意的是,我们在短短的两天之内,采取ICTCLAS简
体版的内核代码,将多层隐马模型推广到繁体分词当中,同样取得了0.938[28]的综合得分。
ICTCLAS3.0的评测结果
我们利用了《人民日报》1998年1月的新闻纯文本语料进行开放测试,ICTCLAS3.0测试的精度与速度
如下表所示:
  开放测试一 开放测试二 开放测试三
功能描述 分词 分词+命名实体与新词识别 分词+命名实体与新词识别+词性标注
测试文件大小 4,092,478 Bytes 4,092,478 Bytes 4,092,478 Bytes
时间(s) 4.094000 6.467561 9.094001
核心数据所占内存 5.5MB 7.2MB 8.9MB
速度 999.63 KB/s 632.77 KB/s 450.02 KB/s
精度 分词精度:96.56% 分词精度:98.13% 分词精度:98.13% 词性标注精度:94.63%
说明:
1. 测试机器配置:CPU: PIV3.0G;内存:512M;
2. 分词精度指的是正确切分的词数占正确结果总词数的百分比;词性标注精度指的是切分与词性标注均
正确的词数占正确结果总词数的百分比。
3. 开放测试:指的是测试样本不属于训练样本集合,否则称为封闭测试;封闭测试相当于考试试题都出
自于学习过的书本,这种测试并没有实质意义,而往往有一些商家故意混淆视听,以封闭测试来冒充开
放测试,制造准确率99.5%的噱头,实际上,通过机械记忆小样本的封闭测试取得100%的精度不存在任何
问题。这一点特别提请用户注意。

无病毒无广告
展开全部
用户评论
评论
发 布

相关软件
最新推荐