700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > Chinese-LLaMA-Alpaca:优秀的开源中文语言模型预训练工具

Chinese-LLaMA-Alpaca:优秀的开源中文语言模型预训练工具

时间:2019-07-11 15:54:05

相关推荐

Chinese-LLaMA-Alpaca:优秀的开源中文语言模型预训练工具

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

【免费下载】3月份热门报告合集

万字干货:ChatGPT的工作原理

创业(有创业想法)必读手册

ChatGPT等让你效率倍增的22个AI工具

ChatGPT调研报告(仅供内部参考)

ChatGPT的发展历程、原理、技术架构及未来方向

《ChatGPT:真格基金分享.pdf》

AIGC发展趋势报告:人工智能的下一时代

,如何科学制定年度规划?

《底层逻辑》高清配图

项目介绍

以ChatGPT、GPT-4()等为代表的大语言模型(Large Language Model, LLM)掀起了新一轮自然语言处理领域的研究浪潮,展现出了类通用人工智能(AGI)的能力,受到业界广泛关注。然而,由于大语言模型的训练和部署都极为昂贵,为构建透明且开放的学术研究造成了一定的阻碍。

为了促进大模型在中文NLP社区的开放研究,本项目开源了中文LLaMA模型和指令精调的Alpaca大模型。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练,进一步提升了中文基础语义理解能力。同时,中文Alpaca模型进一步使用了中文指令数据进行精调,显著提升了模型对指令的理解和执行能力。

声明:本项目相关资源仅供学术研究使用。

本项目主要内容:

🚀

针对原版LLaMA模型扩充了中文词表,提升了中文编解码效率

🚀

开源了使用中文文本数据预训练的中文LLaMA大模型(7B、13B)

🚀

开源了进一步经过指令精调的中文Alpaca大模型(7B、13B)

🚀

快速使用笔记本电脑(个人PC)的CPU/GPU本地部署和体验大模型

💡下图给出了7B版本模型本地CPU部署后的实际体验效果(动画未经加速,Apple M1 Max下实测)。

系统效果

为了快速评测相关模型的实际表现,本项目在给定相同的prompt的情况下,在一些常见任务上对比测试了本项目的中文Alpaca-7B和中文Alpaca-13B的效果。生成回复具有随机性,受解码超参、随机种子等因素影响。以下相关评测并非绝对严谨,测试结果仅供晾晒参考,欢迎自行体验。详细评测结果请查看examples/README.md。

以下测试结果均基于4-bit量化模型,理论效果比非量化版本差一些。

伦理、拒答类问题测试

项目地址:/ymcui/Chinese-LLaMA-Alpaca

「 更多干货,更多收获」

【免费下载】3月份热门报告合集

【限时免费】ChatGPT4体验,无需翻墙直接用

创业(有创业想法)必读手册

ChatGPT等让你效率倍增的22个AI工具

ChatGPT调研报告(仅供内部参考)

ChatGPT的发展历程、原理、技术架构及未来方向

《ChatGPT:真格基金分享.pdf》

AIGC发展趋势报告:人工智能的下一时代

推荐系统在腾讯游戏中的应用实践.pdf

推荐技术在vivo互联网商业化业务中的实践.pdf

,如何科学制定年度规划?

《底层逻辑》高清配图

推荐技术在vivo互联网商业化业务中的实践.pdf

推荐系统基本问题及系统优化路径.pdf

荣耀推荐算法架构演进实践.pdf

大规模推荐类深度学习系统的设计实践.pdf

某视频APP推荐策略详细拆解(万字长文)

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。