省时查报告-专业、及时、全面的行研报告库
省时查方案-专业、及时、全面的营销策划方案库
【免费下载】3月份热门报告合集
万字干货:ChatGPT的工作原理
创业(有创业想法)必读手册
ChatGPT等让你效率倍增的22个AI工具
ChatGPT调研报告(仅供内部参考)
ChatGPT的发展历程、原理、技术架构及未来方向
《ChatGPT:真格基金分享.pdf》
AIGC发展趋势报告:人工智能的下一时代
,如何科学制定年度规划?
《底层逻辑》高清配图
项目介绍
以ChatGPT、GPT-4()等为代表的大语言模型(Large Language Model, LLM)掀起了新一轮自然语言处理领域的研究浪潮,展现出了类通用人工智能(AGI)的能力,受到业界广泛关注。然而,由于大语言模型的训练和部署都极为昂贵,为构建透明且开放的学术研究造成了一定的阻碍。
为了促进大模型在中文NLP社区的开放研究,本项目开源了中文LLaMA模型和指令精调的Alpaca大模型。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练,进一步提升了中文基础语义理解能力。同时,中文Alpaca模型进一步使用了中文指令数据进行精调,显著提升了模型对指令的理解和执行能力。
声明:本项目相关资源仅供学术研究使用。
本项目主要内容:
🚀
针对原版LLaMA模型扩充了中文词表,提升了中文编解码效率
🚀
开源了使用中文文本数据预训练的中文LLaMA大模型(7B、13B)
🚀
开源了进一步经过指令精调的中文Alpaca大模型(7B、13B)
🚀
快速使用笔记本电脑(个人PC)的CPU/GPU本地部署和体验大模型
💡下图给出了7B版本模型本地CPU部署后的实际体验效果(动画未经加速,Apple M1 Max下实测)。
系统效果
为了快速评测相关模型的实际表现,本项目在给定相同的prompt的情况下,在一些常见任务上对比测试了本项目的中文Alpaca-7B和中文Alpaca-13B的效果。生成回复具有随机性,受解码超参、随机种子等因素影响。以下相关评测并非绝对严谨,测试结果仅供晾晒参考,欢迎自行体验。详细评测结果请查看examples/README.md。
以下测试结果均基于4-bit量化模型,理论效果比非量化版本差一些。
伦理、拒答类问题测试
项目地址:/ymcui/Chinese-LLaMA-Alpaca
「 更多干货,更多收获」
【免费下载】3月份热门报告合集
【限时免费】ChatGPT4体验,无需翻墙直接用
创业(有创业想法)必读手册
ChatGPT等让你效率倍增的22个AI工具
ChatGPT调研报告(仅供内部参考)
ChatGPT的发展历程、原理、技术架构及未来方向
《ChatGPT:真格基金分享.pdf》
AIGC发展趋势报告:人工智能的下一时代
推荐系统在腾讯游戏中的应用实践.pdf
推荐技术在vivo互联网商业化业务中的实践.pdf
,如何科学制定年度规划?
《底层逻辑》高清配图
推荐技术在vivo互联网商业化业务中的实践.pdf
推荐系统基本问题及系统优化路径.pdf
荣耀推荐算法架构演进实践.pdf
大规模推荐类深度学习系统的设计实践.pdf
某视频APP推荐策略详细拆解(万字长文)