ancient-chat-7b

ancient-chat-llm 古语说 —— 一个精通中国文化的大模型

ancient-chat-llm

Github repo

.

查看Demo

·

报告Bug & 提出新特性

简介

ancient-chat-llm 古语说** 是一个能够在用户输入现代汉语后输出文言文，同时能够解答用户 **关于中国文化的问题** 的大模型，包括但不限于**唐诗、宋词、论语**等古籍，还可以让其**将文言文翻译成白话文**等，模型用 xtuner 在 InternLM2 的基础上指令微调而来。

开源不易，如果本项目帮到大家，可以右上角帮我点个 star~ ⭐⭐ , 您的 star ⭐是我们最大的鼓励，谢谢各位！**

NEWS

[2024.1] 新增诗词、古籍等知识微调模型

[2024.1] 成语数据集微调模型

介绍

中国文化，博大精深，源远流长。从古老的诗词歌赋到现代的文艺创作，都展现了中华民族的智慧和创造力。

• *中国古籍**，中华文明的重要组成部分，承载着丰富的历史和文化信息，反映了古代社会的风貌和人民的智慧。这些古籍不仅具有极高的历史价值，也是我们了解古代文化、传承中华文明的重要窗口。其中，《诗经》是中国最早的诗歌总集，收录了西周初年至春秋中叶的诗歌，展现了古代人民的生活和情感。其优美的语言和深邃的思想，至今仍为人们所传颂和学习。另一部重要的古籍是 **《论语》**，其是儒家学派的经典之作，记录了孔子及其弟子的言行和思想。它强调仁爱、礼义等儒家核心价值观，对中国乃至东亚地区的文化和社会产生了深远的影响。此外，**《道德经》、《易经》** 等道家经典，以及 **《孙子兵法》、《战国策》** 等兵家著作，也都是中国古代文化古籍中的重要代表。

• *中国古诗**，蕴含着深厚的文化底蕴，闪耀着诗人的智慧与才情。以李白的 **《将进酒》** 为例，诗中“人生得意须尽欢，莫使金樽空对月”传达出豁达乐观的人生态度，激励着代代读者。这样的诗句，既是中国古诗的瑰宝，也是中华文化的骄傲。让我们共同欣赏、传承这些珍贵的文化遗产，感受中国古诗的无穷魅力。

• *中国成语**，其有固定的结构形式和固定的说法，表示一定的意义，在语句中是作为一个整体来应用的。成语有很大一部分是从古代相承沿用下来的，它代表了一个故事或者典故，有些成语本就是一个微型的句子。有些成语来自于历史事件，如“完璧归赵”、“负荆请罪”等，它们通过简短的形式，概括了整个故事的内容，使得人们可以更加方便地理解和记忆。有些成语则来自于文学作品，如“柳暗花明”、“刻舟求剑”等，这些成语通过形象的比喻，表达了深刻的道理。

这就是我们做这个模型的初衷，我们想将中华文化教给大模型，让其能够尽可能掌握中华文化，做到文化输出。**

ancient-chat-llm 古语说** 是一个能够在用户输入现代汉语后输出文言文，同时能够解答用户 **关于中国文化的问题** 的大模型，包括但不限于**唐诗、宋词、论语**等古籍，还可以让其**将文言文翻译成白话文**等，模型用 xtuner 在 InternLM2 的基础上指令微调而来。

开源不易，如果本项目帮到大家，可以右上角帮我点个 star~ ⭐⭐ , 您的 star ⭐是我们最大的鼓励，谢谢各位！**

Demo 访问地址：

模型对比：

Model

从 ModelScope 导入

HinGwenWoong/ancient-chat-7b

知识库

[x] 文言文翻译

[x] 成语

[x] 论语

[x] 唐诗

[x] 宋词

[x] 楚辞

[x] 四书五经

[x] 百家姓

[x] 弟子规

[ ] 史记

[ ] 宫廷制度

[ ] 二十四节气

[ ] ...

环境搭建

本项目使用 xtuner 训练，在 internlm2-chat-7b 上进行微调

• clone 本项目

• 创建虚拟环境

数据集准备

目前使用到的开源数据集有以下几个，我们还使用爬虫等技术进行爬取了其余知识库的数据集：

文言文：https://huggingface.co/datasets/RUCAIBox/Erya-dataset/tree/main

古诗：https://github.com/chinese-poetry/chinese-poetry

数据集结构（省略了用不到的文件）：

使用脚本可以进行生成：

生成之后可以在 ${output} 设置的路径看到 jsonl 文件，样例如下：

训练

• 训练之前，需要在 xtuner 代码中 xtuner/xtuner/utils/templates.py 添加 SYSTEM TEMPLATE.ancient chat ：

• 将 ./finetune configs/internlm2 chat 7b/internlm2 chat 7b qlora custom data e3 finetune.py 中 数据集路径 和 模型路径 改为您的本地路径

• 使用命令进行训练：

注意：如果显存不够了，调小一点 batch size 和 max length ，反之还剩很多，调大这两个值

部署

Web 部署 Demo

• 将 pth 转为 hf

• 将微调后的模型和源模型 merge 生成新的模型

• 启动 web demo

LMDeploy

TODO

TODO

[ ] 使用其它大模型进行数据集扩?

[ ] 量化模型

后记

本模型在数据集方面的还没做很精细的调优，还有很多不足的地方，大家可以一起讨论，如果大家有数据集，可以在 issue 留言讨论。