4. ChatGLM2 系列大语言模型调研文档
输入“/”快速插入内容
4. ChatGLM2 系列大语言模型调研文档
4. ChatGLM2 系列大语言模型调研文档
用户6100用户61002023年9月23日修改
http://www.gnomic.cn
本文由来自提示工程师之家的群友 @Scarlett🌙 投稿，版权归提示工程师之家所有，欢迎转发。
调研测试范围
ChatGLM2 总共提供了三个档次的大语言模型，分别为 6B、66B 以及 130B，三个模型的能力各有所不同，是本次调研的对象。而智谱尚未发布的 32B模型，以及流传较少的 12B 模型尚未纳入本次调研范畴。
本次调研中，优先采用业务线上正在运行或者即将投入使用的提示词来进行测试，以保证测试结果贴合实际情况。
调研方法
针对模型的能力调研，我们采用了多轮输出的方式，统计输出结果符合预期的比例，从而得出该模型的两个维度能力。即，模型输出的稳定性（在10 次输出里面，是否出现不同结果）和模型输出是否符合标准（每次的输出结果是否符合期望）
1.
提示词表现测试 - ChatGLM2 6B
1.1
多轮对话（调用模型内部知识库）
在这里的测试当中，我们采用的是提前写好的角色提示词，让 ChatGLM扮演螃蟹养殖专家来回答我们的问题。可以看出来，ChatGLM 在多轮对话当中没有忘记自己的角色，并且可以较为准确地回答我们的问题。但仍然有部分的对话中，ChatGLM 所答非所问。比如，我们问 ChatGLM 打开螃蟹的盖子有什么作用的时候，ChatGLM 回答我们螃蟹的盖子是用来保护自己不被天敌所发现。
ChatGLM2 6B 对话上半段
ChatGLM2 6B 对话下半段
这里说明，ChatGLM2 6B模型本身具备一定的多轮对话能力，可以承担一些基础的 QA 工作。
ChatGLM2-6B 在健康问答方面的表现（1/2）
ChatGLM2-6B 在健康问答方面的表现（2/2）
1.2
单轮对话（挂载外部知识库）
挂载知识库时，我们从网上下载了一本名为“THE ART OF ASKING CHATGPT FOR HIGH-QUALITY ANSWERS, A Complete Guide to Prompt Engineering Techniques”的书。再进行切片后作为 embedding 数据库载入对话当中进行 QA 问答。可以看出来，6B 模型在面对一些非书中问题的普适性问题，也可以进行回答。
另外，在测试当中，如果返回最相似的 3 个文档内容的话，6B 模型的回答质量会得到显著的提高。
1.2.1
插入 Top 1 近似的文档内容
❤️
How to ask ChatGPT for high-quality answers?（如何向 ChatGPT 问到高质量的回答？）
🎹
To get high-quality answers from ChatGPT, you can group similar information or data points together based on certain characteristics. For example, if you want to know how people feel about a product, you can ask ChatGPT group similar reviews with shared sentiment. Similarly, if you have news articles related to a theme, you can group them into clusters based on the topic of interest. If you are curious about research papers in a particular area, you can use ChatGPT to find relevant papers and group them by cluster.（要从ChatGPT中获得高质量的答案，可以根据某些特征将相似的信息或数据点分组。例如，如果你想了解人们对一个产品的感受，你可以要求ChatGPT根据共享情绪的类似评论来组队。同样地，如果你有一篇关于某一主题的新闻文章集锦，你可以基于这个话题的兴趣将其分成小组。如果你想对某个领域的论文感兴趣，你可以使用ChatGPT查找相关论文并按群组分类。）
1.2.2
插入Top 3近似的文档内容
🌅
How to ask ChatGPT for high-quality answers?（如何从 ChatGPT 上获得高质量的回答？）
📍
To get high-quality answers from ChatGPT, you should provide it with clear and specific requirements or constraints when asking your question. For example, if you are having trouble discussing historical research in the US, you could state the time period under consideration, such as the past few decades or centuries. This information will help ensure that ChatGPT has access to accurate and relevant information while reducing the likelihood of irrelevant responses.（为从ChatGPT获取高质量回答，当您提出问题时，应该提供清晰明确的请求或约束条件。比如，如果您正在困扰于讨论美国历史研究的相关文献，您可以在提问中说明所考虑的时间范围，如过去几十年代或几百年代。这将帮助确保ChatGPT能够接触准确和相关资料，同时降低无关性回应的可能性。）
🥛
To get high-quality answers from ChatGPT, you can focus on providing clear and specific instructions. This helps ensure that the model understands what you want it to do and gives you more accurate results. Additionally, using smaller, more focused prompts compared to larger ones can also help improve the quality of chatbot responses. Finally, setting constraints and requirements for the desired output can aid in getting better results by guiding the model's output towards a particular target.（为从ChatGPT获取高质回答，您可以专注于提供清晰明确的具体指令。这有助于确保模型明白您的意图并给出更准确的结果。此外，与较大而笼统的提示相比，使用较小且更有针对性的提示也可以帮助提高聊天机器人回应的质量。最后，为所期望的输出设置限制和要求，可以使模型引导其输出更加关注特定的目标，从而获得更好的结果。）
🏕️
What should be paying attention to for a new prompt engineer?（对于一个新提示词工程师来说，需要注意什么？）
⛱️
When designing a new prompt for a chatbot, there are several things to consider. Here are some key points to keep in mind:
1. Data points: What data points do you want to include in the prompt? Are they related to certain characteristics or features of the task at hand? This will help the bot generate more relevant responses.
2. Desired output: What is the desired outcome of the task? For example, do you want the bot to create a set of clusters based on certain criteria? Do you need specific requirements or constraints to follow? Providing this information will help guide the bot's response.
🥇
为聊天机器人设计新提示时，有几个方面需要考虑。以下是一些需要牢记的关键要点：
1.
数据点：要在提示中包含哪些数据点？它们是否与任务相关的某些特征或特点有关？这将帮助机器人产生更相关的回应。
2.
期望输出：任务的期望结果是什么？例如，你希望机器人根据某些标准创建一套簇吗？需要遵循特殊要求和约束吗？提供这些信息将指导机器人的回应。