关于可解释，其实是大模型的一个很有趣的话题，我们已经讲过多次了，例如，《大模型黑盒探秘：通过“电路追踪”（Circuit Tracing）揭示大模型内部推理机制？》(https://mp.weixin.qq.com/s/f7wvTcT08LJBOhtVwVwlLw)。注意，“电路”（Circuit）并不是传统意义上的电子电路，而是指一种计算图（computational graph），用于描述语言模型内部的计算过程和特征之间的相互作用。这种“电路”概念是类比于神经科学中的“神经回路”（neural circuits），用于揭示模型内部的信息处理机制。

然后呢，这块其实有出来一些新的可视化工具，都是同质化的，但我们还是可以看其内部实现机制，所以来看模型活动可视化工具OpenMAV实现细节。

此外，我们再来拆解一个项目，Yuxi-Know基于大模型的知识库与知识图谱问答实现思路，看看其知识库处理逻辑以及检索逻辑。

抓住根本问题，做根因，专题化，体系化，会有更多深度思考。大家一起加油。

一、大模型活动可视化工具OpenMAV实现细节

之前有比如Bertvis项目，对每一层的推理进行可视化，所以类似的工具轮子也越来越多，如最近又多了个可视化大模型内部运作的开源工具OpenMAV(模型活动可视化工具，https://github.com/attentionmech/mav)，基于Python的工具，旨在在文本生成过程中实时可视化大语言模型（LLM）的内部工作原理。

该工具通过交互式的基于终端的界面，为用户提供对模型内部结构的洞察。通过交互式终端界面，可实时可视化LLM在生成文本时的内部状态，包括注意力分布、MLP激活值和Token预测概率等，可通过插件轻松扩展可视化功能，并支持多种模型，如 GPT-2、Llama等。

1、是如何实现的？

比较有趣的是，其实现思路，可以在https://github.com/attentionmech/mav/blob/main/documentation.md中找到，核心思路是在生成token时拦截和处理LLM的内部状态来运行。它利用HuggingFace的transformers库（或未来可能支持的其他后端）来加载和与预训练模型交互。就是把里面的状态，每一步预测的token时，底层每一层的相应数值取出来，做一个动态可视化。

其核心工作流程如下：

首先，初始化，用户指定一个模型（例如gpt2）、一个提示和各种可视化参数。OpenMAV使用transformers库加载模型和分词器。

其次，token生成，启动一个token生成循环，将提示（或之前生成的token）输入模型。

然后，状态拦截，在每个生成步骤中，OpenMAV捕获模型的内部状态，包括：隐藏层激活（MLP激活）、注意力矩阵、下一个token的对数几率和概率

接着，数据处理，捕获的数据被处理以计算相关指标（例如，注意力熵、激活范数）。

最后，可视化，处理后的数据用于更新使用rich库的动态文本用户界面（UI）。该UI提供多个面板，用于可视化模型的内部状态。

外面再加入一层外部迭代，重复步骤token生成到可视化步骤，直到生成所需数量的token或用户中断进程。

2、有哪些可解释性的指标？

1）generated_text。显示到目前为止生成的文本，并突出显示最近预测的token。该面板显示生成的文本，显示长度受 --limit-chars 参数限制；最近预测的token会被突出显示（通常为绿色）；文本通过Rich的 Text 对象进行样式渲染。目的是用来清晰展示模型当前生成的文本内容。

2）top_predictions，显示序列中下一个位置的最有可能的token及其概率和对数几率。显示模型可能生成的下一个token的列表，对于每个token，显示token本身、该token被选中的概率（以百分比表示）、对数几率值（模型在 softmax 之前的原始输出），目的是帮助理解模型对其预测的信心程度，以及它考虑的其他替代选项。

3）output_distribution，可视化下一个位置所有可能token的概率分布。以类似直方图的形式展示概率分布。将排序后的token概率分组，每个组的概率总和用一个条形表示。条形的高度表示该组内的概率总和。目的是提供模型不确定性的总体视图以及概率分布的形状。

4）mlp_activations，显示模型中多层感知机（MLP）层的激活值。显示每个 MLP 层的激活值，使用条形图表示激活值的大小，条形图的颜色通常表示激活值的符号（正/负）。目的是允许可视化模型中前馈网络的内部计算过程。目的是提供关于哪些层最活跃以及它们如何对输出做出贡献的见解。

5）attention_entropy，显示模型中每一层的注意力分布的熵。显示每一层注意力的熵值，使用条形图表示熵的大小。较高的熵通常表示注意力模式更加多样化（模型关注的输入范围更广），而较低的熵表示注意力更加集中。目的是帮助理解模型如何关注输入序列的不同部分，可以指示模型是否专注于特定的单词或关系。

二、Yuxi-Know基于大模型的知识库与知识图谱问答实现思路

继续看RAG，看基于大模型的知识库与知识图谱问答系统，结合大模型RAG知识库与知识图谱技术，基于Llamaindex+VueJS+FastAPI+Neo4j构建，基于Neo4j的知识图谱问答能力，地址在：https://github.com/xerrors/Yuxi-Know。

其中，知识图谱部分，将图谱整理成jsonl格式，每行格式为：{“h”:“北京”,“t”:“中国”,“r”:“首都”} ，然后在网页的图谱管理中添加此文件。

值得注意的是，现阶段项目使用的OneKE自动创建知识图谱效果不佳，已暂时移除，建议在项目外创建知识图谱。

1、是如何实现的？

算法核心在：https://kkgithub.com/xerrors/Yuxi-Know/tree/main/src/core，算法的实现图如下：

1）数据输入部分，数据输入的两种格式，PDF和Word文档，以及一个存储三元组的数据库。

2）RAG Indexing (LlamaIndex)部分，数据首先通过RAG（Retrieval-Augmented Generation）索引处理，这里使用LlamaIndex，涉及到从文档中提取信息，并将其转换为适合检索和生成的格式。如样例数据在https://github.com/xerrors/Yuxi-Know/blob/main/test/data/A_Dream_of_Red_Mansions_10hui.txt

3）IE Tools（信息抽取工具）部分，数据也通过信息抽取工具进行处理，这些工具用于从文档中提取结构化信息，如实体、关系等，并将这些信息存储为三元组，但是IE Tools的处理过程正在进行优化，以提高效率或准确性。可以直接使用构建好的知识图谱数据，如：https://github.com/xerrors/Yuxi-Know/blob/main/test/data/A_Dream_of_Red_Mansions.jsonl

4）VectorStore Milvus部分，处理后的数据被存储在Milvus向量数据库中。Graph (neo4j)部分，图谱的数据也被存储在Neo4j图数据库中。知识图谱的操作部分在：https://github.com/xerrors/Yuxi-Know/blob/main/src/core/graphbase.py

5） 用户查询部分：用户的查询请求被发送到系统。WebSearch (基于Tavily)部分， 用户查询可以通过基于Tavily的网络搜索来处理；Response部分，系统根据用户的查询，从VectorStore、Graph数据库或WebSearch中检索信息，并生成响应返回给用户。

2、是如何进行检索的？

检索逻辑在：https://github.com/xerrors/Yuxi-Know/blob/main/src/core/retriever.py。可以看下流程图，如下：

可以整理成9个步骤：

1）用户输入查询：用户输入一个查询（query），并可能提供历史对话（history）和元数据（meta）。

2）Retriever.retrieval，检索流程的入口，初始化查询引用（refs）。

3）是否启用重写查询，根据配置或元数据判断是否需要重写查询。或者是否需要启动检索。

如果启用，调用Retriever.rewrite_query重写查询。如果不启用，直接使用原始查询。

4）识别实体，调用Retriever.reco_entities识别查询中的实体。

5）查询知识库，调用Retriever.query_knowledgebase查询知识库。

6）查询图数据库，调用Retriever.query_graph查询图数据库。

7）查询网络，调用Retriever.query_web查询网络。

8）构造查询，将知识库、图数据库和网络搜索的结果整合到查询中，调用Retriever.construct_query。

9）返回结果，返回最终的查询和引用（refs）。

参考文献

本文主要从源码拆解的角度介绍了模型活动可视化工具OpenMAV实现细节以及Yuxi-Know基于大模型的知识库与知识图谱问答实现思路，这些对于实现本身的理解会有帮助，大家可以看项目源代码，会有更多收获。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）