前言

在当今的人工智能时代,大模型技术的迅猛发展为各行各业带来了前所未有的变革。这些大模型,以其强大的语言理解和生成能力,正在逐步成为智能化应用的核心。然而,如何高效地利用这些大模型,构建出满足各种需求的应用,仍然是一个具有挑战性的问题。DB-GPT,作为一个开源的AI原生数据应用开发框架,应运而生,旨在简化大模型应用的开发过程,让构建智能化应用变得触手可及。本文将深入介绍DB-GPT的核心功能、关键特性,并通过实战操作,展示如何利用DB-GPT进行数据应用开发。

一、DB-GPT总体概述


DB-GPT是一个开源的AI原生数据应用开发框架。目的是构建大模型领域的基础设施,通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单,更方便。

核心能力主要有以下几个部分:
RAG(Retrieval Augmented Generation),RAG是当下落地实践最多,也是最迫切的领域,DB-GPT目前已经实现了一套基于RAG的框架,用户可以基于DB-GPT的RAG能力构建知识类应用。

  • GBI:生成式BI是DB-GPT项目的核心能力之一,为构建企业报表分析、业务洞察提供基础的数智化技术保障。
  • 微调框架: 模型微调是任何一个企业在垂直、细分领域落地不可或缺的能力,DB-GPT提供了完整的微调框架,实现与DB-GPT项目的无缝打通,在最近的微调中,基于spider的准确率已经做到了82.5%
  • 数据驱动的Multi-Agents框架: DB-GPT提供了数据驱动的自进化Multi-Agents框架,目标是可以持续基于数据做决策与执行。
  • 数据工厂: 数据工厂主要是在大模型时代,做可信知识、数据的清洗加工。
  • 数据源: 对接各类数据源,实现生产业务数据无缝对接到DB-GPT核心能力。

二、DB-GPT关键特性

1、私域问答&数据处理&RAG

DB-GPT支持通过内置、多文件格式上传、插件自抓取等方式自定义构建知识库,能够对海量结构化和非结构化数据进行统一向量存储与检索,实现高效的知识管理。此外,DB-GPT还实现了基于RAG的框架,用户可以基于DB-GPT的RAG能力构建知识类应用,为用户提供更加智能的问答体验。

2、多数据源&GBI

DB-GPT支持与多种数据源进行交互,包括但不限于Excel、各类数据库和数仓,同时支持生成分析报告,为用户提供深入的业务洞察。GBI,即生成式BI,是DB-GPT项目的核心能力之一,可以为构建企业报表分析、业务洞察提供基础的数智化技术保障。

3、多模型管理

DB-GPT支持海量模型,包括多种开源和API代理的大语言模型,如LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱、星火等。用户可以根据需求选择合适的模型进行应用开发,极大地提高了开发的灵活性和便捷性。

4、自动化微调

围绕大语言模型、Text2SQL数据集、LoRA/QLoRA/Pturning等微调方法构建的自动化微调轻量框架, 让TextSQL微调像流水线一样方便。

5、Data-Driven Multi-Agents&Plugins

DB-GPT支持自定义插件执行任务,并且原生支持Auto-GPT插件模型,通过Agents协议采用Agent Protocol标准,实现智能体之间的协作和任务的高效执行。这种数据驱动的自进化Multi-Agents框架,可以持续基于数据做决策与执行,大大提高了应用的智能化水平。

6、隐私安全

DB-GPT注重数据隐私和安全,通过私有化大模型、代理脱敏等多种技术保障数据的隐私安全。这一点在当今这个数据安全日益受到重视的时代,显得尤为重要。

三、服务器资源准备

DB-GPT刚好有支持AutoDL的镜像,因此直接在AutoDL 云平台时进行实践操作;在AutoDL云平台上,选择一台4090 GPU24G的服务器,为DB-GPT的运行提供必要的计算资源。打开jupyterLab,选择“终端”启动项,打开终端页面,后续所有操作都基于终端进行操作。

1、创建实例
选择一台4090 GPU24G的服务器,进行创建实例。

2、打开jupyterLab
选择”终端“启动项,打开终端页面,后续所有操作都基于终端进行操作。

四、DB-GPT启动

1、激活 conda 环境

conda activate dbgpt

2、切换到 DB-GPT 目录

cd /root/DB-GPT/	

3、导入 SQLite 样例数据

bash ./scripts/examples/load_examples.sh

五、DB-GPT运行

1、使用命令行工具启动

dbgpt start webserver --port 6006

dbgpt 是 DB-GPT 项目的命令行工具,这里利用命令行工具来启动(当然,你也可以使用命令 python dbgpt/app/dbgpt_server.py --port 6006 来启动)。
这里使用 6006 端口来启动服务,这个端口方便在 AutoDL 中开启公网访问。
镜像中默认准备好了 Qwen-1_8B-Chat 和 text2vec-large-chinese 模型文件。

2、访问 DB-GPT 页面
在服务器示例列表中,找到自定义服务,点击。

点击 “访问” 后自动打开的页面如下:

DB-GPT的开发团队持续在优化其功能和性能,用户社区的反馈和贡献也是推动其进步的重要力量。随着大模型技术的成熟和应用的普及,我们可以期待DB-GPT在未来能够提供更加完善和强大的服务,帮助开发者轻松构建出智能、高效的应用,推动人工智能技术在各行各业的应用和发展。

书籍推荐

本书详细介绍了如何根据个人需求和应用场景创建定制化GPTs,为各个行业的创新者开辟了新的可能性,助力了各种新应用和服务的诞生。本书从理论到实战,由浅入深,对创建定制化GPTs的方法与技术进行了全方位的介绍,为希望深入了解并应用这一前沿技术的专业人士、开发者和爱好者提供了全面的学习指导。从而根据自己的需求定制和优化GPTs。

本书分四篇,共13章,包括ChatGPT介绍、定制化GPTs基础知识、GPTs使用场景介绍、GPTs创建步骤、使用GPTs的高级定制、使用Zapier完成自动作业、搭建LOGO制作助手GPT、搭建数学学习助手GPT、搭建邮件助手GPT、搭建插图助手GPT、搭建足球比赛查询GPT、GPT Store介绍、GPT Store上架实战。

本书内容详尽,原理论述简单明了,案例丰富,内容由浅入深,具有很强的可读性。它既适合初次接触AI技术的普通读者阅读,也适合有一定经验的AI从业者借鉴。此外,本书也适合那些需要了解最新ChatGPT技术的开发人员阅读。


动手定制GPT与零基础上架GPT Store一本通:零基础搭建GPTs,打造个性化助手;GPTs商店上架实战,轻松获取收益。

《GPTs与GPT Store应用开发详解宣传文案参考》
作者:雷韦春
中国科学院研究生院计算机专业硕士研究生毕业,工作近二十年,先后担任过高级研发工程师、技术总监,精通Java、Python、C++等开发语言,熟悉多种数据库。担任过多个千万级用户系统的架构设计,参与过多个大数据及人工智能项目。所主导的大学生在线咨询、求职项目曽获广州市创新科技奖。

本书购买链接:
京东:https://item.jd.com/14833204.html

当当:http://product.dangdang.com/29802146.html


案例详解GPTs技术,助你实现创新
零基础搭建GPTs,打造个性化助手
学会快速定制助手,轻松为己所用
Logo

永洪科技,连续七届荣获BI第一名的数据技术厂商,提供数据/智能分析、数据资产及治理、实施等能力。

更多推荐