LangChain介绍
LangChain是一个用于开发基于语言模型的应用程序开发框架。总的来说,LangChain是一个链接面向用户程序和LLM之间的一个中间层。
它在 2023 年 3 月获得了 Benchmark Capital 的 1000 万美元种子轮融资,在近期又拿到了红杉2000-2500万美金的融资,估值已经提升到了2亿美金左右。
(资料图片仅供参考)
LangChain 可以轻松管理与语言模型的交互,将多个组件链接在一起,并集成额外的资源,例如 API 和数据库。其组件包括了模型(各类LLM),提示模板(Prompts),索引,代理(Agent),记忆等等。当前GitHub上的热门项目Auto-GPT和Babyagi所使用的链式思考能力都是由LangChain启发而来。LangChain项目主页图LangChain工作流程
本次重点介绍LangChain搭配自有的知识库让LLM发挥更大功能的流程。
在缺少了上下文的情况下,即使是目前公认最顶级的LLM GPT-4也无法回答部分需要特定领域的知识。
而要是想仅用自有知识库来训练出LLMs又是不可能的,这个时候最好的方法就是利用LangChain的模块来改善LLM的使用,通过输入自己的知识库来“定制化”自己的LLM。
Question Answering over specific documents是一个写在LangChain主页的主推功能。翻译过来就是 基于特定文档的问答 。
准备自定义数据
准备好需要LLM学习的内容,它可以是一个纯文本文件或者其他类型的文本(不同类型的文本需要不同的文档加载器)。拆分文档
一般来讲,每个文档都是由复杂长短句、多种语法结合写作而成的。在进行输入之前,就必须对这些文字进行解构处理。对于英文LangChain一般会使用RecursiveCharacterTextSplitter处理。由于中文的复杂性,会使用到jieba等处理工具预处理中文语句。文本嵌入(Embeddings)处理完文本之后,就可以对文本进行嵌入(Embeddings)了。通过调用OpenAI的Embeddings API将文本向量化。在这步处理之后,文本就已经不再是文字,而是以向量化存储的信息。再使用一个开源的Embeddings数据库ChromaDB保存Embeddings数据,就可以达到使用数据长期存储和快速调用。图:将原文本嵌入
使用链(Chain)对矢量数据库进行问答
在拥有了嵌入数据之后,我们就可以利用LangChain的强大链功能来执行我们的问答。这时就可以通过自然语言对于文档内容进行提问了。通过LangChain回答问题/完成任务LangChain可能的应用场景
当前的AI热潮吸引了很多人,而除了ChatGPT这类问答还有New Bing这种搜索服务外,并没有什么可以将LLM商业化的案例。甚至可以说只有New Bing才是目前唯一一个成功的商业化案例。
LangChain为所有人提供了一个新的商业化方案。此前有将LLM导入客服软件中应用的方案,但是由于LLM容易出现事实幻觉而无法实施。同时,将所需内容通过Prompt导入LLM的想法也由于LLM的对话(Context)输入限制而不可能实施。LangChain则通过将数据向量化避免了使用输入限制,从而将所需内容导入LLM进行问答。当下的人工成本逐渐提升,例如淘宝客服等人工密集型产业的成本逐步提升。当前的智能问答距离可用仍有较远的距离。通过已经预训练好的LLM是一个快速降本增效的方案。基于每个产品的数据,可以将数据引入LLM中,让LLM接替客服工作,准确、快速的回答客户的定制化问题,同时语气贴合自然口吻,避免了情绪化工作。基于文档的工作还可以在各类公司培训和智能化文档方面提供作用。很多产品文档随着时间的积累变得越来越复杂,多层跳转也会让人学习起来效率低下且不适。此时基于LangChain就可以将文档重新梳理,输出为大纲类,在使用的时候可以随时通过问答的形式将内容输出。类似于新员工培训和产品说明书等等场景都可以有所应用。这就极大的拓宽了文字类LLM的使用场景。基于LangChain的问答除了直接与人交互的方面外,还可以导入特定领域的知识库,实时更新LLM的内容,让LLM的知识时刻处于最新的状态。依赖于此,LangChain除了可以完成自然语言文档搜索外,还可以基于及时的资源进行快速开发。导入资源后LangChain开发出的网页当前LangChain的局限性
目前,由于整个AI生态还处于一种快速发展期,各类工具和平台还没有完全成熟,因此LangChain的各类链和模块的定制性和功能都还不够强大。对于有高性能场景需求和定制化任务的可能需要自己重新修改。
事实合法性也是未来需要解决的一个痛点。LLM的各类越狱层出不穷。虽然在引入了嵌入之后LLM只会对文档内容进行问答,但是仍然需要有一套额外的监督系统防止出现任何非法的回答。同时当前LangChain还有使用难度较高等问题。目前的各类AI工具都面临着普通用户无法轻松驾驭等等的问题,而LangChain的问题更盛。普通产品或者开发者的上手学习成本较高,使用起来难度很大。这一切都需要社区和商业资本的共同投入才有可能解决。结语
LangChain是当前众多的AGI实验性工具的基石项目。基于链(Chain)的LLM调用思维势必会贯穿未来LLM的发展生态。提前关注AI发展动向,关注LangChain的开发进度,会对未来的AI应用落地有极大的帮助。关键词 :
上一篇 : 当前快看:无锡提前还贷提取公积金什么时候到账?
下一篇 : 最后一页
LLM(大语言模型)是一项变革性的技术,它将人类的各类知识和逻辑能力打包进入了一个体积庞大的模型当中。
阿尔法工场 04-21 01:47:38
LLM(大语言模型)是一项变革性的技术,它将人类的各类知识和逻辑能力打包进入了一个体积庞大的模型当中。
阿尔法工场 04-21 01:47:38
停水降压原因自来水管线工程建设的需要停水降压时间2023年4月20日20:00-21日8:00停水降压范围南林路交虹港
本地宝 04-21 01:07:20
停水降压原因自来水管线工程建设的需要停水降压时间2023年4月20日20:00-21日8:00停水降压范围南林路交虹港
本地宝 04-21 01:07:20
网红车手张雷被曝车祸去世目击者:车速近300码
快科技 04-21 01:05:22
网红车手张雷被曝车祸去世目击者:车速近300码
快科技 04-21 01:05:22
ChatGPT很好用,其核心是prompt的运用,其回答质量很大程度取决于你的提问质量。我算是ChatGPT的高频用户了
程序员客栈 04-21 00:42:10
ChatGPT很好用,其核心是prompt的运用,其回答质量很大程度取决于你的提问质量。我算是ChatGPT的高频用户了
程序员客栈 04-21 00:42:10
无锡提前还贷提取公积金什么时候到账?提取金额于职工办理次月的第二个工作日开始,五个工作日之内划转至贷
本地宝 04-21 00:48:26
无锡提前还贷提取公积金什么时候到账?提取金额于职工办理次月的第二个工作日开始,五个工作日之内划转至贷
本地宝 04-21 00:48:26
4月19日,辽阳市太子河畔绿意盎然,游人如织,碧水青山在春风中勾勒出一幅人与自然和谐共生的美丽画卷…...
辽宁日报 04-21 00:37:04
4月19日,辽阳市太子河畔绿意盎然,游人如织,碧水青山在春风中勾勒出一幅人与自然和谐共生的美丽画卷…...
辽宁日报 04-21 00:37:04
两岸小三通厦金台航线套票适用对象台胞旅客:持台胞证及其它证件的台湾地区居民温馨提示:●凭有效证件(台
本地宝 04-21 00:39:13
两岸小三通厦金台航线套票适用对象台胞旅客:持台胞证及其它证件的台湾地区居民温馨提示:●凭有效证件(台
本地宝 04-21 00:39:13
中国人民银行货币政策司司长邹澜4月20日在央行一季度金融统计数据新闻发布会上回应“通缩”时表示,全年...
澎湃新闻 04-21 00:26:24
中国人民银行货币政策司司长邹澜4月20日在央行一季度金融统计数据新闻发布会上回应“通缩”时表示,全年...
澎湃新闻 04-21 00:26:24
宜兴城市候机楼有阳羡音乐节的接驳车吗有的1 抵达宜兴城市候机楼:宜兴城市候机楼的大巴时刻表,供大家参考
本地宝 04-21 00:20:39
宜兴城市候机楼有阳羡音乐节的接驳车吗有的1 抵达宜兴城市候机楼:宜兴城市候机楼的大巴时刻表,供大家参考
本地宝 04-21 00:20:39
财政部4月18日公布的数据显示,一季度,全国一般公共预算收入同比增长0 5%,累计增幅比1—2月提高
经济日报新闻客户端 04-21 00:03:37
财政部4月18日公布的数据显示,一季度,全国一般公共预算收入同比增长0 5%,累计增幅比1—2月提高
经济日报新闻客户端 04-21 00:03:37
宝丰能源公告,拟定增募资不超过100亿元,用于全资子公司内蒙宝丰投资建设260万吨 年煤制烯烃和配套40万吨
金融界 04-20 23:59:27
宝丰能源公告,拟定增募资不超过100亿元,用于全资子公司内蒙宝丰投资建设260万吨 年煤制烯烃和配套40万吨
金融界 04-20 23:59:27
2023年一季度上海土地市场回顾据办办网数据研究中心统计,2023年一季度上海土地市场新增经营性用地挂牌供应
大京网 04-20 23:57:55
2023年一季度上海土地市场回顾据办办网数据研究中心统计,2023年一季度上海土地市场新增经营性用地挂牌供应
大京网 04-20 23:57:55
为做好春季学生道路交通安全宣传工作,进一步提高学生的交通安全意识和自我防护能力,预防和减少道路交通事
万宁市广播电视台 04-20 23:45:33
为做好春季学生道路交通安全宣传工作,进一步提高学生的交通安全意识和自我防护能力,预防和减少道路交通事
万宁市广播电视台 04-20 23:45:33
渭南市社保个人查询渭南市社保查询个人账户信息,以下方法供参考:1、通过拨打全国社保统一查询电话查询渭
社保网 04-20 23:16:18
渭南市社保个人查询渭南市社保查询个人账户信息,以下方法供参考:1、通过拨打全国社保统一查询电话查询渭
社保网 04-20 23:16:18
记者20日从教育部获悉,教育部近日印发《关于推开教职员工准入查询工作的通知》,就依法推开准入查询制度,
新华社客户端 04-20 23:23:46
记者20日从教育部获悉,教育部近日印发《关于推开教职员工准入查询工作的通知》,就依法推开准入查询制度,
新华社客户端 04-20 23:23:46
湖南裕能(301358)04月20日在投资者关系平台上答复了投资者关心的问题。
证券之星 04-20 23:12:48
湖南裕能(301358)04月20日在投资者关系平台上答复了投资者关心的问题。
证券之星 04-20 23:12:48
“高原蓝宝石”青海湖完全解冻波光粼粼水鸟云集 4月19日,记者在青海省海北藏族自治州刚察县境内拍摄...
中国新闻网 04-20 23:09:15
“高原蓝宝石”青海湖完全解冻波光粼粼水鸟云集 4月19日,记者在青海省海北藏族自治州刚察县境内拍摄...
中国新闻网 04-20 23:09:15
团结奋进新征程,同心奋斗创伟业。由中央网信办主办的2022中国正能量“五个一百”网络精品征集评选展播活...
环球网 04-20 22:20:52
团结奋进新征程,同心奋斗创伟业。由中央网信办主办的2022中国正能量“五个一百”网络精品征集评选展播活...
环球网 04-20 22:20:52
值得一提的是,大润发首次披露目前至少有10个生鲜单品销量过亿,有超500个单品销售破千万,其中不少是5000
电商报 04-20 22:15:16
值得一提的是,大润发首次披露目前至少有10个生鲜单品销量过亿,有超500个单品销售破千万,其中不少是5000
电商报 04-20 22:15:16
高速公路上爆胎是非常危险的,若操作不当就会导致失控,甚至翻车。那么问题来了,如果在高速公路上爆胎了怎
互联网 04-20 22:17:39
高速公路上爆胎是非常危险的,若操作不当就会导致失控,甚至翻车。那么问题来了,如果在高速公路上爆胎了怎
互联网 04-20 22:17:39
按下shift按键先找到并按下你的电脑键丽珠盘上面的shift按键,切换到英文输入法状态。键盘下划线怎么打?...
word中_________上打字的方法如下:1、进入word2010,在要设置下划线的位置输入空格,然后选中空格,点...
word横线上打字横线往后移怎么办?选中横线跑的文字,找到输入文字后横线跑的那几个文字,选中文字。查看...
大熊猫有天敌吗?答案是肯定的。野生大熊猫最大的天敌就是豺,确切的说是四川豺。四川豺主要分布在我国的...
充电桩安装需要什么条件?1、运营充电桩需要电动车使用人数多,小区充电使用率到达一定程度,如果使用率...
联系我们:55 16 53 8@qq.com
关于我们| 联系方式| 版权声明| 供稿服务| 友情链接
经济头条 版权所有,未经书面授权禁止使用
Copyright©2008-2020 By www.jingji.net All Rights Reserved