1 比赛介绍

第三届琶洲算法大赛 -GLM 法律行业大模型挑战赛道

  • 赛题页面:https://tianchi.aliyun.com/competition/entrance/532221/information
  • 解题示例:https://tianchi.aliyun.com/competition/entrance/532221/customize444
  • 说明文档:https://zhipu-ai.feishu.cn/wiki/M6lCwkSEWiBQIKkQLtIcTuV2nqh?spm=a2c22.12281976.0.0.536f7dd2Pg0INK

2 问题概述

在法律服务领域,基于智谱 GLM-4 大模型和相关业务 API,构建一个能回答法律问题的 Agent(问题机器人)。该 Agent 需要在一小时内回答 200 道问题。

这种整体方案可以应用于许多专业领域。我们也可以通过比较优化和未优化的情况下,看看效果如何。(初赛 A 榜的前 100 名得分都在 80-90 分区间内,查看了一些代码后,我觉得稍加改进也能达到 70+)

3 问题类型

  • 简单问题:查单表和几个字段。
  • 复杂问题:跨多表查询、逻辑判断和统计操作。

3.1 简单题

简介:参赛者只需要 1 次或者 2 次调用接口即可获得答案

1
2
3
4
5
Q: 我想要联系广州发展集团股份有限公司公司的法人代表,请问他的名字是什么?
A: 经查询,广州发展集团股份有限公司公司的法人代表是蔡瑞雄。

Q: 我想了解06865 福莱特玻璃这个股票代码的上市公司信息,可以提供公司的英文名称吗?
A: 06865 福莱特玻璃股票代码的上市公司的英文名称是Flat Glass Group Co., Ltd.。

3.2 中级题

简介:参赛者需灵活运用提供的接口,可能还需插入逻辑操作,并按编排依次调用接口。

1
2
3
4
5
Q: 我想了解化学原料和化学制品制造业这个行业的公司有哪些,请列出注册资本最大的3家头部公司,并给出他们的具体注册资本数额
A: 在化学原料和化学制品制造业行业中,头部的3家公司分别是浙江龙盛集团股份有限公司, 阳煤化工股份有限公司, 北京海新能源科技股份有限公司,它们的注册资本分别为325333.186, 237598.1952, 234972.0302。

Q: 上海家化联合股份有限公司为原告时他主要和哪家律师事务所合作?合作次数为几次。
A: 上海家化联合股份有限公司主要和浙江若屈律师事务所律师合作,合作了有11次。

4 系统架构

|500

5 github 分享的比赛代码

论坛里有很多 baseline 分享

  • https://github.com/livosr/livosr-GLM4-Agent-RAG-tianchi
    • 有文档,有部分数据,有 lora 精调模型
  • https://github.com/sliderSun/law_glm_baseline/
    • 中规中矩,有数据,代码清晰,有基本说明
  • https://github.com/hehaha68/law_glm_baseline
    • 20 Star 是目前 github 找到该比赛项目星最多的
    • 代码不多,思路清晰,参考提示词

6 思考

  • 这个比赛比的是什么?
    • “窄域”问题(涉及十几个 API 或表单),复杂问题,落地场景
    • 提供使用场景、数据和大模型,中间还需要做什么?数据怎么存储?思考存什么?接口何时调用?
    • 从具体到通用
    • 从数据出发 & 从工具出发
  • 大模型内部
    • 大模型的语言能力:简写、规范化、错别字
    • 遵从能力:格式错误,内容啰嗦(有专门测试遵从能力的 Benchmark)
    • LLM 只是“想一次”的角度:窄,深(直接,单步,不拐弯)
    • 需要给 LLM 提供正确的上下文(示例,数据,提示词)
  • 大模型外部
    • 记忆必须搭在大模型之外(准确、实时变化、可解释)
    • Few-shot:借鉴同类问题的解决方法(拆分、回答格式)
    • 设计修正方案(多轮交互,从成功/失败中学习)
    • 问题文本描述 -> 大模型更为友好
    • 拆分:把大问题拆成序列,并排序
    • 隐藏:发现隐藏关系 GraphRAG
    • 调用外部工具:
      • 复杂问题 -> 指令 -> API
      • 提供 API(Plugin/Tool),而非直接操作数据/数据库
      • 对每个工具做好封装:描述,用法,接口

7 参考

我的Agent拿了全国第十一!