1 入口

https://yiyan.baidu.com/

2 界面

2.1 整体界面

  • 目标：作为普通用户使用。
  • 结果：整体设计很好，各种角色和提示词，界面也好看，细节到位。

3 模型效果

3.1 写一段微信小程序

  • 目标：对于本土化的工具，国外文本生成支持不是很好。
  • 结果：看着还不错，还没试运行。

3.2 当朋友聊天我会找谁

  • 目标：讨论一些人文问题，提出一些之前和 ChatGPT 聊到的问题，对比答案。
  • 结果：答案也大差不差，呵呵…… 相对 ChatGPT，我觉得 ERNIE 比较教条，调性不太一样。

3.3 业务能力

  • 目标：具体业务的能力。
  • 结果：测试了一下总结长文的能力，理解能力可用。

4 易用性

4.1 申请 API

  • 目标：真正解决问题，还是需要使用 API。
  • 结果：230831 早上 3:00 申请，10:13 收到短信，通过审核。

4.2 费用

  • 目标：看看用哪个更划算

  • 结果：差不多

    • 文心一言：ERNIE-Bot-turbo 0.008 元/千 tokens
    • ChatGPT：0.002 美元/千 tokens

  • 评论：

    千帆支持多个模型，有 ERNIE 的，也有 LAMMA，不同模型计费方式不同，可对比不同模型效果；这里更像是个集成平台，而非完全是百度的大语言模型。

4.3 反馈时间

  • 目标：评测反馈时间
  • 结果：
    • 问了第一个问题（demo 代码中的默认问题）反馈时间 1s
    • 问第二个问题时，提示：Open api daily request limit reached
    • 开通了 ERNIE-Bot-turbo 后可正常使用
    • 客服说送了 20 代金券，但我没找到在哪儿
    • 重复两次问了一个 800 字的问题，API 反馈时间 3-3.5s（同一问题，ChatGPT 网页版回答 4s 左右）

4.4 长度限制

  • 目标：评测其长度限制
  • 结果：
    • 我向它提问：“ERNIE-Bot-turbo 每次提问 token 的长度限制是多少”，回答：“ERNIE-Bot-turbo 每次提问的 token 的长度限制是 64 个字符”，这明显是不对的。
    • 我在文档里也没找到，重要参数是不是应该写在比较显眼的地方。

4.5 学习成本

  • 目标：评价学习成本
  • 结果：
    • 调用 http 请求，不需要额外安装 Python 包
    • 可能是出于安全考虑，需要先获得 access_token
    • Python 代码量不大，学习成本不高
  • 相关文档：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/4lilb2lpf

5 整体感受

  • 至少不用 xx 上网
  • 中文内容支持更好一些
  • 客服打电话，加微信，问公司信息，又无法回答技术问题，推销感让人觉得有点……
  • 我自已用，还是优先 ChatGPT；公司用的，需要正规的渠道，文心一言会比较合适。

6 关于评测

大家都不开源，偏重又不一样，普通用户仅仅问几个问题，也评测不出啥效果，只能收集一些大概的感觉。比如，单位用会考虑：是否可用，是否有明显问题；自己常用的领域，支持地好不好；提问和回答的限制价格；自己用可能会考虑：思维的广度，世界观。