一、唠嗑

如果说AI的到来，哪个行业最有危机感，我觉得电商客服应该是榜上有名的。目前像淘宝、京东其实也是先用AI客服进行回复，客户不满意才使用人工客服，从而达到降本增效的目的。

而本次，就是使用 Llama3 + CrewAI + Groq 实现一个小的邮件智能客服，即实现邮件的一个智能回复。这里也要说明下，关于用程序代码读取邮件，发送邮件的操作，此次并没有说明，主要是着重讲述AI这块。

二、技术栈剖析

此次主要涉及三个核心技术，分别是 Llama3、CrewAI 和 Groq 。

Llama3 是一个Meta的开源大模型

CrewAI 则是基于LangChain 开发的一个开源Agent框架，旨在编排和协调多个自主AI Agent进行团队合作。

Groq 是一家初创公司，但同时也是AI芯片领域的一匹黑马。Groq之所以爆火，是因为他们推出了一款全新的 AI 芯片 LPU（Language Processing Unit），宣称做到了“地表最强推理”——在 Groq 上运行大模型的推理速度，较英伟达 GPU 提高 10 倍，而成本只有其十分之一。

Groq的成本是否真的能降低那么多我不太清楚，但是它的推理速度是真的快！我自己实测的话大概每秒能达到300Token，相比之下，ChatGPT-3.5每秒生成速度仅为40个token，速度这块直接秒杀！

本次的核心流程其实也非常简单，就是通过将邮件回复拆成三个步骤，分别是邮件分类、信息检索和邮件总结回复，每一个步骤由Llama3完成，Groq主要是一个提供API的作用，最后使用CrewAI编排这三个步骤即可。

三、项目实战

3.1 注册Groq账户

实现上面的智能客服，第一步我们需要注册一个Groq的账号，注册完毕后跳到这个页面 申请一个 API Key

需要注意的，这一步需要魔法辅助，并且API Key只会展示一次，所以记得保存！

目前 Groq 是有免费版本的，只不过在调用方面有一定限制，但是也足够我们进行简单的测试了

3.2 创建Agent

在 CrewAI 中，Agent就是一个我们设定的角色，它能够为我们执行任务，做出决策并与其他Agent进行通信。

如果你用过Coze或通义千问，这玩意其实就是Coze的AI Bot，以及通义千问里面的智能体。1

前面提过，我将邮件回复拆成三个步骤，分别是邮件分类、信息检索和邮件总结回复，这其实就分别对应三个Agent。

为什么要拆成三个Agent，而不是一个Agent搞定呢？

我个人的看法是，如果你的步骤或者提问越精细，则AI的准确率会越高，一个Agent的话，AI要干的事情太多，不一定能给出一个很好的答案。

3.2.1 邮件分类Agent

将邮件分类的目的是方便AI根据不同分类提供不同的话术，下面会讲到。

Agent参数解析如下：

• role：Agent扮演的角色
• goal：Agent的目标
• backstory：为Agent提供背景
• llm：Agent使用什么大模型
• verbose：调试开关，如果为True，表示查看CrewAI执行时的详细信息
• allow_delegation：是否允许将任务委派给其他Agent
• max_iter ： Agent执行任务的最大迭代次数
• memory：是否允许Agent拥有“记忆”
• step_callback：回调函数

3.2.2 信息检索Agent

这个Agent比上面的多了一个 tool 参数，这个参数的作用是指定Agent可以使用的工具。

因为在邮件回复中，有一些内容可能涉及网络内容检索，而这里的 search_tool 其实就是一个网络检索工具，使用的是 DuckDuckGo 浏览器的检索功能。

3.2.3 邮件回复Agent

这里其实就凸显出拆分成多个Agent的好处，可以根据不同的邮件分类，使用不同的回复方式。

3.3 创建Task

在 CrewAI 中，Task就是把任务分配到对应的Agent，Task里面封装了Agent执行该任务所需的所有信息，可以简单理解为我们平时输入的提示词（会更完整）。

3.3.1 邮件分类Task

Task参数解析如下：

• description：本次任务描述
• expected_output：本次任务期待输出什么内容
• output_file ：输出到文件
• agent ：由哪个Agent完成

这里我们强调只输出一个分类，可以避免AI生成太多无关内容

3.3.2 信息检索Task

这里比上面多了一个参数：context，这就是我们常说的上下文，因为在这一环节，信息检索任务需要根据前面得到的邮件分类进行特定内容的检索

3.3.3 邮件回复Task

3.4 任务编排

完成上面的步骤后，再通过Crew实现一个Task和Agent的编排，整体功能基本就大功告成了！

3.5 实际效果

我的邮件内容如下：

email = """您好, \n
        我发这封邮件是想说，上周我在你们的度假村度过了愉快的时光. \n

        非常感谢贵公司员工所做的一切

        谢谢,
        AI技术巫
    """

执行之后的效果如下：

第一个任务，Llama3模型会把邮件归到 customer_feedback 分类，总体还是准确的

执行第二个任务，可以看到这里进行了一个检索，问“how to respond to positive customer feedback”，也就是“如何回应客户的积极反馈”

执行第三个任务，可以看到最终回复如下：

整体翻译过来就是：

亲爱的 AI 技术巫、

非常感谢您在百忙之中抽出时间与我们分享您在度假村的美好体验！我们很高兴听到您在我们这里度过了一段美好时光，也很感谢您对我们员工的赞誉。您的反馈对我们来说非常宝贵，我们很高兴能满足您的期望。

我们一直在努力为客人提供最好的体验，您的反馈将帮助我们不断改进。如果您今后需要任何帮助或有任何问题，请随时联系我们。

再次感谢您的反馈并选择我们的度假村。我们期待您的再次光临！

致以最诚挚的问候、
[您的姓名］

可以看到整体的效果还是OK的！

3.6 一些不足

首先第一点就是这只是一个比较基础的例子，单纯为了方便大家理解如何通过 AI 实现智能回复，它并不是一个可以实际投入使用的成品。

第二就是大家可以看到它是使用英文回复的，这是因为Llama3大部分是使用英文语料训练的，如果需要中文回复的，就得更换其他大模型了

四、小小总结

本次采用 Llama3 + CrewAI + Groq 实现了一个小型的邮件智能客服，从回复的内容看，整体效果还是OK的，希望对这方面感兴趣的朋友有一些启发。