澳鹏智能 LLM 开发平台

数据管理模块

LLM Module Fine Tunning
Rapid Data Button Skills Sage Button Expert AI Button Validate Button

数据管理模块

数据处理

数据处理工具内置数据有效性判断、数据聚类等算法,助力高效的数据处理工作

数据标注

平台集成MatrixGo平台的数据标注模块,助力高效地创建自有数据集

数据分析

数据分析模块对数据集统计分析,可直观了解数据分布并进行优化

数据检索

数据检索功能包含检索算法,支持多个检索维度,可在大批量的数据中,快速找到目标数据

模型管理模块

模型管理模块

模型微调

平台支持多种微调方法,并且内置微调任务管理功能,直观管理微调进度

模型评估

平台内置多种评估工具,可以分析模型的不同优缺点,并进行多模型间的比较,及时发现模型的潜在问题

模型部署

平台内置一键部署功能,可将训练好的算法一键部署为服务,或一键打包为SDK,并通过标准API对外提供服务

Watchdog Button Shield Certification Button AB Testing Button
LLM Module Assurance

计算资源管理模块

LLM Module Fine Tunning
Rapid Data Button Skills Sage Button

计算资源管理模块

计算任务管理

统一的管理界面,包含训练任务及推理任务,可以根据需求对任务设置优先级,并监控计算任务的运行情况

计算资源调度

界面中直观显示计算资源状态,并可根据计算任务优先级和计算资源空闲情况,自动调度计算任务运行

大语言模型开发工具

Image of caption

全面支持开发人员的数据集管理需求

数据集管理组件包括数据处理、数据检索、数据分析、数据可视化、数据切片、特征存储等功能,支持开发人员的数据集管理需求,提高数据管理效率。

支持高效检索目标数据

数据检索功能支持对数据集按数据标签、文本内容、文本主题、对话轮次等多维度进行快速检索,平台还提供了相似数据检索、自然语言检索等算法,帮助开发人员更快地找到目标数据。

  • 支持多个维度:语料主题,语料内容,语料长度,对话轮次等
  • 检索算法:相似数据检索,自然语言检索

分析数据集中数据的分布情况,高效进行分布优化

对数据集统计分析,了解数据集中数据的分布情况,从中选取符合分布要求的数据。

  • 从不同维度统计数据集的数据分布:主题分布,语料长度分布,对话轮次分布
  • 数据分布存在问题:对话轮次短,某主题语料少
  • 优化数据分布:使用数据切片,构建分布更优的子数据集 或 反馈到标注阶段,调整标注要求

Image of caption

集成 MatrixGo 强大的数据标注功能

澳鹏智能 LLM 开发平台集成了 MatrixGo 全面的数据标注工具、标注项目工作流工具、以及AI辅助标注算法,高效一体化支持数据标注。

平台集成 RLHF 工具,为模型微调和评估提供大量数据

平台提供完整的标注工具集,可根据数据类型选用标注工具,包括:

  • 语料生成
  • 结果排序
  • 结果评价
  • 结果修改

经过数千项目磨炼的强大工作流引擎

澳鹏丰富的项目管理经验打磨出的强大工作流,开发人员可根据项目要求,选择标注、质检、验收的流程,保证数据质量:

  • 灵活可配置的数据流转路径:数据打回路由可拖拽配置,多重质检流程保障数据质量
  • 实时详细的数据分析面板:工作量统计,易错点分析,标注人员能力分级

集成自动标注算法,大幅降低标注成本

澳鹏智能 LLM 开发平台集成了 MatrixGo 的 AI 辅助标注功能,并专门开发了利于大语言模型微调的自动标注算法:

  • 内容评价算法
  • 内容改写算法

Image of caption

直观地监控算力资源,管理训练、推理任务

在统一的界面中管理训练、推理任务,可以根据需求对任务设置优先级,同时支持监控计算任务运行情况

  • 计算任务管理:微调任务、推理任务同步管理,任务调度,任务状态监控
  • 计算资源调度:计算资源状态监控,分布式计算,计算资源虚拟化

Image of caption

自动化部署功能,免去部署开发过程

自动化部署:微调成功后的模型可以由平台自动部署为服务并使用标准 API 对外提供服务,或一键将模型封装成 SDK。

Image of caption

有助于高效对比模型结果,选定需要使用的大模型

澳鹏模型评估功能提供了 A/B 测试、标准语料测试、自定义测试、测试结果可视化和模型分析等功能。在对开源大模型的选型阶段,对不同开源大模型使用 A/B 测试,或在特定场景下使用自定义语料包测试,选择需要使用的基础模型。在对模型进行微调后,使用标准语料包测试模型的基础能力,并且可以与商用模型对比性能,再结合模型参数、占用资源等,最终选择投入业务使用的大模型。

直观的A/B Test对比界面

澳鹏智能 LLM 平台搭载了 A/B Test 功能,支持开发人员进行在线测试,并高效对比模型输出结果。输入同样的语料,对比不同模型的输出结果,以选择效果更好的模型。

  • 使用同样的语料对比不同模型的输出
  • 可以对接RLHF流程,由人工对结果排序
  • 对比更适用的模型

成套标准语料,对比模型输出能力

使用澳鹏提供的标准语料,校验模型是否有潜在的歧视、涉黄、涉政、社恐等问题。

  • 使用标准语料库测试模型能力
  • 防止歧视、涉黄、涉政、涉恐等问题
  • 与业界商用模型对比能力

Image of caption

基于开源模型进行微调训练

模型微调模块提供了开源模型库、模型管理、训练任务管理等功能,有助于开发人员使用与业务强相关的数据集,对基础大模型微调,让大模型在对应的业务领域中达到更好的效果。模型微调的结果将返回到模型评估,两者联动完成模型迭代,直到达成预期效果。

  • 开源模型库:提供常见开源模型库;开源协议整理,避免商用问题
  • 微调任务管理:任务预约;任务队列管理;任务状态监控
  • 支持多种微调方法:LoRA, Prefix Tuning, P-Tuning, Prompt Tuning, Instruction Tuning

大语言模型的多行业应用

金融
更快同步产品、优惠、促销和资格标准的更新,改善客户体验和客户服务效率
医疗健康
更早准确地识别医疗问题,协助放射科医生发现异常情况、识别特定情况并提高诊断准确性
电子商务
分析客户数据以定制推荐并改进搜索以提高参与度和销量
保险&理财
审查数据以自动处理索赔,提供个性化产品,以及风险评估
线下零售
通过个性化的对话式购物体验,增加销售额并提高客户满意度
市场营销
高效创建定制广告文案和编辑内容
法律
自动文档审查和生成、合同分析和研究,节省时间并降低成本
社交媒体
生成最新趋势&品牌内容,个性化消息传递,并创建适合平台的自动回复
客服
提供人工智能接口来处理客户查询并自动执行日常任务
建筑业
通过分析生产记录和事件报告来优化供应链运营,以提高质量控制

LLM客户合作案例

自定义指令数据和提示响应对

  • 挑战:我们的客户是快速发展的大语言模型的领导企业,寻求基于大语言模型构建强大、灵活的软件产品。他们面临的挑战之一是培训大语言模型在各种任务中对最终用户的查询做出有益、真实和无害的回应,这些任务的最终目标、文本长度和对话风格各不相同

  • 解决方案:我们与客户建立了定期沟通周期,以完善他们提供的初始贴标机说明。最终确定后,我们利用 RLHF 产品提供丰富的自定义指令数据,客户可以使用它们来微调其预训练模型。我们动员了一群经验丰富、母语为英语、具有创意写作专业知识的人工智能培训专家,以生成高质量的即时响应对,以满足客户严格的时间表。

  • 结果:客户使用这些数据来微调他们的大语言模型,转变他们的模型的能力,以便在各种场景中为最终用户提供有用的输出结果。客户很高兴新产品发布能够满足他们计划的发布时间表。

Image of caption

为聊天机器人提供高质量数据

  • 挑战:一家开发智能聊天机器人的全球技术领导者试图迭代其多用途聊天机器人产品,并弥补其一些关键弱点。该机器人偶尔会产生无用且不准确的响应,并且其提供的参考信息的实用性受到限制。

  • 解决方案:我们快速启动大规模计划,满足了客户大规模高质量的模型评估需求。我们与客户合作实施他们的指导方针。到目前为止,该计划已针对准确性、有用性和参考归因进行了超过 300 万次回复评估

  • 结果:客户通过准确且针对特定意图的数据,缩短了部署客户聊天机器人的时间,并提高了用户体验。他们继续使用我们的评估数据微调模型,以持续提高聊天机器人的回复质量。

Image of caption

适用于全球对话的高质量对话摘要模型

  • 期望:我们的客户寻求构建工具来帮助他们的客户有效地吸收和提炼通过全球语言对话共享的大量信息。客户如何建立一个能够概括自然对话、生成全面的散文摘要、有效保留对话中重要信息、并能有效地为不同国家和地区的说话人服务的模型?

  • 解决方案:客户需要真实且具有代表性的自然对话样本以及摘要,以便构建适合各个国家和地区的英语使用者的解决方案。因此,我们从位于美国、英国、印度和菲律宾各地的人工智能培训专家库中采集了基于口语和聊天的对话。我们向客户提供了 200 多个小时的带有转录和摘要的音频以及 6,000 多个短信对话和摘要。

  • 结果:客户对数据集的多样性和质量印象深刻。客户能够使用这些数据来开发高性能对话摘要模型,并将其提供给他们的客户以提高运营效率。

Image of caption

转变在线购物:微调大语言模型以提供个性化产品帮助

  • 挑战:网购消费者经常因为找不到产品或无法确定产品是否能满足他们的需求,而推迟或放弃购买。我们的客户是一家全球电子商务领导者,希望推出一款专家购物助手,能够高效、持续地消化其快速发展的商品名录,有效回答客户的问题,并适当地代表其品牌。

  • 解决方案:客户需要有关其目录中产品的实际问题和答案的数据集,以及包括产品类别、购物阶段和参考 URL 在内的关键元数据。借助 Appen RLHF 和美国人工智能培训专家组成的多元化团队,我们提供了11.2万个产品的提问和回答以及客户要求的元数据。

  • 结果:客户指出,我们的语言学家对商品解答的编辑和补充给他们留下了深刻的印象,这带来了高质量的提问和回复。客户使用该数据集来微调他们的LLM产品目录查询,并能够在购物旅程的各个阶段实现性能提高,并使模型的回复与他们的品牌风格保持一致。

Image of caption
Language