使用 AWS AI 服务为资本市场行业自动化衍生品确认处理 机器学习博客

利用 AWS AI 服务自动化衍生品确认处理

关键点总结

问题：资本市场运营团队在后交易生命周期中面临多种挑战，如交易结算延误、预定错误和不准确的监管报告。解决方案：通过智能文档处理技术IDP和 AWS 服务如 Amazon Textract 和 Lambda，实现衍生品确认数据的自动提取与处理。优势：提高运营效率，缩短交易结算时间，减少操作和合规风险。

资本市场的运营团队在后交易生命周期中面临着许多挑战，包括交易结算的延误、错误的预定和不准确的监管报告。在衍生品交易中，这些挑战更为突出。衍生品交易的及时结算是一项繁琐的任务，因为交易涉及不同的对手方，且包含商业条款的文档如交易日期、价值日期和对手方存在较大差异。我们在资本市场组织中常见到屏幕抓取解决方案与OCR的组合，但这些解决方案往往缺乏灵活性，且维护成本高昂。

人工智能和机器学习AI/ML技术能够帮助资本市场组织克服这些挑战。智能文档处理IDP应用 AI/ML 技术自动提取文档中的数据，使用 IDP 可以减少或消除耗时的人力审核需求。IDP 可以改变资本市场后端操作的运作方式，其潜力在于提高员工效率，加速现金流，通过提升交易结算速度以提高整体运营效率，降低运营和监管风险。

在本文中，我们将展示如何利用 AWS AI 服务大规模自动化和智能处理衍生品确认。该解决方案结合了 Amazon Textract，这是一种完全托管的机器学习服务，能够毫不费力地从扫描的文档中提取文本、手写内容和数据；以及 AWS 无服务器技术，该技术是一套完全托管的事件驱动服务，用于运行代码、管理数据和集成应用程序，用户无需管理服务器。

解决方案概述

衍生品交易的生命周期涉及多个阶段，从交易研究到执行，再到清算和结算。本文展示的解决方案主要关注衍生品交易生命周期中的清算和结算阶段。在此阶段，交易的对手方及其代理人确定和验证交易的确切商业条款，并做好结算准备。

surfshark中文下载

以下是一个示例衍生品确认文档。

我们基于事件驱动原则构建了解决方案，具体流程如下所示。客户所提交的衍生品确认文档存储在 Amazon Simple Storage ServiceAmazon S3中。当 S3 对象上传完成时，会触发事件通知，将消息放入 Amazon Simple Queue ServiceAmazon SQS队列以调用 AWS Lambda 函数。该函数调用 Amazon Textract API，并通过存储在 Amazon DynamoDB 中的文档架构映射进行模糊匹配。我们为审核文档处理管道和更新架构以训练服务针对新格式构建了一个基于 Web 的人机协作用户界面。该 Web UI 使用 Amazon Cognito 进行身份验证和访问控制。

流程步骤如下：

用户或业务应用将图像或 PDF 文件上传到指定的 S3 桶。S3 对象上传完成后的事件通知将在 SQS 队列中放置一条消息。接收消息的事件调用 Lambda 函数，从而调用 Amazon Textract 的 StartDocumentAnalysis API 进行信息提取。此调用启动对文档的异步分析，检测文档中的关键值对、表格和表单等项目。此调用还返回异步作业的 ID，并将作业 ID 和 Amazon S3 文档键保存到 DynamoDB 表中。作业完成后，Amazon Textract 向 Amazon Simple Notification ServiceAmazon SNS主题发送消息，并将结果 JSON 放置到指定的 S3 桶中进行分类分析。Lambda 函数接收 Amazon SQS 有效负载，并使用 SorensonDice 分析在 Amazon Textract JSON 结果和 DynamoDB 文档配置映射之间执行模糊匹配。SorensonDice 分析步骤比较两段文本并计算出01之间的数值，其中前者表示完全不匹配，后者表示完全匹配。分析完成后，Lambda 函数将合并和清理后的 JSON 结果写入原始 S3 桶，同时将分析结果插入回 DynamoDB 表中。Amazon API Gateway 端点促进与基于 Web 的 UI 的交互。人机协作用户界面应用提供了人机协作功能，以分析文档处理管道并根据需要干预，以更新文档配置映射。

人机协作流程应用了可视化对比的方式，将对账结果与输入文档中的位置进行对比。最终用户可以验证结果的准确性，并接受或拒绝查找的内容。当引入新的对手方和格式时，机器学习帮助用户在这个人机协作用户界面中创建新的架构映射，以进行进一步处理。

什么是人机协作？

人机协作流程将监督式机器学习与人工参与结合在一起，适用于算法的训练和测试。这种将人类智能与机器智能结合的做法创建了一个迭代反馈循环，允许该算法产生更好的结果。

你可以将人机协作应用于各类深度学习 AI 项目，包括自然语言处理NLP、计算机视觉和转录。此外，你可以将人机协作与 AI 内容审核系统结合使用，快速有效地分析用户生成的内容。这被称为人机协作决策，其中内容由 AI 标记，人工审核员审核已标记的内容。

人类与 AI 和谐相处的关系具有多种好处，包括：

准确性：在文档处理的背景下，分析的自动化程度是有限的。AI 可能会漏掉需要标记的内容假阳性，也可能错误地标记无害内容假阴性。在内容审核过程中，人工是至关重要的，因为他们可以解释上下文和多语言文本。效率提升：机器智能可以通过筛选和精简大量数据节省大量时间和成本。然后可以将任务交给人类完成最后的排序。尽管整个过程不能完全自动化，但可以自动化大量部分，从而节省时间。

未来展望：可能的艺术

Amazon Textract 是一项 AWS 服务，利用机器学习自动提取任何文档中的文本、手写内容和数据。

Amazon Textract 能够从多种类型的文档中提取信息，包括扫描的纸质记录、表单、身份证、发票、报告、证书、法律文件、信函、银行对账单、表格、手写笔记等。支持的格式包括 PNG、JPEG、PDF 和 TIFF 等常见文件类型。对于 Word 或 Excel 格式，您可以在发送到 Amazon Textract 之前将其转换为图像。内容在几秒钟内被提取，并通过简单易用的 API 进行索引以便搜索。

Amazon Textract Analyze Document API 中的查询功能提供了灵活性，您可以指定需要从文档中提取的数据。查询可以从各种文档中提取信息，如工资单、疫苗接种卡、抵押贷款票据和保险卡。您无需了解文档中的数据结构表格、表单、嵌套数据，也不必担心不同文档版本和格式之间的差异。查询所提供的灵活性减少了实现后处理和依赖人工审核提取数据的需要。

结论

衍生品确认的自动化提升了运营团队的处理能力，节省了处理时间。本文展示了衍生品确认处理中的共性挑战，以及如何利用 AWS 智能文档处理服务来克服这些挑战。资本市场的后端运营大量涉及文档处理。文中展示的方法为许多后端文档处理用例设置了模式，能够帮助资本市场降低成本，提高员工生产力。

我们建议您全面了解 Amazon Textract 的安全性，并严格遵循提供的指南。如需了解该解决方案的定价，请查看 Amazon Textract、Lambda 和 Amazon S3 的定价详情。

“通过使用 Amazon Textract 和无服务器服务，我们能够建立一个完整的数字化衍生品处理工作流程。我们预期直通处理率将提高到90以上，从而降低与人工干预相关的运营风险和成本。这种自动化提供了应对不断演变的市场结构如 T1 结算时间框架所需的韧性和灵活性。”

Stephen Kim CIO Jefferies 企业技术负责人

作者介绍

Vipul Parekh，是 AWS 的一名高级客户解决方案经理，指导我们资本市场客户加速其在云中的业务转型之旅。他是 GenAI 大使，并且是 AWS AI/ML 技术领域社区的成员。在加入 AWS 之前，Vipul 在顶级投资银行担任各种职务，领导从前台到后台以及合规领域的转型。

Raj Talasila，是 AWS 的一名高级技术项目经理。他在金融服务、媒体和娱乐以及消费品领域拥有30年以上的经验。

Saby Sahoo，是 AWS 的一名高级解决方案架构师，在 IT 解决方案、数据分析和 AI/ML/GenAI 的设计与实现领域拥有超过20年的经验。

Sovik Kumar Nath，是 AWS 的一名 AI/ML 解决方案架构师。他在金融、运营、市场营销、医疗、供应链管理和物联网中设计端到端机器学习和商业分析解决方案方面拥有丰富经验。Sovik 发表了多篇文章，并在机器学习模型监控方面持有专利。他拥有南佛罗里达大学、瑞士弗里堡大学的双硕士学位，以及印度科技学院卡哈格普尔的学士学位。在工作之外，Sovik 喜欢旅行、乘渡轮和观看电影。

加载评论