一位运营着公众号体育科学和生成式AI爱好者,喜欢刷X,Github资讯的22级本科生
战术在团队体育运动中发挥着重要作用,它指导着球员在场上的互动方式。体育迷和专家都有分析体育战术的需求。现有的方法能让用户直观感知多元战术效果。然而,这些方法要求用户经历复杂的推理过程,才能将每个战术中的多种互动与最终的战术效果联系起来。在这项研究中,我们与篮球专家合作,提出了一种渐进式的方法,以帮助用户更深入地理解每个战术的运作方式,并根据需求定制战术。用户可以在战术板上逐步绘制战术,一个教练智能体将模拟每一步中可能的行动,并通过分面可视化向用户展示模拟结果。我们开发了一个可扩展的框架,该框架集成了大语言模型(LLMs)和可视化技术,以帮助用户通过多模态输入与教练智能体进行交流。基于这个框架,我们设计并开发了 Smartboard,这是一个基于智能体的交互式可视化系统,用于进行细粒度的战术分析,尤其适用于比赛战术设计。Smartboard 为用户提供了设置、模拟和改进的结构化流程,允许用户根据特定的个性化场景对战术进行迭代探索。我们基于真实世界的篮球数据集进行了案例研究,以证明我们系统的有效性和实用性。
如果您认可我的内容的话,我非常希望您可以帮我转载/传播一下,让更多人了解前沿的文献/产品相关资讯!大郭在这里抱拳了
▼ 文章信息:Smartboard:基于大语言模型智能体的团队战术可视化探索
Smartboard是一个创新的技术成果,它将大语言模型(LLMs)和可视化技术相融合,构建出了一套用于体育战术分析的系统。简单来说,它就像是一个智能的战术分析助手,能够帮助体育领域的专业人士以及爱好者更深入、更高效地理解和设计体育战术。它的主要用途是进行精细的体育战术分析,尤其是在篮球战术设计方面表现卓越。对于体育专家和教练而言,Smartboard是强大的战术设计工具。在设计新战术时,他们可以在系统的战术板上绘制球员的跑位、传球路线等,系统会根据这些输入,结合比赛的各种情境因素,如比分差距、剩余时间等,模拟出战术执行的效果,并给出改进建议,帮助教练优化战术。对于球迷来说,Smartboard可以帮助他们深入了解比赛中的战术运用。以往球迷想要理解复杂的战术配合往往很困难,但通过Smartboard,他们可以直观地看到战术的模拟过程,以及每个球员在战术中的作用,从而更好地欣赏比赛。Smartboard 的实现依托于一套复杂且精妙的技术架构,主要包含用户输入、模型输出和迭代探索三个关键部分。在用户输入部分,它支持多模态输入,用户不仅能在战术板上绘制战术草图,还能通过文本、图表、表格等可视化元素输入信息,并且可以使用自然语言与系统交互,方便地表达自己的战术意图。在模型输出模块中,系统中的LLM智能体会对用户输入进行处理。它采用分层推理机制,从比赛上下文、团队、球员和动作四个层面深入分析,然后将任务分解为推荐、解释和评估。会根据用户设定的战术和场景推荐多种战术变体,解释战术的设计思路和执行逻辑,评估每个战术的潜在效果和可行性。迭代探索模块则让用户可以根据模型输出的结果,对战术进行调整和优化。用户在得到模拟结果后,如果不满意可以返回修改战术设置,再次模拟,不断循环这个过程,直到找到满意的战术方案 。通过这样的技术架构,Smartboard实现了高效、智能的体育战术分析功能,为体育战术领域带来了新的发展方向。
在当今数字化时代,体育领域的发展也与前沿技术紧密相连。体育战术分析作为提升比赛策略、增进观众理解的关键环节,正经历着深刻的变革。“Smartboard: Visual Exploration of Team Tactics with LLM Agent”这一研究成果,为体育战术分析带来了全新的视角和强大的工具。它巧妙地融合了大语言模型(LLMs)与可视化技术,构建出功能强大的Smartboard系统,为体育爱好者、教练、分析师等提供了前所未有的战术分析体验。接下来,让我们深入探究这一创新技术背后的奥秘。
在探讨Smartboard系统之前,我们先来了解一下传统体育战术分析所面临的困境。在团队运动中,战术是决定比赛胜负的关键因素之一。以篮球为例,战术涉及到多个球员之间的协作、配合以及根据比赛形势做出的动态调整。无论是体育专家进行专业的战术设计,还是球迷试图更深入地理解比赛,对战术的分析都至关重要。
然而,传统的战术分析面临着诸多难题。一方面,体育数据的规模和复杂性不断增加。一场篮球比赛会产生海量的数据,包括球员的位置、运动轨迹、传球、投篮、得分等详细信息,以及比赛的各种情境因素,如比赛的不同时段、比分差距、剩余时间等。处理这些数据需要耗费大量的时间和精力,而且仅仅收集数据远远不够,更关键的是如何从这些数据中提取有价值的信息,这对分析者的专业知识和分析能力提出了很高的要求。
另一方面,即使通过先进技术(如从视频中提取数据、检测数据模式等)减轻了部分数据处理的负担,战术分析的核心难题——理解数据背后的意义,仍然存在。传统的基于可视化的分析方法,虽然通过设计统计模型来定量评估战术的有效性,并利用图表、图形等可视化手段展示结果,但用户往往需要进行复杂的推理,才能将战术中的各种元素与最终的比赛效果联系起来。例如,从球员的一系列跑位、传球数据中,推断出该战术是否成功创造了得分机会,以及在不同比赛情境下的适用性,这对于普通用户来说具有一定的难度。
为了突破传统体育战术分析的困境,研究人员创新性地将大语言模型(LLMs)与可视化技术相结合,开发出了Smartboard系统。LLMs近年来在自然语言处理领域取得了巨大的成功,展现出强大的理解复杂文本描述和推理时空数据的能力。这一特性使得LLMs在体育战术分析中具有巨大的潜力,它不仅能够理解复杂的战术文本描述,还能通过战术推理为用户提供前瞻性的见解,这是传统模型难以企及的。
在Smartboard系统中,用户与系统的交互更加自然和直观。用户可以在战术板上进行草图绘制,用简单的图形和线条定义战术,比如球员的跑位路线、传球方向等。同时,还能通过可视化的操作界面,进一步指定战术的具体场景,如选择特定的比赛比分差距、参与的球员和球队等信息。这些多模态的输入方式,将用户的战术意图清晰地传达给系统。
系统中的LLM教练代理接收到用户的多模态输入后,会利用其丰富的篮球战术知识进行分析和模拟。它会根据用户设定的战术和场景,模拟球场上接下来可能发生的情况,包括球员的动作、对手的反应以及战术可能产生的效果等。教练代理的模拟结果会以可视化的形式呈现给用户,比如通过动态的图形展示球员的实时位置变化、战术的执行流程等。用户可以与教练代理进行逐步交互,不断调整战术和场景设置,深入了解战术的制定过程及其在不同情况下的变化形式,从而更全面地掌握战术的本质。
三、Smartboard系统的技术框架 (一)用户输入模块:多元交互,精准传达意图
1.多模态输入方式:为了让用户能够全面、准确地向LLM代理传达信息和意图,Smartboard系统提供了多种输入方式。可视化元素在其中发挥了重要作用,文本、图表和表格等基本可视化形式,能够直观地呈现各种类型的数据,帮助用户更好地理解和操作。例如,用户可以通过图表查看球员的历史数据,了解其在不同比赛中的表现,从而更有针对性地制定战术。同时,用户可以通过与这些可视化元素进行交互,如点击、拖动、缩放等操作,轻松定制战术分析的场景,将更多的上下文信息融入到战术设置中。
3.自然语言交互增强:自然语言交互是Smartboard系统的一大特色,它进一步增强了用户与系统之间的沟通效率。自然语言在系统中被分为三种类型,分别用于丰富背景描述、指定战术要求和提供反馈评论。用户可以直接在聊天框中输入自然语言,描述自己的战术思路,比如“让控球后卫突破后传球给空位的得分后卫”,也可以通过语音输入功能,更便捷地与系统进行交流。此外,用户还能选择预定义的标签来细化输入,如“进攻战术”“防守策略”“特定球员动作”等标签,从而更精确地控制生成结果,使系统更好地理解用户的意图。
1.分层推理机制:Smartboard系统中的LLM代理在进行战术分析时,采用了一种独特的分层推理机制。它从四个不同的层次对战术进行深入理解和分析,包括上下文层、团队层、球员层和动作层。在上下文层,代理重点关注比赛的整体情境和特定场景,如比赛的阶段(是常规时间还是加时赛)、比分差距(领先或落后多少分)、剩余时间等因素,这些因素会对战术的选择和执行产生重要影响。团队层,代理会考虑团队的整体战略和风格,比如有的团队擅长快攻,有的团队则侧重于阵地进攻。球员层,代理会分析每个球员的技术能力和表现,如球员的投篮命中率、传球视野、防守能力等,以便更好地发挥球员的优势。动作层,代理会关注战术动作的细节及其执行情况,如传球的力度、角度,跑位的时机、路线等。通过这种自上而下的分层推理方式,LLM代理能够全面、深入地考虑复杂战术中的各种因素和视角,为用户提供更准确、更有价值的分析结果。
2.任务分解与输出:为了满足用户在战术分析过程中的不同需求,LLM代理将任务分解为推荐、解释和评估三种类型。在推荐任务中,模型会根据用户的输入,为战术设置提供各种合适的选项和变体。比如,当用户设计了一种进攻战术时,代理可能会推荐不同的球员组合、不同的跑位方式,或者针对不同的防守策略给出相应的应对战术,帮助用户拓展战术思路,发现更多潜在的战术可能性。解释任务则深入挖掘战术决策背后的逻辑,让用户了解每个战术动作的目的和依据。例如,代理会解释为什么某个球员要在特定的时间点跑到某个位置,这样做对整个战术的推进有什么作用,帮助用户更好地理解战术的设计原理。评估任务对模拟结果进行全面分析,帮助用户评估每个战术设置的潜在价值和适用性。代理会从得分机会、失误风险、对球员体力的消耗等多个角度对战术进行评估,让用户清楚地了解每个战术的优缺点,从而做出更合理的决策。
1.迭代交互流程:Smartboard系统支持用户进行迭代交互,这是其实现深入战术探索的关键机制。用户的输入作为战术设置的起点,引导模型针对特定场景进行模拟。模型输出的结果为用户提供了新的见解和选择,用户可以根据这些结果进行进一步的分析和比较。例如,用户可以对比不同模拟结果中球员的表现、战术的得分效率等指标,选择最符合自己期望的结果推进到下一轮战术模拟。在这个过程中,用户可以不断调整战术设置,如改变球员的位置、调整战术的执行顺序等,然后再次提交给模型进行模拟。通过这样不断循环的过程,用户能够在设置和模拟之间反复迭代,逐步优化战术,实现对战术的不断进化,挖掘出战术的最大潜力。
2.用户与模型的协同合作:在迭代探索过程中,用户和LLM代理紧密合作,形成了一种协同效应。用户通过不断调整输入和选择不同的模拟结果,向模型传达自己的需求和偏好。比如,用户在看到某个模拟结果中某个球员的使用率过高,可能会调整战术,减少该球员的参与度,然后再次模拟。LLM代理则根据用户的反馈,持续生成更符合用户期望的结果。代理会学习用户的调整模式和偏好,逐渐优化自己的模拟和分析,提供更精准、更符合用户需求的建议。这种协同合作的方式使得用户能够在不断的探索中,更深入地理解战术,发现更多潜在的战术可能性,从而提高战术分析的质量和效率。
1.视觉元素提取:在Smartboard系统中,实现多模态信息的有效对齐是关键技术之一,而视觉元素提取是其中的重要环节。战术板包含丰富的视觉信息,如代表球员的图形、表示轨迹的线条和指示动作的箭头等。为了精确提取这些视觉信息,系统从空间和时间两个维度进行处理。在空间方面,通过建立坐标系,系统能够准确地定位球员在球场上的位置,并用连续的坐标点表示球员的轨迹,从而更好地呈现空间信息。比如,系统可以精确地记录球员从球场的某个角落开始跑位,经过哪些位置,最终到达何处。在时间方面,根据草图的绘制顺序,系统对动作的先后顺序进行描述,展现战术执行的逻辑顺序。这样,系统就能完整地获取战术板上的视觉信息,为后续的分析提供准确的数据支持。
2.语义集成策略:提取完视觉元素后,还需要将其与语义信息进行整合,以实现多模态信息的有效对齐。系统采用预先设定的模板来组织这些提取到的视觉元素。在模板中,融入了球员之间的互动信息,从而增强整体描述的可理解性。例如,对于一个传球动作,模板不仅会记录传球球员和接球球员的位置信息,还会描述传球的方向、力度等语义信息,以及这个传球动作与其他战术动作之间的关系。通过这种方式,无论是视觉信息还是语义信息,都能在统一的框架下进行处理,为后续的分析提供更准确的数据支持。
1.知识文档构建:领域知识对于LLM代理的性能至关重要。为了弥补LLMs在特定战术分析场景中知识的不足,Smartboard系统构建了知识文档。这些知识文档分为基于战术和基于场景的知识两部分,以文本数据的形式组织起来。基于战术的知识来源于多模态对齐后的战术图像 - 文本对,包含战术板的视觉描述和坐标系信息,帮助LLM代理理解战术的细节。例如,对于常见的挡拆战术,知识文档中会详细描述挡拆的动作要领、不同球员的角色和跑位路线等。基于场景的知识则用于用户向代理传达定制的场景信息,涵盖了球员的身体信息(如身高、体重、速度)、统计数据(如投篮命中率、助攻数)和行为信息(如球员在特定情况下的习惯动作)等多个方面,使代理能够更全面地理解战术场景,从而做出更准确的分析和模拟。
2.检索增强生成(RAG):为了让LLM代理能够充分利用这些知识文档,系统采用了检索增强生成(RAG)技术。通过使用OpenAI提供的文本 - 嵌入3 - 大型模型对知识文档进行嵌入处理,将生成的向量存储在FAISS向量存储中。这样,LLM代理在运行过程中就能高效地检索相关信息。当代理接收到用户的战术分析请求时,它会从向量存储中检索与当前请求相关的知识文档,将这些知识融入到分析过程中,增强其对外部知识的访问和整合能力,从而提升生成结果的质量。例如,当用户询问某个特定战术在面对不同防守策略时的应对方法,代理可以快速检索到相关的知识文档,结合用户的输入进行分析,给出更准确、更有针对性的建议。
1.动态提示模板设计:提示工程在提升LLMs解决特定领域任务的性能方面起着关键作用。Smartboard系统设计了动态提示模板,该模板包含六个重要组件。首先明确LLM代理的角色,将其设定为经验丰富的篮球教练,赋予其相应的能力和知识背景。然后提供知识文档,让代理在分析过程中能够参考相关信息,确保其分析具有专业性和准确性。接着指定具体的任务,如推荐战术设置、解释战术逻辑和评估战术效果等,使代理清楚知道需要完成的工作。同时定义输出格式,确保代理生成的结果具有规范性和可读性,方便用户理解和使用。此外,还提供多模态输入,触发代理进行分析,将用户的各种输入信息整合到分析过程中。最后,通过“让我们一步一步思考”的提示,引导代理按照上下文、团队、球员和动作四个层次进行推理,确保分析过程全面、深入。
2.历史信息利用:为了使LLM代理能够更好地利用历史信息,系统将每次的提示和响应都保存为历史节点。在后续的交互中,这些历史节点作为输入的一部分提供给代理,帮助代理生成更连贯、相关的响应。例如,当用户在进行一系列战术分析时,代理可以参考之前的交互历史,了解用户的偏好和关注点,从而更好地理解用户当前的需求。如果用户之前多次关注某个球员在特定战术中的表现,代理在后续的分析中会更着重考虑该球员的因素,提供更符合用户期望的分析结果。通过这种方式,代理能够在不断的交互过程中,逐渐“记住”之前的讨论内容,更好地理解用户的需求和意图,从而提供更优质的服务。
1.结构化标签分类:为了让用户能够灵活控制LLM代理的生成结果,Smartboard系统设计了结构化标签。这些标签根据不同的目的分为描述、需求和评论三类。描述标签用于补充输入信息,帮助代理更好地理解当前的情况。比如,用户可以使用描述标签说明比赛的氛围、球队的近期状态等信息,让代理在分析时考虑这些因素。需求标签则将用户的具体要求融入任务中,确保代理的输出更符合用户的期望。例如,用户可以通过需求标签指定战术的重点,如“强调快攻”“注重防守篮板”等。评论标签作为对响应的反馈,与当前响应一起引导代理优化后续的输出。当用户对代理给出的某个战术建议不满意时,可以使用评论标签指出问题所在,代理会根据这些反馈调整后续的输出,提供更符合用户需求的建议。
1.聊天视图:聊天视图是用户与系统自然交互的核心窗口。它不仅支持用户输入文本指令,还提供了丰富的预定义标签,如战术类型、球员特点、比赛情境等。这些标签能帮助用户快速精准地传达需求,系统也会实时反馈,确认指令接收、展示操作状态并给予下一步建议。同时,聊天视图还支持语音输入,大大提升了交互效率。例如,教练在紧张的比赛分析场景中,无需手动打字,直接通过语音就能向系统询问特定战术在当前比分和剩余时间下的可行性,系统会迅速给出分析结果和建议。此外,聊天视图还能展示系统的推理过程和依据,让用户更深入地理解战术分析的逻辑,增强用户对系统的信任。
2.设置视图:设置视图包含战术、对阵和情境三个子视图。战术视图是用户绘制战术的主要区域,提供多种图形元素和操作工具,用户能轻松创建复杂战术。比如,用不同颜色和形状的图标代表球员,线条表示传球、跑位路线,还能添加注释说明战术要点。对阵视图则聚焦于球队和球员的对阵信息,用户可以选择不同的球队进行模拟对阵,查看球员之间的对位数据,包括得分、篮板、防守效率等,以此为依据调整战术布局。情境视图允许用户检索历史比赛中的相似情境,获取参考数据和案例。例如,在设计针对特定球队的防守战术时,用户可通过情境视图查找过去与该球队比赛时成功的防守策略,以及在相似比分、剩余时间下的应对方法。
3.模拟视图:模拟视图是展示战术模拟结果的关键界面,包括战术框和叙述视图。战术框最多可展示三种推荐战术及其变体,每个战术框详细呈现战术名称、战术板图形、文字描述和评估信息。用户能直观对比不同战术的特点和优势,选择最适合的方案。叙述视图则深入解释每个战术中球员的具体行动、战术目的、应对策略以及可能的结果。例如,在一个进攻战术的模拟中,叙述视图会详细说明每个球员在不同阶段的跑位目的,如何创造得分机会,以及面对对手不同防守时的应对方式,帮助用户全面理解战术细节。此外,模拟视图还支持用户对模拟过程进行控制,如暂停、快进、回放等,方便用户深入分析每个环节。
4.历史视图:历史视图主要用于记录和管理用户的战术探索过程。它通过战术卡和约束列表来实现这一功能,战术卡以树状图的形式展示用户的战术模拟路径,每个节点代表一个战术状态,用户可以通过时间滑块来调整战术的执行时间,回顾不同阶段的战术变化。约束列表则记录了用户在探索过程中的操作历史,包括全局约束和局部约束,方便用户回溯和分析之前的操作。例如,用户可以查看在某个战术探索中,是哪些全局约束(如选择的球队、比赛时段)和局部约束(如对特定球员的指令)影响了最终的战术结果,从而总结经验,优化后续的战术设计。
1.战术设置阶段:在战术设置阶段,用户首先在设置视图的战术视图中绘制战术草图,明确球员的行动路线和角色分配。然后,通过对阵视图选择合适的球队和球员对阵组合,并参考球员的统计数据和身体信息进行调整。如果需要,用户还可以在情境视图中检索相似的战术情境,获取更多灵感。完成设置后,点击保存按钮,系统会根据用户的输入生成推荐的战术。
2.模拟分析阶段:进入模拟视图,用户可以查看系统推荐的战术变体,并在叙述视图中详细了解每个战术的解释和评估。根据这些信息,用户可以选择接受推荐的模拟结果,将其更新到设置视图中,进行下一轮的战术调整和模拟;也可以切换不同的模式,如解释模式和评估模式,从不同角度深入分析战术;还能点击球员查看详细的叙述信息,进一步了解球员在战术中的作用。
3.历史回顾与优化阶段:在历史视图中,用户可以随时回顾自己的战术探索过程。通过展开战术卡的约束列表,查看每个战术状态的详细信息;选择特定的战术状态节点,将设置视图和模拟视图的信息回滚到该状态,进行重新分析和调整;还能通过搜索功能,快速找到之前保存的战术,提高战术优化的效率。
1.案例一:深入剖析horns offense战术:在第一个案例中,专家E1对horns offense战术进行了深入探索。他首先选择了底特律活塞队(DET)和金州勇士队(GSW)的对阵场景,通过观察球员的统计数据,发现DET球员在面对GSW的防守时投篮命中率略有下降。基于此,他认为通过团队运动创造更多的空位投篮机会对于DET队的进攻至关重要。在模拟过程中,他针对不同的防守情况进行分析,如在面对库里的绕前防守时,发现球员需要调整跑位路线才能更好地接球投篮;还探索了flex screen战术对球队得分机会的优化作用,最终结合horns offense和flex screen战术,得出了有效的战术变体。
2.案例二:探究hedge defense战术的运用:案例二则聚焦于hedge defense战术。专家E2选择了圣安东尼奥马刺队(SAS)和休斯顿火箭队(HOU)的比赛场景,重点关注哈登的三分球投篮情况。在模拟过程中,他发现SAS队在执行hedge defense战术时,需要密切关注哈登的行动,以避免犯规;同时,为了应对霍华德的存在,球队需要进行有效的协防和补防,形成“hedge, help, and recover”的完整防守策略。通过这两个案例研究,充分展示了Smartboard系统在帮助专家深入分析战术、发现新的战术思路方面的强大能力。
1.系统可用性认可:在完成案例研究后,研究团队对专家进行了访谈。专家们对Smartboard系统的可用性给予了高度评价,认为它是分析篮球比赛战术的有效工具。专家们提到,系统的细粒度战术分析功能使他们能够更深入地理解战术的各个部分,以及球员之间的复杂互动,还能考虑到更多不同情况下的战术变体。与传统的分析视频的方式相比,使用Smartboard系统与LLM代理进行交互,不仅节省了大量时间,还能发现一些容易被忽视的重要情况。
2.改进建议提出:专家们也提出了一些宝贵的建议。比如,希望系统能够考虑球员在比赛中的实时状态,因为球员的身体状况和心理状态会对战术执行效果产生重要影响;还建议系统在历史视图中增加战术分享和协作的功能,方便教练与球员、分析师之间交流战术想法,进一步提升系统的实用性和价值。
1.创新的分析方式:Smartboard系统将LLMs和可视化技术有机结合,为体育战术分析带来了全新的方式。这种结合不仅充分利用了LLMs强大的理解和推理能力,还借助可视化技术将复杂的数据和分析结果直观地呈现给用户,大大降低了战术分析的难度,提高了分析的效率和准确性。
2.可扩展的系统框架:系统采用模块化和可扩展的框架设计,具有很强的适应性。无论是与LLM代理的交互组件,还是信息集成、任务推理等模块,都可以根据不同的需求进行扩展和定制。这种可扩展性为系统的未来发展提供了广阔的空间,使其能够不断适应新的技术和应用场景。
3.良好的用户体验:从用户体验的角度来看,Smartboard系统提供了丰富的交互功能和直观的操作界面。多模态的输入方式、实时的反馈机制以及清晰的可视化展示,使得用户能够轻松地与系统进行交互,深入探索战术的奥秘。同时,系统的迭代探索机制也鼓励用户不断尝试新的战术方案,提高了用户的参与度和积极性。
2.多模态融合挑战:在多模态融合方面,虽然系统采用了多种技术实现了视觉元素与文本信息的对齐,但仍存在一些不够完善的地方。在复杂战术的可视化展示中,可能会出现信息过载的情况,导致用户难以快速准确地获取关键信息。而且,不同模态之间的信息转换和融合可能会出现偏差,影响系统对用户意图的准确理解和分析结果的准确性。
1.实时数据集成:为了满足专家和教练对实时战术分析的需求,未来Smartboard系统计划集成实时数据。通过与比赛现场的数据源对接,获取球员的实时位置、运动状态、比赛比分等信息,系统能够在比赛进行过程中为用户提供实时的战术分析和调整建议。这将极大地提升系统的实用性,帮助教练在比赛中做出更及时、准确的决策。
2.多领域拓展应用:Smartboard系统目前主要应用于篮球战术分析,但它的潜力远不止于此。未来,研究团队计划将其推广到其他团队运动项目,如足球、橄榄球、冰球等。通过调整系统的知识模型和可视化设计,适应不同运动项目的特点和需求。此外,该系统的设计理念和技术框架还可以拓展到其他战术领域,如军事战术规划、舞蹈编排、商业策略制定等,为这些领域的决策分析提供新的工具和方法。
3.性能优化与算法改进:针对LLM目前存在的性能问题,未来将进一步优化模型和算法。通过改进提示工程,使LLM能够更好地理解用户的意图,提高生成结果的准确性和可靠性。同时,不断扩充和优化知识文档,引入更多高质量的数据源,提升LLM对各种场景的理解和应对能力。在多模态融合方面,研究更先进的算法,提高信息转换和融合的准确性,减少信息过载和偏差问题,提升系统的整体性能。
•图片内容:展示了Smartboard系统框架,包含多模态输入、知识集成、提示生成、精细控制和LLM代理推理等部分。
•解读:此图呈现系统核心架构。多模态输入(A)涵盖文本、图表等,助用户表达战术意图;知识集成(B)整合领域知识提升LLM代理能力;提示生成(C)基于多模态输入引导LLM代理执行任务;精细控制(D)添加额外要求把控推理;LLM代理推理(E)按步骤分析,从多层面思考,为系统运行提供逻辑支持(引用自文章第3.3节“Requirement Analysis”)。
•图片内容:展示两个多模态对齐模板,用颜分不同信息,如橙色表示球员角色,蓝色表示动作等。
•解读:该图呈现多模态对齐方式。通过提取视觉元素与语义描述结合,实现战术图像和场景文本对齐。如“02 will move from(10,36)via(23,40)to(37,36)”,为LLM代理理解战术提供准确信息,提升分析准确性(引用自文章第5.1节“Multimodal Alignment”)。
•图片内容:展示知识集成框架,包括基于战术和基于场景的知识,以及嵌入、存储和检索过程。
•解读:此图说明系统知识集成机制。基于战术的知识(A)源自多模态对齐,含战术视觉描述和坐标系;基于场景的知识(B)涵盖球员身体、统计和行为信息。利用文本 - 嵌入3 - 大型模型嵌入知识文档,存入FAISS向量存储,供LLM代理检索,增强其对战术场景理解(引用自文章第5.2节“Knowledge Integration”)。
•图片内容:展示战术设计多步提示生成流程,从指定LLM代理角色到要求其按思维链推理。
•解读:该图详细呈现提示生成过程。明确LLM代理为篮球教练(1),指定分析用知识文档(2),设定推荐、解释和评估等任务(3),定义输出格式(4),提供多模态输入(5),引导其按上下文、团队等层面推理(6),确保生成符合用户需求的高质量输出(引用自文章第5.3节“Prompt Generation”)。
•图片内容:展示Smartboard系统四个视图,即聊天视图、设置视图、模拟视图和历史视图。
•解读:聊天视图(A)实现用户与系统自然语言交互;设置视图(B)用于定义初始战术,含战术、对阵和情境子视图;模拟视图(C)展示LLM代理推荐战术及解释评估;历史视图(D)记录用户战术探索过程。这些视图协同,为用户提供完整战术分析交互体验(引用自文章第6.1 - 6.4节关于各视图的介绍)。
•图片内容:以底特律活塞队和金州勇士队比赛为例,展示战术分析过程中的多种战术动作和变体。
•解读:此图结合案例1,呈现专家对horns offense战术的探索。从初始战术设置到针对不同防守情况调整,如O1的传球、跑位及不同防守下的应对,展示系统辅助专家分析战术、发现新战术变体的能力,体现系统在战术分析中的实用性(引用自文章第7.1节“Case 1”)。
•图片内容:以圣安东尼奥马刺队和休斯顿火箭队比赛为例,展示对hedge defense战术的分析过程。
•解读:该图围绕案例2,呈现专家对hedge defense战术的研究。从模拟防守对方的挡拆战术,到根据模拟结果调整战术,如增加协防和补防,体现系统助力专家深入分析战术、总结战术原则的功能(引用自文章第7.2节“Case 2”)。
作者Max,一位在长春读应用心理学的大三本科生,社交自媒体平台专注于输出体育科技以及体育科学相关内容,期待未来有能力的基础下能加入更多基于人工智能的体育分析与科技。有其他科研合作的欢迎您的联系。
我比较喜欢体育科学、大语言模型以及AI相关的,平常运动喜欢篮球足球以及体能训练更加关注此方向的产品应用和创新。
(我有时候会看一些可穿戴设备、动作捕捉以及AI领域的科研、产品应用,欢迎交流,期待向各位学习!)
自媒体视频制作/公众号文章代做/翻译/AI智能体&工作流(大语言模型)搭建/科研&推文绘图/PPT制作也欢迎您的联系!期待您的合作!
团队提供AI支持,体育/健康/生物工程和人工智能,有数据即可(表现分析/体育工程/生物力学等领域都可以)我们可以做一切和AI交叉学科结合相关的科研支持,您需要提供自己领域内的数据。(有需求的各位联系我!)
摘要:战术在团队运动中至关重要,它引导队员在赛场上的互动方式。体育迷和专家都对分析体育赛事有强烈的需求。现有的方法虽然可以让用户从视觉上感知多元战术效果,但用户经历复杂的推理过程,才能将每个战术中的队伍互动与最终的战术效果建立联系。研究中,我们与篮球专家合作,提出了一种循序渐进的方法,旨在帮助用户更深入地理解每一个战术的操作原理,并根据需求自身定制局部。用户能够在局部上逐步渐进的局部,一个LLM智能体(教练智能体)会模拟每一步中可能出现的动作,并通过分面可视化的方式来使用户展示模拟结果。我们开发了一个可扩展的框架,该框架整合了大语言模型(LLM)和可视化技术,以促进通过用户多模态输入与教练智能体进行沟通交流。基于这个框架,我们设计并开发了Smartboard,这是一个基于智能体的交互式可视化系统,用于进进行细粒度的场景分析,尤其适用于场景设计。Smartboard为用户提供了一套重构的流程,包括设置、模拟和改进,允许用户基于特定的个性化场景对场景进行迭代探索。我们基于真实世界的篮球数据集开展了案例研究,以此来证明我们系统的有效性和实用性。
开发了一个可扩展的框架,支持与LLM智能体进行复杂交互,用于篮球战术分析。
构建了一个基于智能体的交互式可视化系统,支持用户通过探索、推荐和解释,迭代地进行设计方案的战术分析。
战术可以被定义为多个系列有计划的行动。专家和体育迷都有着强烈的愿望去理解和分析战术。具体来说,对于体育迷而言,分析战术能够帮助他们详细说明体育运动中的复杂之处,比如各支球队如何制定战略、如何灵活适应比赛情况以及各地竞争,首先提升他们自身在项目运动中的技能与表现,并增强他们观看比赛时的投入程度。虽然对专项分析的需求很大,但进行专项分析颇具挑战性,这不仅需要因为能量大量能量来处理数据,还需要具备丰富的领域知识,才能从数据中获取有价值的意见。
先进技术已经成功评估简化数据处理的工作量,例如从视频中提取数据[24, 35]以及检测数据模式[32, 34, 48]等。因此,专项分析,特别是在专项设计方面的障碍,存在理解如何数据的意义[57]。基于可视化的方法[2,55]因此被引入来解决这个问题。这些方法通常涉及体育领域知识设计统计模型,并利用这些模型对专项的有效进行定量评估。人们还进一步设计并运用不同形式的可视化手段,来帮助用户更好地理解模型的结果。虽然这些方法有一定的价值,但最终用户仍然很难从数据中获得深刻的理解[53]。这经过一个复杂的推理过程,需要将每个策略中的多种交互与策略结果联系起来。
我们建议利用大语言模型(LLM)和可视化技术来解决这个问题。LLM在理解复杂文本描述[33]以及对时空数据进行推理[22]方面表现出较强的能力。这表明LLM不仅有很大的潜力去理解复杂的情景文本描述,还能够通过推理推理提提供直观的意见[6],而这是传统模型本所不具备的能力。在研究中,我们选择篮球这一针对性的运动作为研究场景。通过与篮球专家合作,我们提出了一个基于LLM的糖尿病可视化系统——Smartboard。用户可以在布局上类似的草图他们还可以通过可视化操作进一步明确特定场景,比如比分差距或者特定的球员和球队等信息。基于LLM的教练智能体将接收多模态输入,并借助其掌握的篮球战术知识,模拟球场上后续可能出现的情况。教练智能体的输出结果会转化为可视化的形式呈现给用户,用户可以与该智能体进行交互,从而了解规格的制定过程及其可能的变化。智能板显着降低了用户所需的知识模块,因为教练智能体可以帮助用户在规格设计和分析过程中完成复杂的推理任务。
然而,在开发过程中我们遇到了两个主要挑战。第一个挑战是找到一种在特定设计的特定分析中运用LLM的方法。篮球专家对特定的理解存在差异,这使得定制化的输入需求成为必然。此外,为了提高模拟环境的真实感,模拟结果应该提出出连贯且易于理解的决策步骤序列。然而,法学硕士领域知识的限制严重影响了模拟结果的质量,使得这项任务充满挑战。第二个挑战是为专门设计提供有效的探索、推荐和解释。希望全面地探索模拟场景,但在模拟过程中预测所有可能的场景是非常困难的[20]。因此,根据当前的上下文提供推荐拓展就很有必要[52]。另外,由于LLM的输出形式仅限于自然语言[68],用户很难快速从大量的输出文本中提取关键信息。因此,将文本信息转化为可视化形式并提供解释就显得非常紧迫。设计一个基于智能体的麻醉可视化系统,用于局部设计中的探索、推荐和解释,是一个紧迫的任务。
为此,我们提出了一个交互框架来应对第一个挑战。我们运用提示工程来增强知识,整合我们可控的外部信息引起专家的个性化需求,并利用思维链(CoT)[58]方法来引导结果。基于这个框架,设计了一个交互框架来解决第二个挑战。用户可以自由地处理第二个挑战,并通过这个系统传达自己的选择意图。然后,他们可以对推荐结果进行分析,并正确的结果来推进策略模拟的下一步。在分析的任何阶段,用户都可以对结果进行解释。通过这样的迭代过程,用户不断探索,直到获得满意的完整意图。总之,我们的主要贡献如下:
2相关工作:本节从两个角度介绍相关研究,即体育可视化以及LLM在可视化中的应用。
在篮球领域,大多数工作都聚焦于设计可视化系统,以推动分析任务的进行。GameViews[71]和GameFlow[4]设计的可视化工具能够呈现篮球比赛不同层面的情况。在分析球员表现方面,Buckets[1]和HoopInSight[11]为投篮表现提供了具有深刻见解的可视化,在不同背景下进行对比分析。在团队分析方面,PluMP[51]将正负值层次团队层面,提供了一个可视化界面,供更深入的探索。OBTracker[63]引入了一个可解释的无球移动模型,用于评估个人贡献,并汇总了这些贡献以总结团队整体的移动模式,还采用了一个交互式的视觉分析系统来解释结果。在训练方面,VisionCoach[30]引入了一个沉浸式虚拟现实系统,重点从部分视角进行传球的视觉训练。除分析外,还有一系列工作重点为篮球数据塑造叙述性可视化。例如,Chen等人[5,73,74]通过允许用户编辑特殊效果,基于用户动作生成增强视频,提升了视频的观看次数体验。林等人[29]探索了嵌入式可视化的设计空间,以增强篮球观众的观赛体验。傅等人[10]开发了一个可视化系统,帮助作家和记者解决引人入胜、数据驱动的篮球故事。这些工作为我们的可视化设计提供了指导。然而,主要的挑战,即利用可视化与法学硕士进行篮球专项分析,尚未得到。
像BasketballGAN[16]和Basketball Flow[25]这样的模拟工具也与这项工作紧密相关。它们基于用户稀疏的进攻策略对防守策略进行建模,但缺乏用于全面分析和解释模拟结果的详细可视化。此外,仅仅基于数据的模拟无法再现实际比赛场景的复杂性。
2.1体育可视化:可视化技术已广泛评估不同体育项目的分析中,如足球[2,3,49,65,67]、棒球[7,26,37]、球类运动[44,45,54 ,60,61,64]、冰球[43]、滑雪[47]和滑雪[19]等项目。许多专用的可视化系统也可满足出现,针对特定的数据类型和分析需求[9]。例如,S occerStories[41] 提供了一系列用于分析足球数据的美观可视化工具。VIRD[28]推出了一种高精度的沉浸式工具,用于分析比赛视频,这使得教练能够在羽毛球比赛视频分析中,从不同角度分析时空和姿势信息。Perin 等人[42]全面概述了适用于各类体育数据的最有效的可视化技术和分析方法。
2.2 LLM在可视化中的应用:大语言模型(LLMs)通过结合受众数据,在各个领域任务中都表现出了出色的绩效[14]。尽管功能强大,但在处理复杂任务时,用户仅通过自然语言很难准确地向LLMs传达自己的高效意愿。因此,要求需要创建可视化和界面交互方式,以帮助用户更好地理解、控制和改进了LLM的输出[12]。例如,ChartSpark[66]提出了一个可视化系统,通过吸附优化提示,帮助用户获得高质量的数据图表。为确保LLM能够基于预定义的知识完成特定任务,C2Idea[15]将设计芬兰原则提示中,使LLM能够遵循这些原则的创建方案。为帮助用户为了更好地理解LLM的输出及其工作原理,CommonSenseVis[56]开发了一个交互式可视化系统,用于解释和探索语言自然模型的常识推理能力。一系列后续研究将LLM视为智能体,以支持良好的分析,并表明LLM智能体可以帮助处理复杂信息[62],促进决策过程[70]。然而,为了促进决策过程进体育分析,尤其是篮球战术分析方面的应用探索较少。尽管法学硕士仍然具备解释时空数据的能力[21],但如何让专家借助法学硕士有效地探索和分析战术是一个挑战。为了完成这一空白,我们提出了一个可扩展的框架,使用户能够通过可视化向智能体充分表达的战术意图,包括它们复杂的时空上下文信息。
R1增强带指导的草图较差。在布局上的设置需要指导,如布局决策和建议。这种指导可以减轻草图较差的过程,使专家能够更有效地探索战略选择。
R2 整合上下文信息。特定的成功受到多种因素影响,例如身体状况、历史表现和行为模式。整合更广泛的上下文信息可以为专家的特定设置提供详细的背景。
R3展示了各种选项和变体。战术因情况而异。例如,挡拆可以根据不同选择转变为挡切。因此,专家需要了解更广泛的变化,以掌握战术在特定情境下的适用性和潜在结果。
R4展示推理过程。战术受到许多因素影响。例如,战术可能在比赛最后几分钟发生变化。因此,专家探索了战术背后的思考过程,更好地理解其优缺点。
R5用自然语言进行控制。专家在专项分析中经常使用自然语言进行交流和分享想法。例如,他们会指定一个为三分球创造空间的专项目标。因此,在整个过程中使用自然语言进行控制,有助于专家简化完善和他们需求的表达。
R6根据用户反馈进行调整。专家有独特的意见,需要经常修改或优化相应的战术。,系统根据用户反馈进行调整的能力有助于专家高效地完善和改进他们的战术。
访谈1:为了深入了解战术分析,尤其是战术设计所涉及的工作流程,我们与专家们进行了长达一小时的半成型访谈。根据专家们的说法,战术设计是一个迭代循环的过程。首先,他们会分析真实视频,并在战术上进行较为紧张的战术设置。然后,这些设置会在训练中应用,以评估战术执行的有效性和实用性。在分析结果之后,他们会根据需要完善或推进战术。这个过程会不断重复,直到专家们获得满意的战术。
专家们在专项设计过程中面临消防挑战。他们通常需要分析视频来完善专项部署,这是后续活动的任务。另外,训练中的间隙变化可能会导致破坏和挫败感,这可能会降低队员的积极性和坚持性。虽然专家们尝试使用AI模型来预测专项执行结果,但他们很难向这些模型表达自己具体的专项意图。例如,E1在专项模板中提到拟中难指定对手的特定训练局部体验。此外,E2和E3表示,迭代分析过程与模型进行封闭且有效的交互。然而,他们发现自己在有效调整模型参数方面存在不足[13]。专家们尝试使用ChatGPT[38]来优化局部分析需要,但也遇到了问题。这些促使我们设计一个基于系统LLM的激励来应对这些挑战。
访谈2:基于领域挑战,我们开发了一个系统原型,文盲专家进行了后续访谈。我们重点关注他们对利用LLM辅助战术分析的期望。E1和E4提到,整合更多信息可以帮助他们部署战术细节。例如他们,可以更好地根据球员的习惯动作调整战术。E3和E5指出,展示情景的推理过程可以帮助他们分析不同情况下的变化,比如情景在当前情境下是如何演变的,以及为什么这些变化是如何演变的。E2和E6强调了使用自然语言与智能体进行交互的重要性。他们认为在分析过程中,用自然语言能够有效地准确传达他们的具体要求。
战术板是一种用于局部和展示篮球战术的工具。它有助于教练和球员之间理解战术执行,是战术协调的关键。
球员角色指的是每个球员在战术中承担的责任,包括控球后卫、得分后卫、小前锋、大前锋和中锋。每个球员在战术中都有独特的贡献。球员可以根据战术需求切换角色。
比赛的影响是影响战术效果的外部因素,例如比赛阶段、比分差距、剩余时间等。
情况是特定执行过程中的特定场景。在本文中,该情况用于从数据集中检索相似的场景。
3.1 背景和概念:篮球是两支球队之间的竞技运动,每支球队由五名球员组成,他们在长方形的球场上展开角逐,以争取得分。篮球比赛为球员们规定了一系列行动,这些行动能够创造赢得比赛的机会。相关概念定义如下:
3.2访谈:我们与六位篮球专家合作了一年,致力于开发一个用于战术设计的吸引力系统。这些专家包括两名篮球教练(E1和E2,均拥有多年执教经验)、两名篮球分析师(E3和E4,在战术分析方面经验丰富)以及两名体育科学专业的博士(E5和E6,都曾是精英队的杰出球员)。
3.3 需求分析:根据访谈结果,我们总结了六个符合专题设计的需求分析工作流程,这些需求专题了专题设置、模拟和改进三个方面。
3.4数据描述:我们使用由STATS SportVU[31]提供的开源数据集,该集记录了2015 - 16赛季的631场NBA常规赛。每个场次都记录了事件数据和跟踪数据。事件数据主要了投篮、犯规、辅助数据等关键时刻,以及它们的上下文信息。跟踪数据揭示了球员和球的精确空间位置,以每秒25帧的帧捕获。这些数据的详细信息见1。另外,我们通过NBA api 收集了最近球员的身高和体重,涉及球员的身体属性来增强我们的分析。
4框架:基于这些需求,我们提出了一个框架(图1),以增强用户在篮球针对性设计中与LLM的交互。该框架由三个关键部分组成:首先,用户输入允许用户提供详细信息(R1,R2,R5)。其次,模型输出使LLM智能体能够根据用户需求生成结果(R3,R4)。最后,迭代探索确保用户在分析过程中使用反馈控制每个阶段(R6)。
推理要求LLM智能体从四个层面进行自上而下的思考:从上下文层面开始,关注比赛和特定场景;接着是团队层面,然后是团队的总体战略和风格;是各个层面,考虑单个团队的技术能力和表现;最后是行动层面,关注特定行动的细节及其执行。这种链的逐步思考方式使智能体能够考虑复杂的各个维度和焦点。
可视化从数据角度改进了用户输入。文本、图表和表格是可视化的基本形式。它们可以表示各种类型的数据,使用户更容易理解。用户可以通过与视觉元素来交互习惯情景分析的场景。可视化通过将更广泛的上下文信息整合到情景设置中,提供了清晰的数据支持(R2)。
分区板为用户提供了一个仔细的分区设置平台。它能够解读地传递关键分区信息,如角色、动作和动作。草图不同符合用户的偏好(R1),提供了一种表达分区信息的方法。
自然语言提供了一种用户交互的交互方式(R5)。我们将自然语言划分为清晰类型,作为额外输入来丰富的背景描述、指定特定要求并提供反馈评论。自然语言增强了用户与模型之间交互的灵活性,确保分析过程更严格地符合用户的交互方式。
4.1用户输入:上下文信息为细粒度的情境分析提供了必要的支持。为帮助用户全面向LLM智能体传达信息和意图,我们引入了草图的关联阶段,促进进一步的信息整合(图1(A,D))。这为篮球情境设计创造了一个灵活的交互环境。
4.2 模型输出:需求驱动的输出(图1(E))在整个类别探索过程中至关重要。我们使LLM智能体能够进行推理,以理解用户提供的复杂因素。此外,我们根据各种需求总结了智能体的任务类别。
5实现:本节详细介绍我们框架的实现细节。首先,介绍用于处理输入的多模态对准方法。接着,阐述如何为LLM智能体集成知识并生成提示。最后,提供用户定制化控制的相关内容。我们使用GPT-4V [40]作为前台支持。
描述:用户的描述主要用于补充输入信息。我们将这些描述添加到提示的输入组件中,以丰富的LLM智能体对当前情况的理解。
要求:我们将用户的要求纳入任务组件中。这使得用户能够为期望的响应添加语义要求,确保LLM智能体的输出更符合用户的特定需求。
评论:用户的评论作为对响应的反馈。我们将评论与当前响应一起添加,以引导智能体优化其响应。考虑到前面的上下文,智能体在整合这些评论后完成任务。
角色涉及与智能体相关的上下文描述(图4(角色))。我们明确定义了LLM所扮演的角色,并为该角色指定了必要的能力。
知识通过使智能体能够从我们提供的外部知识文档中进行检索,增强了LLM智能体的响应能力(图4(知识))。
任务包含对每个任务的具体要求。例如,推荐任务要求推荐情景设置,解释任务评估研究情景决策背后的逻辑,任务则集中于分析执行情景所需的能力以及可能的结果(图4(任务))。
输出格式描述了每个任务的具体输出内容。我们为所有明确的任务定义了一组公共变量和任务特定变量(图4(输出格式))。例如,推荐任务需要额外的输出动作类型。解释和评估任务都要求同时提供概述和详细信息。考虑概述整个战术,而详细信息则聚焦于单个球员。对于解释任务,智能体详细说明了每个球员的动作,包括这些动作如何应对战术以及其目标。评估详细信息则探究被评估球员的是否与当前动作的目标能力一致,并评估潜在的对手反应。
输入是与LLM智能体进行通信的触发条件。基本输入需要知识和图像-文本对。考虑到任务关系,解释任务的外部输入是推荐任务的输出,评估任务的输入条件包括推荐和解释任务的输出(图4(输入))。
推理用于引导逻辑推理过程。思维使LLM智能体能够全面地思考和解决问题。我们利用思维方法引导LLM沿着特定的逻辑路径进行推理,并要求模型在上下文、团队、成员和动作四个层面进行推理(图4(推理))。为了管理上下文,每个提示其响应都被保存为一个历史节点,并作为后续链交互中LLM智能体输入的最高端。这保证了LLM智能体能够利用历史信息生成连贯和相关的响应。
知识文档:知识文档由基于场景和基于场景的知识组成,并以文本数据的形式进行组织。这为LLM智能体在场景场景中提供了全面的信息,有助于其更好地理解和生成响应。
基于架构的知识(图3(A))曼哈顿多模态布局后的架构图-文本对,包括描述和布局坐标系。布局描述用于描述布局板的视觉编码,曲面图形、轮廓和箭头等元素。坐标系则包含布局板数据关系的映射。这些知识有助于LLM基于的场景知识(图3(B))旨在帮助用户向LLM智能体传输定制化的场景信息。此类知识主题场景的多个方面,包括物理信息、统计信息和行为信息,便于对场景场景有更全面的理解。具体内容如下:
检索增强生成:我们利用OpenAI提供的text-embedding-3-large模型[39]对知识文档进行嵌入处理。在FAISS支持数据库[8]中生成的支撑存储,使得LLM智能体能够高效地进行检索。这种方法增强了LLM访问和集成相关外部知识的能力,从而提高了其响应的质量。
物理信息包括在当前场景中收集的最后球员的身高和体重数据。此外,通过我们选定的场景计算最后球员的平均速度,将其作为物理信息,用于评估球员在赛季中的体能状况。
统计信息用于展示当前球队和球员的防守选择结果。我们为每组精选的球员得分场上和场下的统计数据。场上/场下信息优先进攻球员在防守球员上场或下场时的表现差异,有助于用户了解当前情况对战术的影响。我们的计算包括投篮命中数、三分球命中数、助攻数、逆转数和个人犯规中允许数字列出的五个指标,将这些指标进行归一化处理。行为信息体现在具体场景中。现有的用户研究[49],我们进行相似场景的搜索,这帮助用户将实际比赛中相似的场景执行情况与当前场景联系起来。行为信息有助于定制用户场景场景,使参考LLM智能体能够理解并生成相似的姿势。
视线提取:视线板包含丰富的视线元素,如代表队员的图形、表示轨迹的线条以及指示动作的箭头等。为了指导从视线板中提取视线信息,从空间和时间两个方面对其进行处理。
语义集成:我们使用预先设定的模板来组织获取视觉元素。为了提高整体描述的可理解性,该模板包含成员之间的交互信息,通过整合语义信息来完成对齐。
空间位置:我们建立了一个坐标系,以准确定位球员在球场上的位置,并使用连续的坐标点来表示轨迹,从而更好地进行空间表达。
时间描述:根据草图的先后顺序,我们描述动作的顺序,以表示动作执行的逻辑。
5.1 多模态景观:近期研究表明,形成多模态景观可以通过图像文本对,有效增强法学硕士对视觉的理解能力[18]。为了使图像图案与来自不同模态的场景文本对齐,我们从用户草中提取视觉元素,把与意象描述相整合,以实现其有效的多模态景观(图2)。
5.2 知识集成:领域知识是影响LLM智能体表现的关键因素。LLM虽然在某些特定领域的任务中表现出卓越的知识水平,但在特定场景下进行情景分析时,可能缺乏足够的专业知识。为了满足这一限制,我们将情景和场景知识转化为知识文档,并利用检索增强生成(RAG)[27]技术,通过检索相关信息来提升LLM智能体的响应能力(图3)。
5.3 提示生成:提示工程已证明能够有效地提升LLM在解决特定领域任务时的性能[59]。因此,我们设计了一个动态提示模板(图4),以根据用户需求生成结果利用LLM,该模板由六个组件构成。
5.4定制控制:为了灵活地控制LLM智能体的生成结果,我们设计了格式化标签,以便嵌入用户的自然输入。这些标签根据不同的目标分为三个方面,即描述、要求和评论。
6可视化设计:Smartboard由四个视图组成。聊天视图(图5(A))允许用户输入文本,以控制与LLM智能体的探索过程。设置视图帮助(图5(B))设置用户感兴趣的融资方案。用户可以选择其中一个方案来迭代方案模拟。模拟展示视图(图5(C))由LLM智能体返回的模拟方案。历史视图(图5(D))记录模拟路径和用户的交互操作。
策略卡(图5(D1))用于记录用户的策略模拟路径,标题显示用户自定义的名称。每张对应包含一个树形图,代表一个完整的策略。表示的每个句子表示一个保存为历史节点的策略状态。从左到右,几个状态构成了策略的一个变体(R3)。在树形图中下方,有一个时间间隔,用户可以为当前自定义定制所需的执行时间。时间条遵循整体最终方案,橙色表示展开,蓝色表示折叠。不一致的范围从0秒(开始)到24秒(完整的控制回路)。这种时间预设方法有效地记录了在分析选项时用户对时间的执行时间。
约束列表(图5(D2))记录用户在探索专项时的操作历史(R6)。全局约束针对整个专项定制的场景信息,如选定的球队。局部约束附加到每个专项状态,记录自然语言输入。约束的类型与聊天观点中的标签相对应,以确保一致性,文本详细说明了具体内容。
选择类别状态:用户可以点击树形中的节点选择特定的类别状态,并查看相应的约束列表。同时,设置视图和模拟视图中的信息将回滚到该状态。
战术框(图5(C1))推荐的战术选项。三个战术框不同的战术变体(R3)。在每个方框中,战术名称显示在顶部,附加一个战术板,详细显示特定的战术信息,其样式和视觉地图与设置视图保持一致,以确保连贯性。在战术框下方,有显示文本描述,提供战术的概述和评估,确保用户能够清晰地快速地了解推荐选项。这种布局有助于用户有效地比较和对比不同的战术变体。
叙述视图(图5(C2))战术中留下的详细解释和评估,在叙述推理内容中直接融入了浮动元素(R4)。详细解释包括动作、应对策略和目标,并评估目标一致性和潜在反应。我们使用加粗的蓝色标题突出显示这些细节的不同内容方面,以简化对用户叙述中展示关键信息的理解。
接受推荐:用户可以点击按钮接受推荐的模拟结果。结果将在设置视图中更新,以便用户进行新的手势设置。
局部视图(图5(B1))允许用户通过较差草图传达具体的战术内容(R1)。参考现有设计[46],我们使用不同颜色的分别代表代表和防守队员,用数字表示队员角色,并用不同类型的线条表示动作。用户可以通过点击相应的队员图标在战术板上指定队员的位置和角色,并通过选择不同的线条类型为队员分配动作。
局部视图(图5(B2))旨在为场景场景提供详细的定制功能。它允许用户设置选项,并使用历史统计数据进行分析(R2)。用户可以从下拉菜单中选择两个支队,并根据列表为成员分配特定角色。这些角色分配将作为基于场景的知识集成到LLM智能体中场上/场下统计数据通过柱状图进行可视化,不同颜色表示场上或场下的表现。图表显示了投篮命中率、三分球命中率、辅助数、相对数和犯规数等指标,并进行了归一化处理,方便进行分析比较。另外,我们设计了一个工具提示,用于展示其余队员的身体信息。
情景视图(图5(B3))允许用户从情景视图中通过检索当前情景的姿势,查看历史真实比赛数据中的相似姿势,从而深入研究球员行为(R2)。将检索到的行为信息集成到LLM智能体中,我们提供一个检索到的姿势列表,包括序号、匹配率、队列、比分差距和剩余时间,用户可以将选定的行为信息集成到LLM智能体中。
切换重置:用户可以在重置视图中选择进攻和球队防守及球员,以分析详细的重置情况。
邻近局部:用户可以在局部视图中指定选项,并在局部视图中从动作列表中邻近移动轨迹。
套索选择场景用户:可以点击套索按钮,使用套索工具在布局视图中筛选特定的球员和动作,从而更新场景视图中的搜索结果。
输入自然语言:用户可以直接在聊天框中输入内容,或者点击麦克风按钮使用语音输入,实现流畅的自然语言输入。
选择标签:用户可以从一系列预定义的标签中进行选择,以细化输入,从而对生成结果进行精确控制。
6.1 聊天视图:为了增强用户与系统之间的自然语言,交互视图(图5(A))展示系统反馈,并允许用户控制输出(R5,R6)。从一开始,聊天视图就通过系统的操作流程和各种功能提供语音的文本指导(R1)。我们引入了代表不同输入类型的标签,包括描述、要求和评论(图5(A)这种方法显着提高了用户对生成结果的控制能力,保证了更加个性化和可控的交互体验。在整个交互过程中,聊天视图提供反馈,包括确认用户命令的接收、指示当前操作的状态以及建议下一步操作(图5(A3)实时)。此外,用户可以与LLM智能体进行自由形式的对线设置视图
:我们邀请了拥有多年执教经验的E1和E2,利用我们的系统进行案例研究。研究基于第3.4节中详细介绍的NBA 2015 - 16季节的数据。我们首先向专家介绍了智能板的交互和可视化功能,然后让专家在小时内自由探索感兴趣的专题和场景。我们记录了他们在整个过程中的操作和评论,并进行了访谈,收集反馈,用于进一步改进系统。
洞察1:对于底特律活塞队(DET)对阵金州勇士队(GSW)的比赛,通过团队运动创造空位空间关键。一开始,E1进行了总体战术设置。为了确认角进攻战术的细节,E1在聊天视图中输入了一个问题。在获得所需的详细信息后,E1专注于特定的球队后,进行进一步的设置。E1选择了2015 - 16赛季的底特律活塞队(DET),注意到他们自2008年以来 - 09赛季以来首次选择进入季后赛。然后,E1金州勇士队(GSW)作为防守球队,GSW强大的防守分析将提供因为面对的场景。替代视图中的信息引起了专家的注意。通过切换几个不同的球员,E1观察到在相应视图中,所有DET球员预设GSW球员时的投篮命中率都略低(图5(B2))。E1总结,由于DET球员的投篮命中率即将下降,通过增加团队运动来创造更多空位投篮机会有效维持进攻的关键。E1在历史视图中选择喇叭进攻战术作为基础设置,并在设置视图中点击保存按钮进行一次。根据推荐,E1选择人盯人防守作为基础防守设置,以进一步分析牛角防守战术。
洞察2:在面对库里的绕前防守时,杰克逊的无球切入仍具有适应,无需调整路线。从标准的角进攻战术设置开始,E1在设置视图中已经从O1(进攻球员1)到O5的传球(图6(A))。然后,E1继续模拟人盯人防守,并在下一步进行了O1在O4的无球护后的切入(图6(B))。更明确地说明,E1在聊天视图中添加了描述,解释了该方案旨在为O1(杰克逊)创造空间(图6(C))。点击保存按钮后,E1在模拟视图中查看了临时的防御设置及其各自的概述信息。E1认为“switch” on screen”(换防)过度依赖个人能力,与他的探索目标不一致。因此,E1专注于“under the考虑到详细解释中提到的D1的快速速度(图5(C2))以及对应视图中显示的O1较低的投篮命中率,E1指出D1的动作使得O1难以接球并上篮。然而,间接进攻的主动性,E1提到O1在遇到绕前时防守有机会改变路线,这可能会导致空位投篮而不是上篮。因此,E1继续进行绕前防守的设置,调整O1的路线)),并不平等了一种得分方式,作为喇叭进攻战术的结论(图6(V1))。战术信息被记录在历史视图中。
洞察3:flex screen(弹性掩护)优化了底特律活塞队中篮投命中率的三个得分。E1旨在探索另一个场景,并在历史视图中选择了一个先前的状态。在查看推荐后,E1发现D4的协防(图6(C3))可以有效地影响O1的切入,促使他探索。接受这个推荐后,E1重新查看视图(图5(B2)),
可用性:总体反馈是积极的,所有专家都确认Smartboard是分析篮球比赛高效战术的工具。首先,细粒度的战术分析使用户能够获得更深入的感知,并在不同的情况下考虑更多的战术变体。E1提及:“Smartboard的顺序先后功能让我能够深入研究战术的每个部分。”E2也表示:“这使我能够清楚地了解每个步骤中各部分之间的复杂交互,并可以探索比赛的复杂变体。”另外,E2提到:“使用Smartboard进行探索不仅对严格的教练有帮助,对于员工和同事来说,它还提供了一种更好地理解复杂战术的有效方法。”其次,与LLM智能体交互探索战术比传统分析过程更具优势。E1提到:“与分析视频相比,与教练智能体一起分析节省了大量时间,甚至突出了一些我可能忽略的重要情况。” E2补充道:“在实际训练中,我们需要模拟许多战术场景。使用LLM智能体可以提供更多的变化和细节。” E2还评论道:“在我探索战术的过程中,Smartboard就像一位真正的教练一样理解我的表达。但与真正的教练不同的是,随时可以为我提供所有相关信息和推理。”
建议:专家们提出了一些建议。首先,E2希望利用我们的系统分析发起比赛中的战术,“球员的状态会影响实际比赛中战术执行的效果。如果LLM智能体能够考虑到比赛中球员状态的影响,将会很有帮助。”其次,E2关注历史观点,并强调了战斗和分享战术的重要性,“有时,我需要和我的球员和分析师分享战术。在Smartboard中实现战术的导出和迁移功能非常有意义。”
我们邀请专家E2进行此案例研究。由于2015 - 16赛季圣安东尼奥马刺队(SAS)出色的防守能力和球队协作,E2选择其作为防守球队,并与强攻称的休斯顿火箭队(HOU)进行了重唱。在奥迪视图中,E2发现O2(哈登)在面对D2(格林)的防守时,有不错的三分为了研究他的三分球投篮情况,E2在局部视图中查看了几个场景,并使用套索工具进行搜索。在姿势视图中,E2经常进行了几个姿势,发现火箭队在三分线进行挡拆配合。这些相关场景被以整合知识选中。
洞察1:圣安东尼奥奥马刺队在执行绕前的强制防御时,需要密切关注哈登的动作以尽量减少违规管制。E2选择了需求标签,并详细说明了他防御模拟挡拆的意图(图7(A))。点击保存按钮后,推荐视图显示了不同的挡拆变体(图7(A1, A2, A3))。E2指出:“很明显,这里的主要区别是挡拆者。”在查看每个挡拆者的解释时,E2发现涉及O5(霍华德)和D2的高位挡拆存在明显的体型差距,使得O5的掩护构成了重大威胁(图7(A1))。考虑到这一威胁,E2接受了这个建议,并关注D5(邓肯),即O5的防守者的显示潜在下一步动作。在设置视图中,E2较差了绕前间歇防守(图7(B)),通过D5的压迫来阻止O2轻松篮投出。结果O2选择传球以无意挑战,而不是直接投篮(图7(B1))。再次查看假设视图时,E2注意在某些情况下,O2仍然可以凭借快速反应和三分球能力得分。这促使E2添加评论以模拟O2的直接投篮(图7(B2))。点击刷新按钮后,结果(图7(B3))显示在战术方框中。详细解释了强调了该战术的目标是通过利用虽然O2在压力下篮存在风险,但可能会获得有利的违规和罚球机会。E2强调:“LLM智能体很好地考虑了哈登的特点。马刺队在执行绕前的常规时防守时存在,应该监控哈登的动作尽量减少违规。”
洞察2:圣安东尼奥马刺队有效的绕前疲劳需要睡眠的协调防和回防,以应对霍华德造成的错位。E2查看了O5无球切入的(图7(B1)),并注意到由于D5参与绕前短暂的疲劳,O5处于无人防守状态。,E2接受了这个建议,并因此推荐旨在设置观点中进一步改为了在O5收到O2的传球后迅速对其施压,E2设计了其他队员向O5的切入路线移动进行防卫的布局(图7(C))。在查看详细解释时,E2注意到对O5切入的防守可能回应:“防守可能会轮转到沃尔霍华德的路径,但他的力量可以减弱这种防守压力。” E2评论道:“LLM智能体已经考虑了应对措施,展示了它对情况的全面评估。” 为了阻止O5的避免切入,E2强调了体型错位的重要性,然后均匀了D5回防O5的部位。为了验证这种特殊情况的通用性,E2探索了其他挡拆设置,重点关注绕前防疫后挡拆者的切入使用类似的防御方法,E2取得了良好的效果,并指出协防和回防使D5能够限制O2的外线投篮,并减少因造成错位的内线得分机会,展示了一种全面的绕前抗防御策略。因此,E2以以“绕前、协防、回防”为核心原则总结了绕前全身防御策略(图7(D))。
为了用真实比赛数据进一步探索,E1 使用套索工具在战术视图中筛选出参与掩护的四名队员,并查看视图中的检索结果(图 5(B4))。意思是,在活塞队和勇士队的一场比赛中,结果显示勇士队对活塞队的柔性掩护(弹性掩护)执行了类似推荐设置中的屏幕切换防守(换防)。在这种特定情况下,O5选择上篮并造成了犯规。受防守搜索结果的启发,专家们对另一种战术变体并记录在历史视图中(图6(V3))。E1总结道:“弹性掩护(弹性掩护)特别为活塞队优化了得分机会。”因此,专家结合牛角进攻(牛进攻角)和弹性防守屏幕(弹性掩护)完成了对清晰图案变体的探索。此外,专家提到的历史视图中的时间调整是一个有效的提示,有助于防止图案的无限延伸。
(续):发现活塞队球员的投篮命中率相近,这意味着他们的得分能力相当。E1指出,弹性进攻(弹性进攻)为所有球员提供了灵活的机会。因此,E1通过聊天观点询问在场景当前下弹性掩护(弹性掩护)的适用性(图5(A2))。肯定收到反馈后,E1随后了O1为O2做flex屏幕(弹性掩护)的策略,并选择了一种策略防御(图6(D1))。E1很快发现了O2的得分机会,将其记录在历史视图中(图6(V2))。
在模型方面,虽然LLM在推荐策略时的可变性展现了其创造力,但也带来了挑战。同一概念的不一致术语,如“挡拆”和“掩护”滚动”(也是挡拆思维),可能会让用户感到困惑。通过后处理标准化术语可以解决这个问题。虽然指定了响应格式,但智能体有时会多余,添加不必要的评论,并为防守严密的选项输出重叠的坐标。我们使用正则表达式和重叠检测算法来这些问题。幻觉是另一个重大问题,智能体生成不存在的布局夸大或大选项能力,例如为投篮命中率低的中锋推荐三分球。虽然我们使用链提示[72]和检索增强生成生成[50] 来减少这些幻觉,但进一步的改进可能会增加扩展战术知识库并设计困境的检索增强生成系统,以提高LLM输出的准确性和可靠性。另外,LLM可能会因为数据训练不平衡而表现出偏差,过度明星球员而不是角色球员。建议我们使用代表不同球员的数据对LLM进行加权,并实施公平性检查和平衡偏差推荐。
多智能体:我们将LLM集成为作业智能体,以支持局部探索过程中的各种交互和任务。多智能体系统允许智能体之间自主交互,这可能是一个潜在的改进方向。指向,多功能的作业智能体可以分为几个智能体,每个智能体专注于单个任务。用户可以与特定任务的智能体进行交互另外,不同的用户群体有不同的优先级。例如,教练更关注某些场景下整体专项的穿戴,而重点关注这些专项如何影响他们的详细动作和角色。虽然我们的系统通过任务分解了这些需求,但多智能体系统可以通过分配特定角色的智能体,为复杂的专项设计提供更简单的方法。
意义——利用LLM智能体进行可视化分区探索:在团队运动中,对于分区设计进行细粒度的分区分析仍然至关重要。现有研究[69]提出了各种用于分区分析的可视化系统。然而,专家们最熟悉的交互方式——通过草图异构和口腔自然讨论,尚未得到充分考虑。我们在Smartboard中引入了LLM智能体支持,通过草图异构和语言输入相结合的方式进行可视化情境分析。这种方法简化了沟通,并促进了用户与LLM智能体之间的互动交互,从而对产生情境的个性化和更深入的关怀。
可扩展性——自定义框架:我们的框架设计为常规且可扩展的,通过可扩展和定制的促进组件与LLM智能体的交互。特定的交互式草图可以发展为沉浸式环境,以实现动态的模拟。信息集成可以适应特定领域的数据,增强深度和相关性。LL M智能体的任务和推理过程设计为可根据不同需求和各种输出进行扩展。人类控制可以扩展,包括传染病或面部表情等交互方式。这些扩展与任务需求和模型能力紧密结合。虽然框架的组件是可适应的,但与LLM智能体交互的核心策略保持不变且有效。
通用性——超越体育用途:虽然Smartboard主要为篮球场景设计,但其基于白板的规格表示可以评价各种团队运动,如足球、摔跤和曲棍球。此外,Smartboard的可视化探索、迭代和个性化场景的基本原则有可能超越体育这些方法可以考察其他类别领域,如军事、舞蹈编排和金融。然而,将其推广到这些领域在获取特定领域的知识和数据方面面临重大挑战,由于竞争原因,深层次的类别通常受到严格保护。与专业团队进行深入合作是一个可行的解决方案。
适用性——种群更广泛的场景:通过访谈,专家们了解智能板在训练中的潜在应用。正如E1所说:“历史视图中存储的详细训练可以转化为训练中的训练指导。”这一功能丰富的训练过程,允许对过去和现在的情景进行回顾和改进。成员和成员也可以从智能板中存储的情景中受益者,参与情景学习体验,加深他们对情景多样性和复杂性的理解。此外,开发一个基于情景的社区是智能的利用其交互功能,我们可以收集策略和使用日志,以警告策略LLM。这可以创建一个协作环境,其中策略不仅被讨论,而且可以通过Smartboard积极改进和分享。这些应用是我们未来打算探索的系统工程方面。
:我们工作的未来方向可以总结为两个方面。首先,Smartboard目前缺乏实时技术集成。专家们表示有兴趣探索考虑开展比赛相关的方案。由于团队运动的动态性质,实时获取数据和队员状态面临着巨大的挑战。虽然LLM可以产生流式输出,但有效地将这些输出映射到可视化表示仍然很困难。因此我们计划集成先进的实时技术,并开发一个动态可视化系统,以实际考虑实时相关的策略探索。其次,定量评估生成策略的质量面对。虽然我们的案例研究论证了系统的有效性和实用性,但需要更严格的评估。因此,我们的重点将从真实匹配和专家认知两个方面建立评估指标。这涉及开发一个全面的框架,以评估生成策略的准确性、实用性和分析力价值,以增强分析能力。
:在这项工作中,我们提出了一种利用LLM智能体进行团队分区可视化探索的方法。首先,我们与篮球专家合作,提出了一个可扩展的框架,用户与教练智能体进行通信。利用这个框架,我们开发了Smartboard,这是一个基于智能体的交互式可视化系统,用于细粒度的战术分析。智能板允许用户定制场景,并在设置、模拟和改进过程中迭代探索战术。通过我们基于真实世界篮球数据集的案例研究和专家访谈验证了我们方法的效果,展示了我们系统在分析团队战术方面的实用性。