利用共现图来控制大语言模型
发布人:谭超   发表时间:2023-10-17
报告人 刘斌 时间 10月18日19:00
地点 腾讯会议:724828413

报告题目:

利用共现图来控制大语言模型

报告人简介:

刘斌,西南财经大学副教授,香港大学博士后。本科硕士博士分别就读于辽宁工业大学信息与计算科学,电子科技大学软件工程和电子科技大学计算机软件与理论,并在英属哥伦比亚大学进行博士联合培养。担任自然语言处理顶会ACL 2020/2021/2022/2023和人工智能领域顶级会议IJCAI, AAAI 2020/2023的程序委员会委员。截止目前,已在CCF顶级会议IJCAI, SIGIR, SIGKDD, ACM Multimedia,COLING, ICDM,IEEE big data以及期刊IEEE TNNLS,Journal of Artificial Intelligence Research,Neural Networks等上发表论文多篇。其中一项研究曾被《信报》等主流香港媒体报道,并在香港大学主页首页宣传。

报告简介:

在文本生成中,我们通常使用softmax函数来选择下一个词。然而,基于特定场景语料库的并存词链接统计信息对选择下一个词非常有价值,它有助于将生成文本的主题与当前任务相匹配。为了充分挖掘这些重要信息,我们提出了一种用于特定任务文本生成的graphmax函数。graphmax的思想是综合LLM的全局知识和来自特定场景语料库的局部知识来最终选择下一个词。为了实现这一目标,我们利用graph total varition(GTV)对传统的softmax函数进行了正则化,将局部知识纳入了LLM。通过实验,我们验证了graphmax在定制化上的优势,人类测试者也能轻松区分由graphsoftmax或softmax生成的文本。

报告时间:2023年10月18日19:00-21:30

腾讯会议:724828413

上一篇:第二届航空发动机设计与运维先进技术学术交流会

下一篇:知识图谱赋能专业数字化转型与新形态课程建设