演讲主题

多模态大模型在小红书搜索中的应用

随着大模型技术的快速发展，搜索是被直接影响最大的业务系统之一，LLM显著的提升了传统检索系统各环节的建模能力，同时以AI搜索的形态更高效的承接了部分用户Query需求。演讲将首先介绍小红书搜索的整体业务和架构情况，作为UGC为主的搜索面对的场景和挑战。聚焦到多模态搜索方向，从以图搜图、图片搜索、视频搜索、多模态AI搜索四个方向介绍多模态大模型落地的业务场景和应用进展。结合典型的应用场景，重点展开多模态大模型在内容理解和RAG系统中的算法细节，探讨多模LLM在大规模业务场景中落地的挑战和实践。