随着互联网的快速发展抖音短视频作为一款受欢迎的视频社交平台拥有大量的短视频和用户评论等信息。为了更好地了解和推荐适合的短视频主题开发了基于spark的短视频推荐系统。该系统利用python语言、mysql数据库以及hadoop、spark等大数据技术对海量短视频数据进行处理和分析通过与推荐模型进行对比能识别出该主题一段时间内的点赞数、评论数等信息并生成对图表数据。系统是一个可视化显示web界面首先通过爬虫技术获取到对应的短视频、转发数和评论等数据考虑数据量较大系统首先通过pandas进行文本的保存和读取进而通过hadoop分布式保存到mysql数据库管理系统中使用spark进行分布式计算最后通过Django框架结合vue框架进行界面展示。本研究的意义在于通过对抖音短视频平台上的短视频用户评论信息、点赞信息等进行分析为视频推荐提供了更加准确和个性化的支持。此外本研究也为其他短视频平台或者社交媒体平台的推荐系统的设计提供了有益的参考和借鉴。根据以上的功能需求情况整体的功能模块包括有前台vue项目模块后台django后台项目模块和爬虫模块。前台vue的页面主要页面包括注册与登录页面数据可视化展示页面爬虫模块主要用来爬取抖音短视频的数据信息的通过使用hadoop进行数据的存储django后台用来提供前台所用的json数据以及预测抖音热点主题。