Skip to content

Releases: 666ghj/BettaFish

微舆 v1.0.0

01 Sep 16:49

Choose a tag to compare

🌟 项目简介

微舆 是一个从0实现的创新型多智能体舆情分析系统,不止微博,全平台简洁通用。本系统采用先进的AI技术,提供全域舆情监控、多模态内容分析和智能报告生成功能。

✨ 核心特性

🤖 多智能体协作架构

  • Insight Agent: 私有数据库挖掘,深度分析AI代理
  • Media Agent: 多模态内容分析,具备强大多模态能力的AI代理
  • Query Agent: 精准信息搜索,具备国内外网页搜索能力的AI代理
  • Report Agent: 智能报告生成,内置模板的多轮报告生成AI代理
  • Forum Engine: Agent"论坛"协作机制,实现链式思维碰撞与辩论

🚀 六大核心优势

  1. AI驱动的全域监控

    • AI爬虫集群7x24小时不间断作业
    • 全面覆盖微博、小红书、抖音、快手等10+国内外关键社媒
    • 实时捕获热点内容,深度挖掘用户评论
  2. 超越LLM的复合分析引擎

    • 5类专业Agent协同工作
    • 融合微调模型、统计模型等中间件
    • 多模型协同确保分析结果的深度、准度与多维视角
  3. 强大的多模态能力

    • 突破图文限制,深度解析短视频内容
    • 精准提取现代搜索引擎中的结构化多模态信息卡片
    • 全面掌握舆情动态
  4. Agent"论坛"协作机制

    • 为不同Agent赋予独特的工具集与思维模式
    • 通过"论坛"机制进行链式思维碰撞与辩论
    • 避免单一模型思维局限,催生集体智能
  5. 公私域数据无缝融合

    • 分析公开舆情数据
    • 提供高安全性接口支持内部业务数据库集成
    • 打通数据壁垒,提供"外部趋势+内部洞察"分析能力
  6. 轻量化与高扩展性框架

    • 基于纯Python模块化设计
    • 轻量化、一键式部署
    • 代码结构清晰,支持自定义模型与业务逻辑集成

🛠️ 技术栈

核心框架

  • Web框架: Flask 2.3.3 + Socket.IO
  • UI框架: Streamlit 1.28.1
  • 异步处理: httpx, aiohttp, aiofiles
  • 数据库: MySQL + Redis支持

AI/ML能力

  • LLM集成: 支持DeepSeek、OpenAI、Kimi、Gemini等多种模型
  • 搜索引擎: Tavily、博查等搜索API集成
  • 情感分析: 多种模型支持(BERT微调、多语言、Qwen等)

爬虫系统

  • 浏览器自动化: Playwright 1.45.0
  • 数据处理: pandas, numpy, jieba
  • 图像处理: Pillow, OpenCV

📦 主要模块

MindSpider 爬虫系统

  • 话题提取模块: 自动识别热点话题
  • 深度舆情爬取: 多平台数据采集
  • 数据库管理: 完整的数据存储方案

情感分析模型集合

  • WeiboSentiment_Finetuned: 微调BERT/GPT-2模型
  • WeiboMultilingualSentiment: 多语言情感分析(推荐)
  • WeiboSentiment_SmallQwen: 小参数Qwen3微调
  • WeiboSentiment_MachineLearning: 传统机器学习方法

单独Agent应用

  • 支持独立运行各个Agent
  • 提供Streamlit界面进行单独测试和使用

🎯 使用场景

  • 社会公共热点事件分析: 快速响应突发事件舆情
  • 商业品牌舆情监测: 实时监控品牌声誉变化
  • 学术研究: 提供数据驱动的舆情分析工具
  • 企业决策支持: 基于舆情数据的商业洞察

🚀 快速开始

环境要求

  • Python 3.9+
  • Conda环境
  • MySQL数据库(可选云数据库服务)
  • 2GB以上内存

一键启动

# 创建conda环境
conda create -n pytorch_python11 python=3.11
conda activate pytorch_python11

# 安装依赖
pip install -r requirements.txt

# 安装浏览器驱动
playwright install chromium

# 启动系统
python app.py

访问 http://localhost:5000 即可使用完整系统

🔧 配置说明

API密钥配置

支持多种AI服务提供商:

  • DeepSeek API
  • Tavily搜索API
  • Kimi API
  • Gemini API
  • 博查搜索API
  • 硅基流动API

数据库选项

  • 本地MySQL: 完全自主控制
  • 云数据库服务: 包含日均10万+真实舆情数据(推广期免费)

📊 示例报告

系统以"武汉大学舆情"为例生成的研究报告展示了强大的分析能力,包含:

  • 多维度舆情监测
  • 深度内容分析
  • 可视化数据展示
  • 专业分析结论

🔮 未来规划

当前系统完成了"输入要求→详细分析"的核心功能,下一步将开发:

  • 舆情预测功能: 基于时序模型、图神经网络的预测能力
  • 更多平台支持: 扩展更多社交媒体平台
  • 高级分析模型: 多模态融合等预测模型技术

🤝 社区支持

获取帮助

商务合作

  • 企业定制开发
  • 大数据服务
  • 学术合作
  • 技术培训

云服务申请

免费云数据库服务申请: 发送邮件至 670939375@qq.com

📄 许可证

本项目采用 GPL-2.0 许可证开源发布。

🙏 致谢

感谢所有为项目贡献代码、提供反馈和支持的开发者和用户。


⭐ 如果这个项目对您有帮助,请给我们一个星标!

始于舆情,而不止于舆情 - "微舆"致力于成为驱动一切业务场景的简洁通用数据分析引擎。