8.3 KiB
8.3 KiB
TopHub数据处理与产品分析系统
本项目包含两个核心功能模块：
- TopHub网站数据抓取与处理系统
- ProductHunt产品抓取与AI分析系统
功能特点
TopHub数据抓取与处理
- 网站抓取：从tophub.today网站抓取数据，支持节点ID范围遍历
- 智能过滤：根据过滤列表自动跳过指定栏目内容
- 数据存储：将抓取数据保存到SQLite数据库
- 分类处理：调用本地API进行智能分类
- 去重处理：避免重复数据录入
- 分类标准化：相似分类自动合并
ProductHunt产品分析
- 产品抓取：从ProductHunt抓取产品详细信息
- AI分析：调用Ollama API分析产品开发难度
- 数据管理：完整的产品数据库管理
- 关注数转换：将文本形式的关注数转换为数字
- 难度评分：自动计算产品开发难度分数
- 缺失数据补充：自动补全缺失的产品链接和评分
数据可视化
- GUI查看器：使用PySide6构建的可视化数据查看器
- 搜索筛选：支持关键词搜索和分类筛选
- 分类统计：实时显示分类统计信息
- 数据操作：支持批量删除、标记感兴趣和评分调整
文件说明
核心脚本
-
tophub_scraper.py - TopHub网站数据抓取脚本
- 从tophub.today网站抓取数据
- 根据过滤列表过滤内容
- 保存数据到临时文件
- 调用数据导入脚本
-
product/integrated_product_system.py - 全功能产品抓取与分析系统
- 整合产品抓取和AI分析功能
- 从tophub数据库查询ProductHunt链接
- 使用Playwright抓取产品详细信息
- 调用Ollama API分析产品开发难度
- 管理产品数据库
- 提供完整的工作流程
-
db_viewer.py - TopHub数据查看器
- PySide6界面应用程序
- 显示SQLite数据库中的抓取数据
- 支持搜索、筛选和分类统计
- 支持链接点击和数据操作
辅助脚本
-
process_temp_files.py - 临时文件处理脚本
- 解析临时文件
- 调用API进行分类
- 存储到数据库
-
cleanup_categories.py - 分类清理脚本
- 清理分类中的特殊字符
- 统一分类格式
-
standardize_categories.py - 分类标准化脚本
- 将相似分类合并为标准分类
- 提供分类映射规则
-
run_viewer.py - 数据库查看器启动脚本
- 检查依赖包
- 启动SQLite数据库查看器
-
check_db.py - 数据库结构检查脚本
-
test_api.py - API测试脚本
-
view_categories.py - 查看分类示例脚本
使用方法
1. TopHub数据抓取
python tophub_scraper.py
该脚本会：
- 从tophub.today网站抓取数据
- 根据过滤列表过滤内容（可配置tophub_ban_column.txt）
- 将抓取数据保存为临时文件（格式：YYYY年MM月DD日HHMMSS.txt）
- 调用数据导入脚本处理抓取结果
2. ProductHunt产品抓取与分析
# 运行完整工作流程：抓取+分析+数据补充
python product/integrated_product_system.py
# 仅进行分析，不抓取数据
python product/integrated_product_system.py --analyze-only
# 限制最大分析产品数量
python product/integrated_product_system.py --max-products 100
主要功能：
- 从tophub数据库查询ProductHunt链接
- 使用Playwright抓取产品详细信息
- 调用Ollama API分析产品开发难度
- 自动计算难度分数
- 转换用户关注数为数字格式
- 补全缺失的产品链接
- 重新分析无效难度评分
3. 数据可视化查看
# 启动数据库查看器
python db_viewer.py
或使用启动脚本：
python run_viewer.py
查看器功能：
- 显示数据库中的抓取数据
- 支持关键词搜索和分类筛选
- 实时分类统计显示
- 支持链接点击在浏览器中打开
- 支持批量删除和评分调整
4. 分类处理
# 处理临时文件
python process_temp_files.py
# 清理分类中的特殊字符
python cleanup_categories.py
# 标准化分类
python standardize_categories.py
数据库结构
1. TopHub数据数据库 (tophub_data.db)
包含TopHub网站抓取的原始数据：
-
articles - 主数据表
- id: 主键
- title: 标题内容
- url: 链接
- category: 分类
- source_date: 来源日期
- score: 评分
- is_interested: 是否感兴趣
-
classification_progress - 分类进度表
- id: 主键
- total_count: 总数量
- processed_count: 已处理数量
- last_updated: 最后更新时间
2. 产品分析数据库 (products.db)
包含ProductHunt产品的详细信息和分析结果：
-
products - 产品信息表
- id: 主键
- url: 产品链接（唯一）
- name: 产品名称
- introduction: 产品简介
- user_count: 用户数量
- maker_link: 制作者链接
- maker_statement: 制作者声明
- created_at: 创建时间
- updated_at: 更新时间
-
product_analysis - 产品分析结果表
- id: 主键
- original_name: 原始产品名称
- product_intro: 产品简介
- development_difficulty: 开发难度描述
- ai_response: AI原始响应
- difficulty_score: 难度分数
- product_link: 产品链接
- follows: 关注数
- created_at: 创建时间
API配置
项目使用本地Ollama API进行AI相关任务：
- API地址：http://localhost:11434/api/generate
- 模型：qwen3:8b
- 请求格式：JSON
主要用途：
- TopHub数据分类：对抓取的标题进行智能分类
- 产品开发难度分析：分析ProductHunt产品的开发难度
- 用户关注数转换：将文本形式的关注数转换为数字
- 难度评分计算：自动计算产品开发难度分数
核心依赖
基础依赖
- requests: HTTP请求处理
- sqlite3: 数据库操作
- loguru: 日志记录
- tqdm: 进度条显示
产品分析依赖
- asyncio: 异步编程
- playwright: 网页抓取
- PySide6: GUI界面（仅用于查看器）
日志文件
系统会生成以下日志文件：
- tophub_scraper.log - TopHub抓取日志
- integrated_product_system.log - 产品分析系统日志
- process_temp_files.log - 临时文件处理日志
- cleanup_categories.log - 分类清理日志
- standardize_categories.log - 分类标准化日志
分类标准
系统支持以下标准分类：
- 科技 - 新质科技、互联网、人工智能等
- 社会 - 社会新闻、生活服务、热点事件等
- 体育 - 体育新闻、足球、篮球等
- 历史 - 历史事件、历史人物、考古发现等
- 安全 - 安全漏洞、网络安全、数据安全等
- 军事 - 军事新闻、国防、武器装备等
- 金融 - 金融新闻、市场分析、投资等
- 购物 - 电商、购物、消费等
- 游戏 - 游戏新闻、游戏开发、游戏测评等
- 娱乐 - 娱乐八卦、音乐、影视等
- 健康 - 健康医疗、健康生活、健身等
- 其他 - 其他未分类内容
注意事项
- Ollama服务：确保本地Ollama服务已启动并可访问（默认端口11434）
- Chrome浏览器：产品抓取功能需要已运行的Chrome浏览器实例（调试端口9222）
- 临时文件格式：TopHub抓取生成的临时文件格式为"YYYY年MM月DD日HHMMSS.txt"
- 数据单元结构：每个数据单元包含5行：节点ID、分类、标题、链接和分隔线
- 数据库自动创建：所有数据库文件会自动创建，无需手动创建
- 依赖安装：使用GUI查看器前，请安装依赖：
pip install -r requirements_gui.txt - 过滤列表配置：可通过编辑tophub_ban_column.txt文件配置需要过滤的栏目
示例
TopHub抓取临时文件示例
节点ID: 102
分类: 宽带山
标题: 女机器人
链接: http://club.kdslife.com/t_11502693.html
--------------------------------------------------
节点ID: 103
分类: 宽带山
标题: 这个应该属于底盘不行吗
链接: http://club.kdslife.com/t_11502686.html
--------------------------------------------------
产品分析结果示例
产品 'AI Assistant' 分析完成
- 难度描述: 中等难度，需要一定的AI开发经验
- 难度分数: 60/100
- 关注数: 1500
数据库查看器界面
- 显示所有抓取数据，支持实时搜索和筛选
- 分类统计显示在顶部
- 点击链接可直接在浏览器中打开
- 右键菜单支持批量操作和评分调整