diff --git a/core/tasks.py b/core/tasks.py index 767cea6..9a586bf 100644 --- a/core/tasks.py +++ b/core/tasks.py @@ -10,7 +10,7 @@ import re from django.db.models import F -@shared_task(bind=True, max_retries=3, default_retry_delay=60) +@shared_task(bind=True, max_retries=2, default_retry_delay=30, time_limit=600, soft_time_limit=500) def celery_send_test_email(self, test_mode=True): """ Celery异步发送测试邮件任务 @@ -332,7 +332,7 @@ def celery_send_html_report_email(self, include_attachment=False): } -@shared_task(bind=True, max_retries=3, default_retry_delay=60) +@shared_task(bind=True, max_retries=2, default_retry_delay=30, time_limit=600, soft_time_limit=500) def celery_send_pdf_report_email(self): """ Celery异步生成PDF报告并发送邮件 @@ -342,6 +342,7 @@ def celery_send_pdf_report_email(self): """ task_id = self.request.id if hasattr(self, 'request') else 'unknown' logger.info(f"[任务 {task_id}] 开始执行PDF报告邮件发送任务") + logger.info(f"[任务 {task_id}] 重试次数: {self.request.retries if hasattr(self, 'request') else 0}") try: # 检查WeasyPrint是否可用 @@ -349,8 +350,9 @@ def celery_send_pdf_report_email(self): try: from weasyprint import HTML weasyprint_available = True - except ImportError: - logger.error("[任务 {task_id}] WeasyPrint库无法导入，PDF功能将不可用") + logger.info(f"[任务 {task_id}] ✅ WeasyPrint库导入成功") + except ImportError as e: + logger.error(f"[任务 {task_id}] ❌ WeasyPrint库无法导入: {e}") raise ValueError("WeasyPrint库无法导入，PDF功能将不可用") if not weasyprint_available: @@ -362,21 +364,27 @@ def celery_send_pdf_report_email(self): from django.template.loader import render_to_string config = SystemConfig.get_config() + logger.info(f"[任务 {task_id}] ✅ 成功获取系统配置") + # 优先使用sender_email，其次使用smtp_username作为发件人 from_email = config.sender_email or config.smtp_username if not from_email: + logger.error(f"[任务 {task_id}] ❌ 未配置发件邮箱") raise ValueError("未配置发件邮箱") # 验证发件人邮箱格式 email_pattern = r'^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$' if not re.match(email_pattern, from_email): + logger.error(f"[任务 {task_id}] ❌ 发件人邮箱格式不正确: {from_email}") raise ValueError(f"发件人邮箱格式不正确: {from_email}") to_email = config.recipient_email or from_email # 验证收件人邮箱格式 if not re.match(email_pattern, to_email): + logger.error(f"[任务 {task_id}] ❌ 收件人邮箱格式不正确: {to_email}") raise ValueError(f"收件人邮箱格式不正确: {to_email}") recipient_list = [to_email] if isinstance(to_email, str) else to_email + logger.info(f"[任务 {task_id}] ✅ 邮箱配置验证通过，发件人: {from_email}, 收件人: {recipient_list}") # 获取SMTP配置 host = config.smtp_server or 'localhost' @@ -384,20 +392,31 @@ def celery_send_pdf_report_email(self): username = config.smtp_username or '' password = config.smtp_password or '' use_tls = True # 默认使用TLS + logger.info(f"[任务 {task_id}] ✅ SMTP配置: 服务器={host}, 端口={port}, 用户名={username}") # 准备报告数据 today = timezone.now().date() yesterday = today - timedelta(days=1) + logger.info(f"[任务 {task_id}] ✅ 报告日期: {today}, 昨日: {yesterday}") # 获取昨日记录 + logger.info(f"[任务 {task_id}] 📊 获取昨日阅读记录...") yesterday_reading = ReadingRecord.objects.filter(date=yesterday) + logger.info(f"[任务 {task_id}] ✅ 昨日阅读记录: {yesterday_reading.count()} 条") + + logger.info(f"[任务 {task_id}] 📊 获取昨日感悟记录...") yesterday_insight = InsightRecord.objects.filter(date=yesterday) + logger.info(f"[任务 {task_id}] ✅ 昨日感悟记录: {yesterday_insight.count()} 条") # 获取今日计划 + logger.info(f"[任务 {task_id}] 📋 获取今日计划...") today_plan = TodayPlan.objects.filter(date=today) + logger.info(f"[任务 {task_id}] ✅ 今日计划: {today_plan.count()} 项") # 获取家庭事项统计 + logger.info(f"[任务 {task_id}] 📊 获取家庭事项统计...") family_task_stats = FamilyTask.objects.values('type').annotate(count=FamilyTask.objects.values('id').filter(type=F('type')).count()) + logger.info(f"[任务 {task_id}] ✅ 家庭事项统计: {len(family_task_stats)} 个类型") # 准备上下文数据 context = { @@ -410,31 +429,46 @@ def celery_send_pdf_report_email(self): } # 渲染HTML模板 + logger.info(f"[任务 {task_id}] 🎨 渲染HTML模板...") html_string = render_to_string('core/report_pdf.html', context) + logger.info(f"[任务 {task_id}] ✅ HTML模板渲染成功") # 生成PDF today_str = today.strftime('%Y-%m-%d') pdf_file = f"report_{today_str}.pdf" pdf_path = os.path.join(settings.REPORTS_ROOT, pdf_file) + logger.info(f"[任务 {task_id}] 📄 准备生成PDF，保存路径: {pdf_path}") # 确保报告目录存在 os.makedirs(settings.REPORTS_ROOT, exist_ok=True) + logger.info(f"[任务 {task_id}] ✅ 报告目录已准备好") - # 使用WeasyPrint生成PDF + # 使用WeasyPrint生成PDF，设置超时 + logger.info(f"[任务 {task_id}] 📄 正在生成PDF...") from weasyprint import HTML - HTML(string=html_string).write_pdf(pdf_path) + HTML(string=html_string).write_pdf(pdf_path, timeout=60) # 设置60秒超时 + logger.info(f"[任务 {task_id}] ✅ PDF报告生成成功: {pdf_path}") - logger.info(f"[任务 {task_id}] PDF报告生成成功: {pdf_path}") + # 检查PDF文件大小 + file_size = 0 + if os.path.exists(pdf_path): + file_size = os.path.getsize(pdf_path) / (1024 * 1024) # MB + logger.info(f"[任务 {task_id}] 📄 PDF文件大小: {file_size:.2f} MB") - # 创建邮件后端 + # 创建邮件后端，设置超时 + logger.info(f"[任务 {task_id}] 📧 正在创建SMTP连接...") backend = EmailBackend( host=host, port=port, username=username, password=password, use_tls=use_tls, - fail_silently=False + fail_silently=False, + timeout=30, # 设置30秒连接超时 + ssl_certfile=None, + ssl_keyfile=None ) + logger.info(f"[任务 {task_id}] ✅ SMTP连接创建成功") # 创建邮件 subject = f"[Celery] 家庭日报 {today_str} - PDF报告" @@ -467,23 +501,30 @@ def celery_send_pdf_report_email(self): ) email.content_subtype = 'plain' email.encoding = 'utf-8' + logger.info(f"[任务 {task_id}] ✅ 邮件对象创建成功") # 添加PDF附件 + logger.info(f"[任务 {task_id}] 📎 正在添加PDF附件...") with open(pdf_path, 'rb') as f: email.attach(pdf_file, f.read(), 'application/pdf') - - logger.info(f"[任务 {task_id}] 正在发送包含PDF附件的邮件...") + logger.info(f"[任务 {task_id}] ✅ PDF附件添加成功") # 发送邮件 + logger.info(f"[任务 {task_id}] 📧 正在发送邮件...") + logger.info(f"[任务 {task_id}] 发件人: {from_email}") + logger.info(f"[任务 {task_id}] 收件人: {recipient_list}") + logger.info(f"[任务 {task_id}] 主题: {subject}") + sent_count = email.send(fail_silently=False) + logger.info(f"[任务 {task_id}] 📧 邮件发送返回结果: {sent_count}") if sent_count > 0: - logger.success(f"[任务 {task_id}] 包含PDF附件的邮件发送成功！") + logger.success(f"[任务 {task_id}] ✅ 包含PDF附件的邮件发送成功！") # 清理生成的PDF文件 if os.path.exists(pdf_path): os.remove(pdf_path) - logger.info(f"[任务 {task_id}] 已清理生成的PDF文件: {pdf_path}") + logger.info(f"[任务 {task_id}] 🧹 已清理生成的PDF文件: {pdf_path}") return { 'status': 'success', @@ -491,28 +532,30 @@ def celery_send_pdf_report_email(self): 'type': 'pdf_report', 'sent_to': len(recipient_list), 'pdf_file': pdf_file, + 'pdf_size': file_size, 'timestamp': timezone.now().isoformat() } else: + logger.error(f"[任务 {task_id}] ❌ 邮件发送返回0") raise Exception("邮件发送返回0") except Exception as e: error_msg = str(e) error_traceback = traceback.format_exc() - logger.error(f"[任务 {task_id}] PDF报告邮件发送失败: {error_msg}") - logger.error(f"[任务 {task_id}] 错误详情:\n{error_traceback}") + logger.error(f"[任务 {task_id}] ❌ PDF报告邮件发送失败: {error_msg}") + logger.error(f"[任务 {task_id}] 📋 错误详情:\n{error_traceback}") # 检查是否应该重试 if hasattr(self, 'request') and self.request.retries < self.max_retries: - logger.info(f"[任务 {task_id}] 准备第 {self.request.retries + 1} 次重试...") + logger.info(f"[任务 {task_id}] 🔄 准备第 {self.request.retries + 1} 次重试...") # 重试延迟指数增长 - retry_delay = 60 * (2 ** self.request.retries) - logger.info(f"[任务 {task_id}] {retry_delay}秒后进行重试") + retry_delay = 30 * (2 ** self.request.retries) + logger.info(f"[任务 {task_id}] ⏱️ {retry_delay}秒后进行重试") raise self.retry(exc=e, countdown=retry_delay) else: - logger.error(f"[任务 {task_id}] 已达到最大重试次数 {self.max_retries}，放弃重试") + logger.error(f"[任务 {task_id}] 💥 已达到最大重试次数 {self.max_retries}，放弃重试") # 返回错误信息而不是抛出异常 return { @@ -520,6 +563,7 @@ def celery_send_pdf_report_email(self): 'task_id': task_id, 'type': 'pdf_report', 'error': error_msg, + 'error_detail': error_traceback[:500] if error_traceback else '无', 'retries': self.request.retries if hasattr(self, 'request') else 0, 'timestamp': timezone.now().isoformat() } diff --git a/test_redis_celery.py b/test_redis_celery.py index 736fe58..fcf670e 100644 --- a/test_redis_celery.py +++ b/test_redis_celery.py @@ -359,47 +359,119 @@ def test_celery_redis_pdf_email(): try: from core.tasks import celery_send_pdf_report_email + # 检查Celery worker状态 + logger.info("检查Celery worker状态...") + from diary_family.celery import app + try: + # 检查worker是否运行 + stats = app.control.inspect().stats() + if stats: + logger.info(f"✅ 找到 {len(stats)} 个运行中的worker") + else: + logger.warning("⚠️ 未找到运行中的worker，任务可能无法执行") + logger.warning("请确保Celery worker正在运行: sudo supervisorctl status celery_worker") + except Exception as e: + logger.warning(f"⚠️ 检查worker状态失败: {e}") + # 发送PDF报告邮件任务 logger.info("发送Celery PDF报告邮件测试任务到Redis队列...") task = celery_send_pdf_report_email.delay() logger.info(f"PDF报告邮件测试任务已发送，任务ID: {task.id}") # 等待任务完成 - logger.info("等待任务执行（最多60秒）...") - result = task.get(timeout=60) - logger.info(f"PDF报告邮件任务执行结果: {result}") - - # 检查结果状态 - if result.get('status') == 'success': - logger.success("通过Celery和Redis发送包含PDF附件的邮件测试成功！") - return True - else: - error_msg = result.get('error', '未知错误') - logger.error(f"包含PDF附件的邮件发送失败: {error_msg}") + logger.info("等待任务执行（最多120秒）...") + try: + result = task.get(timeout=120) + logger.info(f"PDF报告邮件任务执行结果: {result}") + + # 检查结果状态 + if result.get('status') == 'success': + logger.success("✅ 通过Celery和Redis发送包含PDF附件的邮件测试成功！") + return True + else: + error_msg = result.get('error', '未知错误') + logger.error(f"❌ 包含PDF附件的邮件发送失败: {error_msg}") + + # 提供具体的解决方案 + if "WeasyPrint" in error_msg: + logger.error("📄 WeasyPrint相关错误，可能的原因:") + logger.error("1. WeasyPrint库未安装") + logger.error("2. WeasyPrint依赖项缺失") + logger.error("3. 权限问题导致无法生成PDF") + logger.error("解决方案: 运行 'pip install weasyprint' 安装WeasyPrint库") + elif "SMTP" in error_msg or "smtp" in error_msg: + logger.error("📧 SMTP相关错误，可能的原因:") + logger.error("1. SMTP服务器地址或端口错误") + logger.error("2. SMTP用户名或密码错误") + logger.error("3. SMTP服务器不允许从当前IP地址连接") + logger.error("4. SMTP服务器超时") + elif "Redis" in error_msg or "redis" in error_msg: + logger.error("🔴 Redis相关错误，可能的原因:") + logger.error("1. Redis服务未运行") + logger.error("2. Redis密码错误") + logger.error("3. Redis连接超时") + + return False + except Exception as e: + error_msg = str(e) + logger.error(f"❌ 等待任务完成时发生错误: {error_msg}") + + # 检查任务状态 + try: + state = task.state + logger.info(f"任务当前状态: {state}") + + if state == 'PENDING': + logger.error("🔴 任务仍处于待处理状态，可能的原因:") + logger.error("1. Celery worker未运行") + logger.error("2. 任务队列已满") + logger.error("3. Redis连接问题") + elif state == 'RETRY': + logger.error("🔄 任务正在重试，可能的原因:") + logger.error("1. 任务执行过程中发生错误") + logger.error("2. SMTP服务器临时不可用") + elif state == 'FAILURE': + logger.error("💥 任务执行失败，可能的原因:") + logger.error("1. 任务代码中存在错误") + logger.error("2. WeasyPrint库未正确安装") + logger.error("3. 邮件配置错误") + except Exception as state_e: + logger.error(f"获取任务状态失败: {state_e}") # 提供具体的解决方案 - if "WeasyPrint" in error_msg: - logger.error("📄 WeasyPrint相关错误，可能的原因:") - logger.error("1. WeasyPrint库未安装") - logger.error("2. WeasyPrint依赖项缺失") - logger.error("3. 权限问题导致无法生成PDF") - logger.error("解决方案: 运行 'pip install weasyprint' 安装WeasyPrint库") + if "timeout" in error_msg.lower(): + logger.error("⏱️ 超时错误，可能的原因:") + logger.error("1. Celery worker未运行，任务无法执行") + logger.error("2. 任务执行时间过长，超过了120秒的超时限制") + logger.error("3. SMTP服务器响应缓慢") + logger.error("4. Redis连接超时") + + # 检查系统资源 + logger.error("请检查系统资源使用情况:") + logger.error(" sudo top -bn1 | head -20") + logger.error(" sudo systemctl status redis-server") + logger.error(" sudo supervisorctl status celery_worker") return False except Exception as e: error_msg = str(e) - logger.error(f"通过Celery和Redis发送包含PDF附件的邮件测试失败: {error_msg}") + logger.error(f"❌ 通过Celery和Redis发送包含PDF附件的邮件测试失败: {error_msg}") # 提供具体的解决方案 - if "No such file or directory" in error_msg: + if "No module named" in error_msg: + module_name = error_msg.split("'"[1]) + logger.error(f"📦 缺少模块: {module_name}") + logger.error(f"解决方案: 运行 'pip install {module_name}'") + elif "No such file or directory" in error_msg: logger.error("📁 文件路径错误，可能的原因:") logger.error("1. 报告目录不存在") logger.error("2. 权限问题导致无法访问目录") + logger.error("3. 检查settings.py中的REPORTS_ROOT配置") elif "Connection refused" in error_msg: logger.error("🔌 连接被拒绝，可能的原因:") - logger.error("1. Celery worker未运行") - logger.error("2. Redis服务未运行") + logger.error("1. Redis服务未运行") + logger.error("2. Celery worker未运行") logger.error("3. 防火墙阻止连接") else: logger.error("请检查:") @@ -407,7 +479,8 @@ def test_celery_redis_pdf_email(): logger.error("2. Redis服务状态: sudo systemctl status redis-server") logger.error("3. 系统配置中的邮件设置是否正确") logger.error("4. SMTP服务器配置是否正确") - logger.error("5. WeasyPrint库是否已正确安装") + logger.error("5. WeasyPrint库是否已正确安装: pip show weasyprint") + logger.error("6. 检查Celery日志获取更多信息: sudo tail -f /var/log/celery/worker.log") return False