xiaji/diary-family
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
28 Commits 1 Branch 0 Tags
1c1c6e03ac747e352549493cd1483f7893c993db
Go to file
Clone
Open with VS Code Open with VSCodium Open with Intellij IDEA
Download ZIP Download TAR.GZ Download BUNDLE

README.md

家庭日报系统

专注于家庭生活的轻量级日报系统，使用Django框架开发。

功能特性

  • 阅读记录管理（支持添加阅读笔记）
  • 感悟记录管理
  • 家庭事项管理（支持自定义事项类型）
  • 今日计划管理
  • 报告生成
  • 邮件发送
  • 后台管理界面（访问路径：/houtai）

技术栈

  • Python 3.10+
  • Django 4.2+
  • Bootstrap 5
  • SQLite（开发环境）
  • PostgreSQL/MySQL（生产环境）
  • Gunicorn + Nginx（生产部署）

快速开始

安装依赖

pip install -r requirements.txt

运行开发服务器

python manage.py runserver

访问系统

打开浏览器访问：http://127.0.0.1:8000

数据库迁移指南

基本迁移流程

  1. 生成迁移文件：

    python manage.py makemigrations

  2. 查看迁移文件内容（重要！）：

    cat core/migrations/000x_xxx.py

  3. 应用迁移：

    python manage.py migrate

当数据库有数据时增加字段

问题说明

当数据库中已有数据时，通过Django的migrate命令增加新字段不会删除原有数据，但需要注意以下几点：

  1. 如果新字段设置为非空（null=False, blank=False），则必须提供默认值，否则迁移会失败
  2. 如果新字段设置为可空（null=True, blank=True），则迁移会自动执行，原有记录的新字段值为NULL

正确部署流程

  1. 在开发环境测试：

    • 首先在开发环境生成迁移文件
    • 检查迁移文件内容，确保：
      • 新字段设置为可空（null=True, blank=True），或者
      • 新字段提供了合理的默认值
    • 在开发环境执行迁移，测试功能是否正常

  2. 备份生产数据库（重要！）：

    # PostgreSQL示例
pg_dump -U username -d dbname > backup_$(date +%Y%m%d_%H%M%S).sql

# MySQL示例
mysqldump -u username -p dbname > backup_$(date +%Y%m%d_%H%M%S).sql

  3. 在生产环境执行迁移：

    # 进入项目目录
cd /path/to/diary-family

# 激活虚拟环境
source venv/bin/activate

# 生成迁移文件（如果在开发环境已生成，可跳过）
python manage.py makemigrations

# 应用迁移
python manage.py migrate

  4. 验证迁移结果：

    • 检查应用是否正常运行
    • 验证新功能是否可用
    • 检查数据是否完整

示例：增加阅读笔记（note）字段

  1. 在模型中添加字段（core/models.py）：

    # 正确的做法：设置为可空字段
note = models.TextField(blank=True, null=True, verbose_name="阅读笔记")

# 或者：提供默认值
note = models.TextField(default="", blank=True, verbose_name="阅读笔记")

  2. 生成迁移文件：

    python manage.py makemigrations

  3. 检查迁移文件，确保新字段设置正确：

    # 迁移文件示例（0003_readingrecord_note.py）
class Migration(migrations.Migration):
    dependencies = [
        ('core', '0002_xxx'),
    ]

    operations = [
        migrations.AddField(
            model_name='readingrecord',
            name='note',
            field=models.TextField(blank=True, null=True, verbose_name='阅读笔记'),
        ),
    ]

  4. 应用迁移：

    python manage.py migrate

CSV数据导入指南

生成CSV文件

项目包含一个generate_import_csv.py脚本，用于生成符合数据库表结构的CSV文件并导入数据。

  1. 生成CSV文件：

    python generate_import_csv.py

  2. 生成的CSV文件：

    • reading_type.csv - 阅读记录类型
    • insight_record.csv - 感悟记录
    • reading_record.csv - 阅读记录

CSV文件格式说明

reading_type.csv（阅读记录类型）

字段名 类型 说明
name 字符串 阅读类型名称（如：书籍、文章、论文等）

insight_record.csv（感悟记录）

字段名 类型 说明
date 日期 记录日期（格式：YYYY-MM-DD）
content 文本 感悟内容

reading_record.csv（阅读记录）

字段名 类型 说明
date 日期 记录日期（格式：YYYY-MM-DD）
type_id 整数 阅读类型ID（关联reading_type表的id字段）
title 字符串 阅读标题
source 字符串 阅读来源
progress 字符串 阅读进度（如：已完成、进行中、未开始）
note 文本 阅读笔记

自定义CSV数据

你可以手动编辑生成的CSV文件，添加或修改数据，然后再次运行导入脚本将数据导入到数据库。

数据导入

脚本会自动将CSV数据导入到数据库中，导入流程：

  1. 清空ReadingType表的现有数据（避免类型ID冲突）
  2. 导入ReadingType数据
  3. 导入InsightRecord数据
  4. 导入ReadingRecord数据

验证导入结果

可以使用Django shell查询数据库，验证数据是否正确导入：

python -c "import os; os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'diary_family.settings'); import django; django.setup(); from core.models import ReadingType, InsightRecord, ReadingRecord; print('ReadingType数量:', ReadingType.objects.count()); print('InsightRecord数量:', InsightRecord.objects.count()); print('ReadingRecord数量:', ReadingRecord.objects.count()); print('ReadingType数据:', [rt.name for rt in ReadingType.objects.all()])"

生产部署

使用Gunicorn + Nginx

  1. 安装Gunicorn：

    pip install gunicorn

  2. 启动Gunicorn：

    gunicorn diary_family.wsgi:application --bind 0.0.0.0:8000

  3. 配置Nginx（/etc/nginx/sites-available/diary-family）：

    server {
    listen 80;
    server_name example.com;

    location / {
        proxy_pass http://127.0.0.1:8000;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }

    location /static/ {
        alias /path/to/diary-family/static/;
    }

    location /media/ {
        alias /path/to/diary-family/media/;
    }
}

  4. 启用Nginx配置：

    ln -s /etc/nginx/sites-available/diary-family /etc/nginx/sites-enabled/
systemctl restart nginx

常规代码更新流程

当需要更新代码时，可以使用以下命令：

cd /var/www/diary-family

# 1. 拉取远程最新代码（只获取，不合并）
git fetch origin

# 2. 硬重置本地分支到远程分支的最新版本（会覆盖所有本地未提交修改）
# 注意：将 main 替换为你的分支名（如 master、dev 等）
git reset --hard origin/main

# 3. 激活虚拟环境
source venv/bin/activate

# 4. 安装新依赖（如果有）
pip install -r requirements.txt

# 5. 收集静态文件（如果有静态文件更新）
python manage.py collectstatic --noinput

# 6. 重启服务
sudo supervisorctl restart all
sudo systemctl restart nginx

系统配置

在系统配置页面可以设置：

  • SMTP服务器信息
  • 邮件发送时间
  • 收件人邮箱

Celery 定时发送邮件任务配置

1. 邮件配置设置

在系统配置页面设置完邮件信息后，还需要在 Django 项目的 settings.py 中添加基础邮件配置：

# 邮件基础配置
EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'
EMAIL_PORT = 587  # 或根据你的 SMTP 服务器设置
EMAIL_USE_TLS = True  # 或根据你的 SMTP 服务器设置

2. 启动 Celery Worker 和 Beat

开发环境

# 启动 Celery Worker
celery -A diary_family worker -l info

# 启动 Celery Beat（用于定时任务调度）
celery -A diary_family beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler

生产环境

建议使用 supervisor 管理 Celery 进程。创建两个 supervisor 配置文件：

  1. celery_worker.conf

    [program:celery_worker]
command=/path/to/venv/bin/celery -A diary_family worker -l info
directory=/path/to/diary-family
user=www-data
group=www-data
autostart=true
autorestart=true
stdout_logfile=/var/log/celery/worker.log
stderr_logfile=/var/log/celery/worker_error.log

  2. celery_beat.conf

    [program:celery_beat]
command=/path/to/venv/bin/celery -A diary_family beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler
directory=/path/to/diary-family
user=www-data
group=www-data
autostart=true
autorestart=true
stdout_logfile=/var/log/celery/beat.log
stderr_logfile=/var/log/celery/beat_error.log

启动 supervisor 服务：

sudo supervisorctl reread
sudo supervisorctl update
sudo supervisorctl start celery_worker
sudo supervisorctl start celery_beat

3. 配置定时任务

系统使用 django_celery_beat 进行定时任务管理，支持两种方式配置：

方式一：通过 Django 管理后台（推荐）

  1. 登录 Django 管理后台（/houtai）
  2. 找到 Periodic tasks（周期性任务）
  3. 点击 Add 按钮添加新任务
  4. 配置任务：
    • Name: 任务名称（如：每日报告发送）
    • Task (registered): 选择 core.tasks.send_daily_report
    • Interval: 设置执行间隔（如：每天）
    • Enabled: 勾选启用
  5. 点击 Save 保存

方式二：通过代码配置

在 core/tasks.py 中添加定时任务配置：

from celery import shared_task
from django_celery_beat.models import PeriodicTask, IntervalSchedule

# 创建或更新定时任务
def setup_daily_report_task():
    # 创建每天执行的间隔
    schedule, created = IntervalSchedule.objects.get_or_create(
        every=1,
        period=IntervalSchedule.DAYS,
    )
    
    # 创建或更新定时任务
    task, created = PeriodicTask.objects.update_or_create(
        name='Daily Report Task',
        defaults={
            'interval': schedule,
            'task': 'core.tasks.send_daily_report',
        },
    )
    return task

然后在 Django 启动时调用此函数（如在 core/apps.py 中）。

4. 验证任务执行

  • 查看 Celery 日志：tail -f /var/log/celery/worker.log
  • 检查邮件是否正常发送
  • 在 Django 管理后台查看任务执行记录

5. 日志文件不存在问题解决方法

如果在生产服务器上执行 tail -f /var/log/celery/worker.log 时提示 No such file or directory，请按照以下步骤解决：

步骤1：检查日志目录是否存在

# 检查日志目录是否存在
ls -la /var/log/celery/

# 如果目录不存在，创建目录
sudo mkdir -p /var/log/celery/

# 设置正确的权限（确保 Celery 进程用户有读写权限）
sudo chown -R www-data:www-data /var/log/celery/
sudo chmod -R 755 /var/log/celery/

步骤2：检查 Supervisor 配置

确保 Supervisor 配置文件中指定的日志路径正确，并且 Celery 进程用户对该路径有读写权限。

步骤3：重启 Supervisor 和 Celery

sudo supervisorctl reread
sudo supervisorctl update
sudo supervisorctl restart celery_worker celery_beat

6. 试运行周期任务

当设置一个周期任务后，您可以通过以下方式试运行任务，而不需要等待到指定的时间：

方式1：通过 Django 管理后台

  1. 登录 Django 管理后台（/houtai）
  2. 找到 Periodic tasks（周期性任务）
  3. 选择您创建的任务
  4. 点击页面底部的 Run Task 按钮立即执行任务

方式2：通过命令行

# 直接调用任务函数（同步执行）
python manage.py shell -c "from core.tasks import generate_daily_pdf_report; generate_daily_pdf_report()"

# 或者使用 Celery 命令行工具
celery -A diary_family call core.tasks.generate_daily_pdf_report

方式3：使用测试脚本

项目提供了一个测试脚本，用于验证 Celery 任务是否可以正常运行：

# 运行测试脚本
python test_celery.py

7. 常见错误和解决方法

错误1：日志文件不存在

错误信息：tail: cannot open '/var/log/celery/worker.log' for reading: No such file or directory

解决方法：

  • 按照步骤5中的说明创建日志目录并设置正确权限
  • 检查 Supervisor 配置中的日志路径是否正确
  • 重启 Supervisor 和 Celery 服务

错误2：Celery 无法连接到 Redis

错误信息：redis.exceptions.ConnectionError: Error 111 connecting to localhost:6379. Connection refused.

解决方法：

  • 检查 Redis 服务是否正常运行：sudo systemctl status redis-server
  • 启动 Redis 服务：sudo systemctl start redis-server
  • 检查 Redis 配置是否允许本地连接

错误3：任务执行失败

错误信息：Task core.tasks.generate_daily_pdf_report[xxx] raised unexpected: Exception(...)

解决方法：

  • 查看详细日志：tail -f /var/log/celery/worker.log
  • 检查任务代码中的错误
  • 确保所有依赖库都已正确安装
  • 检查相关服务（如数据库、Redis）是否正常运行

错误4：PDF 生成失败

错误信息：WeasyPrint库不可用，无法生成PDF报告

解决方法：

  • 安装 WeasyPrint 库：pip install weasyprint
  • 对于 Ubuntu 系统，可能需要安装系统依赖： 
    sudo apt-get install -y libpango-1.0-0 libpangoft2-1.0-0

8. 常见问题排查

  1. 任务不执行

    • 检查 Celery worker 和 beat 是否正常运行
    • 检查 Redis 服务是否正常
    • 检查任务是否已启用
    • 检查系统时间是否正确

  2. 邮件发送失败

    • 检查 SMTP 服务器配置是否正确
    • 检查邮箱账号密码是否正确
    • 检查收件人邮箱格式是否正确
    • 查看 Celery 日志中的错误信息

  3. 任务执行延迟

    • 检查系统负载是否过高
    • 考虑增加 Celery worker 数量
    • 检查 Redis 性能

6. 生产环境优化建议

  • 使用独立的 Redis 服务器
  • 配置合适的 worker 数量（建议：CPU 核心数 × 2）
  • 定期清理 Celery 任务结果
  • 配置监控系统（如 Prometheus + Grafana）
  • 启用 Celery 监控工具（如 Flower）

定时生成PDF文件配置

除了定时发送邮件外，系统还支持单独定时生成PDF文件，便于在服务器上保存历史报告。

1. 配置定时生成PDF任务

方式一：通过 Django 管理后台（推荐）

  1. 登录 Django 管理后台（/houtai）
  2. 找到 Periodic tasks（周期性任务）
  3. 点击 Add 按钮添加新任务
  4. 配置任务：
    • Name: 任务名称（如：每日PDF报告生成）
    • Task (registered): 选择 core.tasks.generate_daily_pdf_report
    • Interval: 设置执行间隔（如：每天）
    • Enabled: 勾选启用
  5. 点击 Save 保存

方式二：通过代码配置

在 core/tasks.py 中添加定时任务配置：

from celery import shared_task
from django_celery_beat.models import PeriodicTask, IntervalSchedule

# 创建或更新PDF生成定时任务
def setup_daily_pdf_task():
    # 创建每天执行的间隔
    schedule, created = IntervalSchedule.objects.get_or_create(
        every=1,
        period=IntervalSchedule.DAYS,
    )
    
    # 创建或更新定时任务
    task, created = PeriodicTask.objects.update_or_create(
        name='Daily PDF Generation Task',
        defaults={
            'interval': schedule,
            'task': 'core.tasks.generate_daily_pdf_report',
        },
    )
    return task

然后在 Django 启动时调用此函数（如在 core/apps.py 中）。

2. PDF文件存储位置

生成的PDF文件默认存储在项目的 reports 目录下，命名格式为 report_YYYY-MM-DD.pdf。

可以在 settings.py 中修改存储位置：

# Reports files configuration
REPORTS_URL = '/reports/'
REPORTS_ROOT = BASE_DIR / 'reports'  # 可以修改为其他路径

3. 验证PDF生成任务

  • 查看 Celery 日志：tail -f /var/log/celery/worker.log
  • 检查PDF文件是否生成：ls -la /path/to/diary-family/reports/
  • 在 Django 管理后台查看任务执行记录

4. 常见问题排查

  1. PDF生成失败

    • 检查 WeasyPrint 库是否正确安装：pip list | grep weasyprint
    • 检查系统字体是否完整：PDF生成需要系统字体支持
    • 查看 Celery 日志中的错误信息

  2. 任务执行但没有生成文件

    • 检查 REPORTS_ROOT 目录权限：确保 Celery 进程有写入权限
    • 检查磁盘空间是否充足
    • 查看 Celery 日志中的详细信息

  3. PDF内容不完整

    • 检查模板文件 core/templates/core/report_pdf.html 是否完整
    • 确保所有依赖的 CSS 和图像资源都能正常访问

Celery 监控（可选）

使用 Flower 监控 Celery 任务：

# 安装 Flower
pip install flower

# 启动 Flower
celery -A diary_family flower --port=5555

访问 http://your-server:5555 查看任务监控界面。

注意事项

  1. 定期备份数据库
  2. 生产环境建议使用PostgreSQL或MySQL数据库
  3. 定期清理过期数据
  4. 保持依赖包更新

许可证

MIT License

Reference in New Issue View Git Blame Copy Permalink
Description
家庭的日常报告，包括阅读，体悟，运动，计划等等内容。
Readme 463 KiB
Languages
Python 56.4%
HTML 43.6%