采集器

查看采集器

属性	值	属性	值
名称	ph_mmda_scatter	创建时间	2025-04-02 10:10:02
标题	菲律宾-大马尼拉发展署	更新时间	-
状态	running	开始时间	2025-07-04 00:26:36
停止类型		结束时间	-
信号		运行时长	91.6小时
进程ID	3877	进程名称	Process-19
作业ID	369ec6e0-ee4f-49c1-b5be-d2e06eb19fe1	作业目录	records/jobs/369ec6e0-ee4f-49c1-b5be-d2e06eb19fe1
日志文件	records/logs/369ec6e0-ee4f-49c1-b5be-d2e06eb19fe1.log (查看日志) (tail日志)
采集器类型	scrapy	文件	ph_mmda_scatter_spider.py
起始urls(每行一个) (若为空则使用代码中的start_urls)

+新增命令

启动命令	名称	类型	命令内容	状态	创建时间	启动时间	结束时间	时长	修改	删除

+新增定时任务

定时任务	类型	定时时间	更新时间	激活	修改	删除

历史作业 ID	开始时间	结束时间	运行时长	进程ID	进程名	日志
删除最后条历史作业

代码
from spider.spiders.common.base_spider import BaseScatterSpider import spider.spiders.common.helper as helper import logging logger = logging.getLogger(__name__) # title: 大马尼拉发展署 # url: https://mmda.gov.ph/ # name: ph_mmda_scatter_spider class PhMmdaScatterSpider(BaseScatterSpider): name = 'ph_mmda_scatter' desc = '菲律宾-大马尼拉发展署' net_name = '大马尼拉发展署,大马尼拉发展署,菲律宾' net_url = 'https://mmda.gov.ph' language = 'en' nation_category = 1 channel_name = '内容' channel_url = 'https://mmda.gov.ph' channel_desc = '大马尼拉发展署>内容' max_page = 10000 now_page = 0 host_key = 'mmda.gov.ph' exclude_urls = [] # 开关组 ( CLOSE: -1,关; OPEN: 0:开,并且数量不限; >0:开,限制最大数量为此数值) save_txt = helper.OPEN save_html = helper.CLOSE save_img = helper.CLOSE save_pdf = helper.CLOSE html_title_search = [] html_content_search = [ [{'op': 'find_div_by_id', 'id': 'main-content'}], [{'op': 'find_div_by_class', 'class_': 'container-main'}] ] start_urls = [ 'https://mmda.gov.ph/' ]

代码

from spider.spiders.common.base_spider import BaseScatterSpider
import spider.spiders.common.helper as helper
import logging
logger = logging.getLogger(__name__)

# title:    大马尼拉发展署
# url:      https://mmda.gov.ph/
# name:     ph_mmda_scatter_spider
class PhMmdaScatterSpider(BaseScatterSpider):
    name = 'ph_mmda_scatter'
    desc = '菲律宾-大马尼拉发展署'
    net_name = '大马尼拉发展署,大马尼拉发展署,菲律宾'
    net_url = 'https://mmda.gov.ph'
    language = 'en'
    nation_category = 1
    channel_name = '内容'
    channel_url = 'https://mmda.gov.ph'
    channel_desc = '大马尼拉发展署>内容'

max_page = 10000
    now_page = 0
    host_key = 'mmda.gov.ph'
    exclude_urls = []

# 开关组 ( CLOSE: -1,关;  OPEN: 0:开,并且数量不限;  >0:开,限制最大数量为此数值)
    save_txt = helper.OPEN
    save_html = helper.CLOSE
    save_img = helper.CLOSE
    save_pdf = helper.CLOSE

html_title_search = []
    html_content_search = [
        [{'op': 'find_div_by_id', 'id': 'main-content'}],
        [{'op': 'find_div_by_class', 'class_': 'container-main'}]
    ]

start_urls = [
        'https://mmda.gov.ph/'
    ]