采集器

查看采集器

属性	值	属性	值
名称	ph_gov_comappt_scatter	创建时间	2025-04-02 10:10:02
标题	菲律宾-委任委员会(zxc1.0)	更新时间	-
状态	stop	开始时间	2025-06-30 23:08:39
停止类型	finished	结束时间	2025-06-30 23:08:43
信号		运行时长	4秒
进程ID	142421	进程名称	Process-1
作业ID	896e94da-7d20-4c75-a99c-62494de6042a	作业目录	records/jobs/896e94da-7d20-4c75-a99c-62494de6042a
日志文件	records/logs/896e94da-7d20-4c75-a99c-62494de6042a.log (查看日志) (tail日志)
采集器类型	scrapy	文件	ph_gov_comappt_scatter_spider.py
起始urls(每行一个) (若为空则使用代码中的start_urls)

+新增命令

启动命令	名称	类型	命令内容	状态	创建时间	启动时间	结束时间	时长	修改	删除

+新增定时任务

定时任务	类型	定时时间	更新时间	激活	修改	删除

历史作业 ID	开始时间	结束时间	运行时长	进程ID	进程名	日志
删除最后条历史作业

代码
from spider.spiders.common.base_spider import BaseScatterSpider import spider.spiders.common.helper as helper import logging logger = logging.getLogger(__name__) # title: 环境和自然资源部 # url: https://denr.gov.ph/ # name: ph_gov_denr_scatter_spider class PhGovComapptScatterSpider(BaseScatterSpider): name = 'ph_gov_comappt_scatter' desc = '菲律宾-委任委员会(zxc1.0)' net_name = '委任委员会,委任委员会,菲律宾' net_url = 'https://comappt.gov.ph/' language = 'en' nation_category = 1 channel_name = '内容' channel_url = 'https://comappt.gov.ph/' channel_desc = '委任委员会>内容' max_page = 200 now_page = 0 host_key = 'comappt.gov.ph' exclude_urls = [] # 开关组 ( CLOSE: -1,关; OPEN: 0:开,并且数量不限; >0:开,限制最大数量为此数值) save_txt = helper.OPEN save_html = helper.OPEN save_img = helper.OPEN save_pdf = helper.OPEN html_title_search = [ [{'op': 'find_tag_by_class', 'tag': 'h1', 'class_': 'entry-title'}] ] html_content_search = [ [{'op': 'find_tag_by_id', 'tag':'div','id': 'main-content'}, {'op': 'find', 'tag':'article'}] ] start_urls = [ 'https://comappt.gov.ph/' ]

代码

from spider.spiders.common.base_spider import BaseScatterSpider
import spider.spiders.common.helper as helper
import logging
logger = logging.getLogger(__name__)

# title:    环境和自然资源部
# url:      https://denr.gov.ph/
# name:     ph_gov_denr_scatter_spider
class PhGovComapptScatterSpider(BaseScatterSpider):
    name = 'ph_gov_comappt_scatter'
    desc = '菲律宾-委任委员会(zxc1.0)'
    net_name = '委任委员会,委任委员会,菲律宾'
    net_url = 'https://comappt.gov.ph/'
    language = 'en'
    nation_category = 1
    channel_name = '内容'
    channel_url = 'https://comappt.gov.ph/'
    channel_desc = '委任委员会>内容'

max_page = 200
    now_page = 0
    host_key = 'comappt.gov.ph'
    exclude_urls = []

# 开关组 ( CLOSE: -1,关;  OPEN: 0:开,并且数量不限;  >0:开,限制最大数量为此数值)
    save_txt = helper.OPEN
    save_html = helper.OPEN
    save_img = helper.OPEN
    save_pdf = helper.OPEN

html_title_search = [
        [{'op': 'find_tag_by_class', 'tag': 'h1', 'class_': 'entry-title'}]
    ]

html_content_search = [
        [{'op': 'find_tag_by_id', 'tag':'div','id': 'main-content'},
         {'op': 'find', 'tag':'article'}]
    ]

start_urls = [
        'https://comappt.gov.ph/'
    ]