采集器

查看采集器

属性	值	属性	值
名称	ph_gov_congress_news	创建时间	2025-04-02 10:10:02
标题	菲律宾-国会新闻(dev)	更新时间	-
状态	stop	开始时间	2025-07-05 11:49:05
停止类型	finished	结束时间	2025-07-05 11:49:07
信号		运行时长	2秒
进程ID	38	进程名称	Process-1
作业ID	fa91b69d-1543-4099-972b-3794c6ba5f3c	作业目录	records/jobs/fa91b69d-1543-4099-972b-3794c6ba5f3c
日志文件	records/logs/fa91b69d-1543-4099-972b-3794c6ba5f3c.log (查看日志) (tail日志)
采集器类型	scrapy	文件	ph_gov_congress_news_spider.py
起始urls(每行一个) (若为空则使用代码中的start_urls)

+新增命令

启动命令	名称	类型	命令内容	状态	创建时间	启动时间	结束时间	时长	修改	删除

+新增定时任务

定时任务	类型	定时时间	更新时间	激活	修改	删除

历史作业 ID	开始时间	结束时间	运行时长	进程ID	进程名	日志
删除最后条历史作业

代码
from spider.spiders.common.base_spider import BaseQueueListToDetailsSpider import scrapy from scrapy.http import Response import time from spider.spiders.common.helper import UrlInfo import utils import dao import spider.spiders.common.rule as rule import spider.spiders.common.rule as parse_rule import spider.spiders.common.helper as helper import logging logger = logging.getLogger(__name__) # ph_gov_congress_news_spider.py class PhPnaHistorySpider(BaseQueueListToDetailsSpider): name = 'ph_gov_congress_news' desc = '菲律宾-国会新闻(dev)' net_name = '菲律宾国会' net_url = 'congress.gov.ph' language = 'en' nation_category = 1 channel_name = '新闻发布' channel_url = 'https://congress.gov.ph/media/press-releases/' channel_desc = '菲律宾国会>新闻发布' max_page = 2 now_page = 0 from_reached_url = False start_urls = [ { 'url': 'https://api.v2.congress.hrep.online/hrep/api-v1/press-release/list/published', 'max_page': 2, 'language': 'en', 'nation_category': 1, 'channel_name': '新闻发布', 'channel_url': 'https://congress.gov.ph/media/press-releases', 'channel_desc': '菲律宾国会>新闻发布' } ] # 从列表页面开始 def start_requests(self): self.request_start_urls = self.start_urls # TODO: 需要根据每个 request_start_urls item 中的 page_count 计算！！！ helper.init_list_start_requests(self) helper.init_queue_list_url(self) list_url_item = helper.get_next_list_url(self, None) list_url = list_url_item['use_url'] # 开始运行 cb_kwargs = helper.get_cb_kwargs('', None) helper.build_cb_kwargs_by_list_item(cb_kwargs, list_url_item) yield scrapy.Request(list_url, headers = self.get_headers(), callback = self.parse_list, meta = self.request_start_meta, cb_kwargs=cb_kwargs) formdata = {"page":"0","limit":"10","filter":""} time.sleep(1) cb_kwargs = helper.get_cb_kwargs('', None) ''' cc8bd00d-9b88-4fee-aafe-311c574fcdc1 ''' headers = self.get_headers() headers['x-hrep-website-backend'] = 'cc8bd00d-9b88-4fee-aafe-311c574fcdc1' headers['Content-Type'] = 'application/json' headers['Host'] = 'api.v2.congress.hrep.online' headers['Origin'] = 'https://congress.gov.ph' headers['Referer'] = 'https://congress.gov.ph/' headers['Sec-Fetch-Dest'] = 'empty' headers['Sec-Fetch-Mode'] = 'cors' headers['Sec-Fetch-Site'] = 'cross-site' headers['TE'] = 'trailers' headers['Content-Length'] = '33' yield scrapy.FormRequest( list_url, headers = self.get_headers(), formdata = formdata, callback = self.parse_list, meta = self.request_start_meta, cb_kwargs=cb_kwargs ) def parse_list(self, response:Response, **kwargs): all_text = response.text print(f'\n\n response.text len: {len(all_text)}') print(f'\n\n response.text: {all_text}\n\n\n') img_href_rules = [ { 'op': 'find', 'tag': '', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("article-content")' } ] }, { 'op': 'find_all', 'tag': 'img', 'rules': [ { 'op': 'get_attr', 'name': 'src' } ] } ] next_href_rules = [ { 'op': 'find', 'tag': 'a', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("rounded-e")' } ] }, { 'op': 'get_href' } ] # article-title -> h1 title_rules = [ { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("article-title")' } ] }, { 'op': 'find', 'tag': 'h1', 'attrs': [] }, { 'op': 'text' } ] # article-title -> h1 author_rules = [ { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("article-title")' } ] }, { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("mb-4")' } ] }, { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("mb-4")' } ] }, { 'op': 'find', 'tag': 'p', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("mb")' } ] }, { 'op': 'text', 'remove': 'By ' # 删除关键字 } ] # article-title -> time_rules = [ { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("article-title")' } ] }, { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("mb-4")' } ] }, { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("mb-4")' } ] }, { 'op': 'find', 'tag': 'span', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("md")' } ] }, { 'op': 'text' } ] # article-content content_rules = [ { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("article-content")' } ] }, { 'op': 'text' } ]

代码

from spider.spiders.common.base_spider import BaseQueueListToDetailsSpider
import scrapy
from scrapy.http import Response

import time
from spider.spiders.common.helper import UrlInfo
import utils
import dao
import spider.spiders.common.rule as rule
import spider.spiders.common.rule as parse_rule
import spider.spiders.common.helper as helper

import logging
logger = logging.getLogger(__name__)

# ph_gov_congress_news_spider.py
class PhPnaHistorySpider(BaseQueueListToDetailsSpider):
    name = 'ph_gov_congress_news'
    desc = '菲律宾-国会新闻(dev)'
    net_name = '菲律宾国会'
    net_url = 'congress.gov.ph'
    language = 'en'
    nation_category = 1
    channel_name = '新闻发布'
    channel_url = 'https://congress.gov.ph/media/press-releases/'
    channel_desc = '菲律宾国会>新闻发布'

max_page = 2
    now_page = 0
    from_reached_url = False

start_urls = [
        {
            'url': 'https://api.v2.congress.hrep.online/hrep/api-v1/press-release/list/published',
            'max_page': 2,
            'language': 'en',
            'nation_category': 1,
            'channel_name': '新闻发布',
            'channel_url': 'https://congress.gov.ph/media/press-releases',
            'channel_desc': '菲律宾国会>新闻发布'
        }
    ]

# 从列表页面开始
    def start_requests(self):
        self.request_start_urls = self.start_urls # TODO: 需要根据每个 request_start_urls item 中的 page_count 计算 ！！！
        helper.init_list_start_requests(self)
        helper.init_queue_list_url(self)
        list_url_item = helper.get_next_list_url(self, None)
        list_url = list_url_item['use_url']

# 开始运行
        cb_kwargs = helper.get_cb_kwargs('', None)
        helper.build_cb_kwargs_by_list_item(cb_kwargs, list_url_item)
        yield scrapy.Request(list_url, headers = self.get_headers(), callback = self.parse_list, meta = self.request_start_meta, cb_kwargs=cb_kwargs)

formdata = {"page":"0","limit":"10","filter":""}

time.sleep(1)
        cb_kwargs = helper.get_cb_kwargs('', None)
        
        '''
        
	    cc8bd00d-9b88-4fee-aafe-311c574fcdc1
        '''

headers = self.get_headers()
        headers['x-hrep-website-backend'] = 'cc8bd00d-9b88-4fee-aafe-311c574fcdc1'

headers['Content-Type'] = 'application/json'
        headers['Host'] = 'api.v2.congress.hrep.online'
        headers['Origin'] = 'https://congress.gov.ph'
        headers['Referer'] = 'https://congress.gov.ph/'
        headers['Sec-Fetch-Dest'] = 'empty'
        headers['Sec-Fetch-Mode'] = 'cors'
        headers['Sec-Fetch-Site'] = 'cross-site'
        headers['TE'] = 'trailers'
        headers['Content-Length'] = '33'

yield scrapy.FormRequest(
            list_url,
            headers = self.get_headers(),
            formdata = formdata,
            callback = self.parse_list,
            meta = self.request_start_meta,
            cb_kwargs=cb_kwargs
        )

def parse_list(self, response:Response, **kwargs):
        all_text = response.text
        print(f'\n\n response.text len: {len(all_text)}') 
        print(f'\n\n response.text: {all_text}\n\n\n')

img_href_rules = [
        {
            'op': 'find',
            'tag': '',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("article-content")'
                }
            ]
        },
        {
            'op': 'find_all',
            'tag': 'img',
            'rules': [
                {
                    'op': 'get_attr',
                    'name': 'src'
                }
            ]
        }
    ]
    
    next_href_rules = [
        {
            'op': 'find',
            'tag': 'a',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("rounded-e")'
                }
            ]
        },
        {
            'op': 'get_href'
        }
    ]

# article-title -> h1
    title_rules = [
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("article-title")'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'h1',
            'attrs': []
        },
        {
            'op': 'text'
        }
    ]

# article-title -> h1
    author_rules = [
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("article-title")'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("mb-4")'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("mb-4")'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'p',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("mb")'
                }
            ]
        },
        {
            'op': 'text',
            'remove': 'By '   # 删除关键字
        }
    ]

# article-title -> 
    time_rules = [
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("article-title")'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("mb-4")'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("mb-4")'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'span',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("md")'
                }
            ]
        },
        {
            'op': 'text'
        }
    ]

# article-content
    content_rules = [
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("article-content")'
                }
            ]
        },
        {
            'op': 'text'
        }
    ]