采集器

查看采集器

属性	值	属性	值
名称	ph_feilvbinwang_history	创建时间	2025-04-02 10:10:02
标题	菲律宾-菲律宾网头条历史---(CN采)	更新时间	-
状态	stop	开始时间	2025-07-05 07:25:21
停止类型	finished	结束时间	2025-07-05 07:30:45
信号		运行时长	5.4分钟
进程ID	676	进程名称	Process-18
作业ID	770bf166-7c03-40df-9e8e-cfd75fd80386	作业目录	records/jobs/770bf166-7c03-40df-9e8e-cfd75fd80386
日志文件	records/logs/770bf166-7c03-40df-9e8e-cfd75fd80386.log (查看日志) (tail日志)
采集器类型	scrapy	文件	ph_feilvbinwang_history_spider.py
起始urls(每行一个) (若为空则使用代码中的start_urls)

+新增命令

启动命令	名称	类型	命令内容	状态	创建时间	启动时间	结束时间	时长	修改	删除

+新增定时任务

定时任务	类型	定时时间	更新时间	激活	修改	删除

历史作业 ID	开始时间	结束时间	运行时长	进程ID	进程名	日志
c7701de7-6d63-46db-a2b1-615e1e67dec7	2025-07-04 00:26:32	-	90.9小时	3868	Process-16	查看日志	删除记录
删除最后条历史作业

代码
import utils from spider.spiders.common.base_spider import BaseListToDetailsSpider # cn_feilvbinwang_history_spider.py class CnFeilvbinWangHistorySpider(BaseListToDetailsSpider): name = 'ph_feilvbinwang_history' desc = '菲律宾-菲律宾网头条历史---(CN采)' net_name = 'FeilvbinWang,菲律宾网头条,菲律宾' net_url = 'https://www.feilvbinwang.com' language = 'zh' nation_category = 0 channel_name = '菲律宾头条' channel_url = 'https://www.feilvbinwang.com/toutiao' channel_desc = '菲律宾>菲律宾头条' max_page = 2 now_page = 0 from_reached_url = False img_use_wget = False start_urls = [ 'https://www.feilvbinwang.com/toutiao/1.html' ] from_reached_check_urls = [ 'https://www.feilvbinwang.com/toutiao' ] list_hrefs_rules = [ { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'id', 'type': 'eval', 'value': 're.compile("threadlisttableid")' } ] }, { 'op': 'find_all', 'tag': 'div', 'attrs': [ { 'key': 'id', 'type': 'eval', 'value': 're.compile("normalthread")' } ], 'type_str_filter': 'Tag', # 类型过滤器，根据Tag名称的字符串 'rules': [ { 'op': 'find', 'tag': 'a', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("xst")' } ] }, { 'op': 'get_href' } ] } ] next_href_rules = [ { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'value': 'pg' } ] }, { 'op': 'find', 'tag': 'a', 'attrs': [ { 'key': 'class_', 'value': 'nxt' } ] }, { 'op': 'get_href' } ] title_rules = [ { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'id', 'type': 'eval', 'value': 're.compile("postlist")' } ] }, { 'op': 'find', 'tag': 'h1', 'attrs': [] }, { 'op': 'text' } ] # content_rules = [ # { # 'op': 'find', # 'tag': 'td', # 'attrs': [ # { # 'key': 'id', # 'type': 'eval', # 'value': 're.compile("postmessage")' # } # ] # }, # { # 'op': 'text', # 'eval': 'text.split("上传")[1].strip()' # } # ] #t_f from bs4 import BeautifulSoup def get_content(soup: BeautifulSoup): content = '' try: content_div = soup.find('td', {'class': 't_f'}) if content_div: p_list = content_div.find_all('br') if len(p_list) > 0: for p in p_list: content_p = p.text.strip().replace('\n', '').replace('\t', '') content = content + '\n\n' + content_p except Exception as e: utils.log_error(f'get img fail: {e}') return content content_rules = [ { 'op': 'func', 'name': get_content } ] img_href_rules = [ { 'op': 'find', 'tag': 'ignore_js_op', 'attrs': [ ] }, { 'op': 'find_all', 'tag': 'img', 'rules': [ { 'op': 'get_attr', 'name': 'file', 'no_query_params': True } ] } ] author_rules = [ { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("authi")' } ] }, { 'op': 'find', 'tag': 'i', 'attrs': [ ] }, { 'op': 'text' } ] time_rules = [ { 'op': 'find', 'tag': 'div', 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("authi")' } ] }, { 'op': 'find', 'tag': 'em', 'attrs': [ ] }, { 'op': 'text', 'eval': 'text.split("表于 ")[1].strip()' } ]

代码

import utils
from spider.spiders.common.base_spider import BaseListToDetailsSpider

# cn_feilvbinwang_history_spider.py
class CnFeilvbinWangHistorySpider(BaseListToDetailsSpider):
    name = 'ph_feilvbinwang_history'
    desc = '菲律宾-菲律宾网头条历史---(CN采)'
    net_name = 'FeilvbinWang,菲律宾网头条,菲律宾'
    net_url = 'https://www.feilvbinwang.com'
    language = 'zh'
    nation_category = 0
    channel_name = '菲律宾头条'
    channel_url = 'https://www.feilvbinwang.com/toutiao'
    channel_desc = '菲律宾>菲律宾头条'

max_page = 2
    now_page = 0
    from_reached_url = False
    img_use_wget = False

start_urls = [
        'https://www.feilvbinwang.com/toutiao/1.html'
    ]

from_reached_check_urls = [
        'https://www.feilvbinwang.com/toutiao'
    ]

list_hrefs_rules = [
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'id',
                    'type': 'eval',
                    'value': 're.compile("threadlisttableid")'
                }
            ]
        },
        {
            'op': 'find_all',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'id',
                    'type': 'eval',
                    'value': 're.compile("normalthread")'
                }
            ],
            'type_str_filter': 'Tag',  # 类型过滤器，根据Tag名称的字符串
            'rules': [
                {
                    'op': 'find',
                    'tag': 'a',
                    'attrs': [
                        {
                            'key': 'class_',
                            'type': 'eval',
                            'value': 're.compile("xst")'
                        }
                    ]
                },
                {
                    'op': 'get_href'
                }
            ]
        }
    ]

next_href_rules = [
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'value': 'pg'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'a',
            'attrs': [
                {
                    'key': 'class_',
                    'value': 'nxt'
                }
            ]
        },
        {
            'op': 'get_href'
        }
    ]

title_rules = [
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'id',
                    'type': 'eval',
                    'value': 're.compile("postlist")'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'h1',
            'attrs': []
        },
        {
            'op': 'text'
        }
    ]

# content_rules = [
    #     {
    #         'op': 'find',
    #         'tag': 'td',
    #         'attrs': [
    #             {
    #                 'key': 'id',
    #                 'type': 'eval',
    #                 'value': 're.compile("postmessage")'
    #             }
    #         ]
    #     },
    #     {
    #         'op': 'text',
    #         'eval': 'text.split("上传")[1].strip()'
    #     }
    # ]
    #t_f
    from bs4 import BeautifulSoup
    def get_content(soup: BeautifulSoup):
        content = ''
        try:
            content_div = soup.find('td', {'class': 't_f'})
            if content_div:
                p_list = content_div.find_all('br')
                if len(p_list) > 0:
                    for p in p_list:
                        content_p = p.text.strip().replace('\n', '').replace('\t', '')
                        content = content + '\n\n' + content_p
        except Exception as e:
            utils.log_error(f'get img fail: {e}')
        return content

content_rules = [
        {
            'op': 'func',
            'name': get_content
        }
    ]

img_href_rules = [
        {
            'op': 'find',
            'tag': 'ignore_js_op',
            'attrs': [
            ]
        },
        {
            'op': 'find_all',
            'tag': 'img',
            'rules': [
                {
                    'op': 'get_attr',
                    'name': 'file',
                    'no_query_params': True
                }
            ]
        }
    ]

author_rules = [
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("authi")'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'i',
            'attrs': [
            ]
        },
        {
            'op': 'text'
        }
    ]

time_rules = [
        {
            'op': 'find',
            'tag': 'div',
            'attrs': [
                {
                    'key': 'class_',
                    'type': 'eval',
                    'value': 're.compile("authi")'
                }
            ]
        },
        {
            'op': 'find',
            'tag': 'em',
            'attrs': [
            ]
        },
        {
            'op': 'text',
            'eval': 'text.split("表于 ")[1].strip()'
        }
    ]