编辑采集器       启动采集器

属性	值	属性	值
名称	ph_abante_news	创建时间	2025-04-02 10:10:02
标题	菲律宾-Abante新闻---(CN采)	更新时间	-
状态	stop	开始时间	2025-06-24 01:19:52
停止类型	finished	结束时间	2025-06-24 01:20:03
信号		运行时长	11秒
进程ID	823012	进程名称	Process-5
作业ID	9a605db5-ff09-4be8-86c5-a0e3ed6146b0	作业目录	records/jobs/9a605db5-ff09-4be8-86c5-a0e3ed6146b0
日志文件	records/logs/9a605db5-ff09-4be8-86c5-a0e3ed6146b0.log     (查看日志)     (tail日志)
采集器类型	scrapy	文件	ph_abante_news_spider.py
起始urls(每行一个) (若为空则使用代码中 的start_urls)

+新增命令

启动命令	名称	类型	命令内容	状态	创建时间	启动时间	结束时间	时长	修改	删除

+新增定时任务

定时任务	类型	定时时间	更新时间	激活	修改	删除

历史作业 ID	开始时间	结束时间	运行时长	进程ID	进程名	日志
删除最后 选择条数 条历史作业 确定

代码

from spider.spiders.common.base_spider import BaseQueueListToDetailsSpider import utils import logging logger = logging.getLogger(__name__) # ph_abante_news_spider.py.py class PhAbanteNewsSpider(BaseQueueListToDetailsSpider): name = 'ph_abante_news' desc = '菲律宾-Abante新闻---(CN采)' net_name = 'Abante,Abante新闻,菲律宾' net_url = 'www.abante.com.ph' language = 'tl' nation_category = 1 channel_name = 'News' channel_url = 'https://www.abante.com.ph/category/news/' channel_desc = 'Abante>News' max_page = 1000 now_page = 0 from_reached_url = False host_key = 'abante.com.ph' exclude_urls = [] start_urls = [ { 'url':'https://www.abante.com.ph/category/news/', 'max_page': 2, 'language': 'tl', 'nation_category': 1, 'channel_name': 'News', 'channel_url': 'https://www.abante.com.ph/category/news/', 'channel_desc': 'Abante>News' }, ] # https://www.abante.com.ph/category/news/page/2/ def build_next_list_url(self, response, list_url_item): use_url = list_url_item['use_url'] if response: current_url = str(response.url) current_url = utils.cut_last_str(current_url, '/') page = 1 url_file_name = str(utils.get_url_file_name(current_url)) if url_file_name.isdigit(): page = int(url_file_name) + 1 response_url_no_file = utils.cut_last_str(current_url, url_file_name) use_url = f'{response_url_no_file}{page}/' else: page = page + 1 use_url = f'{current_url}/page/{page}/' list_url_item['use_url'] = use_url # print(f'--- get_next_list_url final: {use_url}') return list_url_item list_hrefs_rules = [ {'op': 'find_div_by_class', 'class_': 'elementor-posts-container'}, { 'op': 'children', 'type_str_filter': 'Tag', # 类型过滤器，根据Tag名称的字符串 'rules': [ { 'op': 'find', 'tag': 'a' }, { 'op': 'get_href' } ] } ] title_rules = [ {'op': 'find', 'tag': 'article', 'attrs': []}, {'op': 'find', 'tag': 'h1', 'attrs': []}, {'op': 'text'} ] author_rules = [ {'op': 'find', 'tag': 'article', 'attrs': []}, {'op': 'find', 'tag': 'h2', 'attrs': []}, {'op': 'text'} ] time_rules = [ {'op': 'find', 'tag': 'article', 'attrs': []}, {'op': 'find', 'tag': 'time', 'attrs': []}, {'op': 'text'} ] #elementor-widget-container # content_rules = [ # {'op': 'find', 'tag': 'article', 'attrs': []}, # {'op': 'find_div_by_class', 'class_': 'elementor-widget-theme-post-content'}, # {'op': 'find_div_by_class', 'class_': 'elementor-widget-container'}, # { # 'op': 'text' # } # ] from bs4 import BeautifulSoup def get_content(soup: BeautifulSoup): content = '' try: content_div = soup.find('div', class_ = 'elementor-widget-container') if content_div: p_list = content_div.find_all('p') if len(p_list)>0: for p in p_list: content_p = p.text.strip().replace('\n', '').replace('\t', '') content = content + '\n\n' + content_p except Exception as e: utils.log_error(f'get img fail: {e}') return content content_rules = [ { 'op': 'func', 'name': get_content } ] img_href_rules = [ {'op': 'find', 'tag': 'article', 'attrs': []}, {'op': 'find_div_by_class', 'class_': 'elementor-widget-theme-post-featured-image'}, { 'op': 'find_all', 'tag': 'img', 'rules': [ { 'op': 'get_attr', 'name': 'src' } ] } ]