编辑采集器       启动采集器

属性	值	属性	值
名称	ph_tempo_news_history	创建时间	2025-04-02 10:10:02
标题	菲律宾-Tempo新闻历史---(US-2-采)	更新时间	-
状态	stop	开始时间	2025-07-05 15:37:05
停止类型	finished	结束时间	2025-07-05 15:37:09
信号		运行时长	4秒
进程ID	147	进程名称	Process-2
作业ID	81948dc4-f545-44c6-815f-f002fc7b966e	作业目录	records/jobs/81948dc4-f545-44c6-815f-f002fc7b966e
日志文件	records/logs/81948dc4-f545-44c6-815f-f002fc7b966e.log     (查看日志)     (tail日志)
采集器类型	scrapy	文件	ph_tempo_news_history_spider.py
起始urls(每行一个) (若为空则使用代码中 的start_urls)

+新增命令

启动命令	名称	类型	命令内容	状态	创建时间	启动时间	结束时间	时长	修改	删除

+新增定时任务

定时任务	类型	定时时间	更新时间	激活	修改	删除

历史作业 ID	开始时间	结束时间	运行时长	进程ID	进程名	日志
330e8f03-f850-4d04-9ea4-e250244406cd	2025-07-04 00:26:25	-	90.1小时	3855	Process-12	查看日志	删除记录
删除最后 选择条数 条历史作业 确定

代码

import utils from spider.spiders.common.base_spider import BaseListToDetailsSpider # ph_tempo_news_history_spider.py class PhTempoNewsHistorySpider(BaseListToDetailsSpider): name = 'ph_tempo_news_history' desc = '菲律宾-Tempo新闻历史---(US-2-采)' net_name = 'Tempo,Tempo新闻,菲律宾' net_url = 'tempo.com.ph' language = 'en' nation_category = 0 channel_name = 'News' channel_url = 'https://tempo.com.ph/category/news/' channel_desc = 'Tempo>News' max_page = 200 now_page = 0 from_reached_url = True start_urls = [ 'https://tempo.com.ph/category/news/' ] list_hrefs_rules = [ {'op': 'find_div_by_class', 'class_': 'jeg_cat_content'}, {'op': 'find_div_by_class', 'class_': 'jnews_category_content_wrapper'}, { 'op': 'find_all', 'tag': 'article', 'type_str_filter': 'Tag', # 类型过滤器，根据Tag名称的字符串 'attrs': [ { 'key': 'class_', 'type': 'eval', 'value': 're.compile("jeg_post")' } ], 'rules': [ { 'op': 'find', 'tag': 'a' }, { 'op': 'get_href' } ] } ] next_href_rules = [ {'op': 'find_div_by_class', 'class_': 'jeg_block_navigation'}, {'op': 'find_tag_by_class', 'tag': 'a', 'class_': 'next'}, {'op': 'get_href' } ] title_rules = [ {'op': 'find_div_by_class', 'class_': 'jeg_main_content'}, {'op': 'find_div_by_class', 'class_': 'entry-header'}, {'op': 'find', 'tag': 'h1', 'attrs': []}, {'op': 'text', 'eval': 'text.strip()'} ] author_rules = [ {'op': 'find_div_by_class', 'class_': 'jeg_main_content'}, {'op': 'find_div_by_class', 'class_': 'entry-header'}, {'op': 'find_div_by_class', 'class_': 'jeg_meta_author'}, {'op': 'find', 'tag': 'a', 'attrs': []}, {'op': 'text', 'eval': 'text.strip()'} ] time_rules = [ {'op': 'find_div_by_class', 'class_': 'jeg_main_content'}, {'op': 'find_div_by_class', 'class_': 'entry-header'}, {'op': 'find_div_by_class', 'class_': 'jeg_meta_date'}, {'op': 'find', 'tag': 'a', 'attrs': []}, {'op': 'text', 'eval': 'text.strip()'} ] # content_rules = [ # {'op': 'find_div_by_class', 'class_': 'jeg_main_content'}, # {'op': 'find_div_by_class', 'class_': 'entry-content'}, # {'op': 'find_div_by_class', 'class_': 'content-inner'}, # {'op': 'text', 'eval': 'text.strip()'} # ] #content-inner from bs4 import BeautifulSoup def get_content(soup: BeautifulSoup): content = '' try: content_div = soup.find('div', {'class': 'content-inner'}) if content_div: p_list = content_div.find_all('p') if len(p_list) > 0: for p in p_list: content_p = p.text.strip().replace('\n', '').replace('\t', '') content = content + '\n\n' + content_p except Exception as e: utils.log_error(f'get img fail: {e}') return content content_rules = [ { 'op': 'func', 'name': get_content } ] img_href_rules = [ {'op': 'find_div_by_class', 'class_': 'jeg_main_content'}, {'op': 'find_div_by_class', 'class_': 'featured_image'}, { 'op': 'find_all', 'tag': 'img', 'rules': [ { 'op': 'get_attr', 'name': 'src' } ] } ]