编辑采集器       终止采集器

属性	值	属性	值
名称	ph_pilipinoexpress_news	创建时间	2025-04-02 10:10:02
标题	菲律宾-菲律宾快报---(US-1-采)	更新时间	-
状态	running	开始时间	2025-07-04 00:26:14
停止类型		结束时间	-
信号		运行时长	91.8小时
进程ID	3845	进程名称	Process-9
作业ID	52e5a9d1-5c84-48ff-9434-a27e85b016f4	作业目录	records/jobs/52e5a9d1-5c84-48ff-9434-a27e85b016f4
日志文件	records/logs/52e5a9d1-5c84-48ff-9434-a27e85b016f4.log     (查看日志)     (tail日志)
采集器类型	scrapy	文件	ph_pilipinoexpress_news_spider.py
起始urls(每行一个) (若为空则使用代码中 的start_urls)

+新增命令

启动命令	名称	类型	命令内容	状态	创建时间	启动时间	结束时间	时长	修改	删除

+新增定时任务

定时任务	类型	定时时间	更新时间	激活	修改	删除

历史作业 ID	开始时间	结束时间	运行时长	进程ID	进程名	日志
删除最后 选择条数 条历史作业 确定

代码

import re from bs4 import BeautifulSoup from scrapy.http import Response from spider.spiders.common.base_spider import BaseQueueListToDetailsSpider class PhPilipinoexpressNewsSpider(BaseQueueListToDetailsSpider): name = 'ph_pilipinoexpress_news' desc = '菲律宾-菲律宾快报---(US-1-采)' net_name = 'Pilipino Express,菲律宾快报,菲律宾' net_url = 'pilipino-express.com' language = 'en' nation_category = 1 channel_name = '新闻列表' channel_url = 'https://www.pilipino-express.com' channel_desc = '菲律宾快讯>新闻列表' max_page = 2 now_page = 0 from_reached_url = False host_key = 'www.pilipino-express.com' exclude_urls = [] start_urls = [ { 'url': 'https://www.pilipino-express.com/news.html', 'max_page': 2, 'language': 'en', 'nation_category': 1, 'channel_name': 'News', 'channel_url': 'https://www.pilipino-express.com/news.html', 'channel_desc': '菲律宾快讯>News' } ] # 构造详情页链接，拼接前缀 def build_detail_urls(self, response: Response): detail_url_list = [] soup = BeautifulSoup(response.text, "lxml") detail_item_list = soup.find('div', class_='item-list').find_all('a') for item in detail_item_list: detail_url_list.append(self.channel_url + item.attrs['href']) return detail_url_list # 找到的下一页a标签的href路径没有前缀，这里拼接域名前缀 def build_next_list_url(self, response: Response, list_url_item): if response: soup = BeautifulSoup(response.text, "lxml") list_url_item['use_url'] = self.channel_url + \ soup.find('div', class_='pagination').find('a', class_='next').attrs['href'] return list_url_item # 根据图片规则找出图片src，再拼接前缀 def build_img_href_list(self, response: Response, img_alt_dict): img_href_list_result = [] soup = BeautifulSoup(response.text, 'lxml') img_list = soup.find('div', class_='content').find_all('img') for img in img_list: img_href = img.attrs['src'] img_href_list_result.append(f'{self.channel_url}{img_href}') return img_href_list_result # 自定义解析标题,content下第一个table内容为标题 def get_title(soup: BeautifulSoup): content_div = soup.find('div', class_='content') if content_div: table_obj = content_div.find('table') if table_obj: return table_obj.text.strip().replace('\n',' - ') # for https://www.pilipino-express.com/news/5089-province-extends-pandemic-restrictions-into-january.html main_div = soup.find('div', id='main') if main_div: article_div = main_div.find('article', class_=re.compile('item')) if article_div: # for https://www.pilipino-express.com/news/5829-canada-day-2024.html article_em = article_div.find('em') if article_em: return article_em.text.strip().replace('\n',' - ') return '' title_rules = [ { 'op': 'func', 'name': get_title } ] # 文章没有作者，暂不采集 author_rules = [ ] # 自定义时间解析 def get_time(soup: BeautifulSoup): time = soup.find('article', class_='item').find('header').text if time: time = time.split('on')[1] return time time_rules = [ { 'op': 'func', 'name': get_time } ] # 自定义内容解析 def get_content(soup: BeautifulSoup): result_list = '' paragraph_list = soup.find('div', class_='content').find_all('p') for p in paragraph_list: result_list = result_list + '\n\n' +p.text return result_list content_rules = [ { 'op': 'func', 'name': get_content } ]