编辑采集器       终止采集器

属性	值	属性	值
名称	ph_manilastandard_news	创建时间	2025-04-02 10:10:02
标题	菲律宾-马尼拉标准报---(US-1-采)	更新时间	-
状态	running	开始时间	2025-07-04 00:26:05
停止类型		结束时间	-
信号		运行时长	89.5小时
进程ID	3826	进程名称	Process-2
作业ID	93bc63ae-70fc-4963-a846-ae871e928393	作业目录	records/jobs/93bc63ae-70fc-4963-a846-ae871e928393
日志文件	records/logs/93bc63ae-70fc-4963-a846-ae871e928393.log     (查看日志)     (tail日志)
采集器类型	scrapy	文件	ph_manilastandard_news_spider.py
起始urls(每行一个) (若为空则使用代码中 的start_urls)

+新增命令

启动命令	名称	类型	命令内容	状态	创建时间	启动时间	结束时间	时长	修改	删除

+新增定时任务

定时任务	类型	定时时间	更新时间	激活	修改	删除

历史作业 ID	开始时间	结束时间	运行时长	进程ID	进程名	日志
删除最后 选择条数 条历史作业 确定

代码

from bs4 import BeautifulSoup from scrapy.http import Response from spider.spiders.common import rule from spider.spiders.common.base_spider import BaseQueueListToDetailsSpider class PhManilastandardNewsSpider(BaseQueueListToDetailsSpider): name = 'ph_manilastandard_news' desc = '菲律宾-马尼拉标准报---(US-1-采)' net_name = 'Manila Standard,马尼拉标准报,菲律宾' net_url = 'manilastandard.net' language = 'en' nation_category = 1 channel_name = '新闻列表' channel_url = 'https://manilastandard.net' channel_desc = '马尼拉标准报>新闻列表' max_page = 2 now_page = 0 from_reached_url = False host_key = 'manilastandard.net' exclude_urls = [] start_urls = [ { 'url': 'https://manilastandard.net/category/news/top-stories', 'max_page': 2, 'language': 'en', 'nation_category': 1, 'channel_name': 'News', 'channel_url': 'https://manilastandard.net/category/news/top-stories', 'channel_desc': '马尼拉标准报>Top Stories' }, { 'url': 'https://manilastandard.net/category/news/national', 'max_page': 2, 'language': 'en', 'nation_category': 1, 'channel_name': 'News', 'channel_url': 'https://manilastandard.net/category/news/national', 'channel_desc': '马尼拉标准报>National' }, { 'url': 'https://manilastandard.net/category/news/world-news', 'max_page': 2, 'language': 'en', 'nation_category': 1, 'channel_name': 'News', 'channel_url': 'https://manilastandard.net/category/news/world-news', 'channel_desc': '马尼拉标准报>World News' }, { 'url': 'https://manilastandard.net/category/news/elections-2025', 'max_page': 2, 'language': 'en', 'nation_category': 1, 'channel_name': 'News', 'channel_url': 'https://manilastandard.net/category/news/elections-2025', 'channel_desc': '马尼拉标准报>Elections 2025' }, { 'url': 'https://manilastandard.net/category/news/top-stories', 'max_page': 2, 'language': 'en', 'nation_category': 1, 'channel_name': 'News', 'channel_url': 'https://manilastandard.net/category/news/top-stories', 'channel_desc': '马尼拉标准报>Top Stories' } ] list_hrefs_rules = [ { 'op': 'find_div_by_id', 'id': 'tdi_121' }, { 'op': 'children', 'type_str_filter': 'Tag', # 类型过滤器，根据Tag名称的字符串 'rules': [ { 'op': 'find_div_by_class', 'class_': 'td-module-meta-info' }, { 'op': 'find', 'tag': 'h3' }, { 'op': 'find', 'tag': 'a' }, { 'op': 'get_href' } ] } ] img_href_rules = [ { 'op': 'find_div_by_class', 'class_': 'tdb_single_featured_image' }, { 'op': 'find_all', 'tag': 'img', 'rules': [ { 'op': 'get_attr', 'name': 'data-src' } ] } ] # 下一页内容为动态加载代码片段渲染，暂不翻页 next_href_rules = [ ] title_rules = [ { 'op': 'find_tag_by_class', 'tag': 'h1', 'class_': 'tdb-title-text' }, { 'op': 'text' } ] author_rules = [ { 'op': 'find_tag_by_class', 'tag': 'a', 'class_': 'tdb-author-name' }, { 'op': 'text' } ] time_rules = [ { 'op': 'find_div_by_class', 'class_': 'tdb_single_date' }, { 'op': 'find', 'tag': 'time' }, { 'op': 'text' } ] # content_rules = [ # { # 'op': 'find_div_by_class', # 'class_': 'tdb_single_content' # }, # { # 'op': 'text', # 'eval': 'text.rstrip()' # } # ] from bs4 import BeautifulSoup def get_content(soup: BeautifulSoup): content = '' try: content_div = soup.find('div', {'class': 'tdb_single_content'}) if content_div: p_list = content_div.find_all('p') if len(p_list) > 0: for p in p_list: content_p = p.text.strip().replace('\n', '').replace('\t', '') content = content + '\n\n' + content_p except Exception as e: utils.log_error(f'get img fail: {e}') return content content_rules = [ { 'op': 'func', 'name': get_content } ]