import scrapy# 从items.py文件中导入BossprojectItem类from bossProject.items import BossprojectItemclass BossSpider(scrapy.Spider): name = 'boss' # allowed_domains = ['www.xxx.com'] start_urls = ['https://www.pearvideo.com/category_5'] # 回调函数接受响应对象，并且接受传递过来的meata参数 def content_parse(self,response): # meta参数包含在response响应对象中，调用meta，然后根据键值取出对应的值:item item = response.meta['item'] # 解析视频链接中的对视频的描述 des = response.xpath('//div[@class="summary"]/text()').extract() des = "".join(des) item['des'] = des yield item  # 解析首页视频的标题以及视频的链接 def parse(self, response): li_list = response.xpath('//div[@id="listvideoList"]/ul/li') for li in li_list:  href = li.xpath('./div/a/@href').extract()  href = "https://www.pearvideo.com/" + "".join(href)  title = li.xpath('./div[1]/a/div[2]/text()').extract()  title = "".join(title)  item = BossprojectItem()  item["title"] = title  #手动发送请求，并将响应对象传给回调函数  #请求传参:meta={}，可以将meta字典传递给请求对应的回调函数  yield scrapy.Request(href,callback=self.content_parse,meta={'item':item})

import scrapyclass BossprojectItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # 定义了item属性 title = scrapy.Field() des = scrapy.Field()

from itemadapter import ItemAdapterclass BossprojectPipeline: def __init__(self): self.fp = None # 重写父类方法，只调用一次 def open_spider(self,spider): print("爬虫开始") self.fp = open('./lishipin.txt','w') # 接受爬虫文件中yield传递来的item对象，将item中的内容持久化存储 def process_item(self, item, spider): self.fp.write(item['title'] + '/n/t' + item['des'] + '/n') # 如果有多个管道类，会将item传递给下一个管道类 # 管道类的优先级取决于settings.py中的ITEM_PIPELINES属性中对应的值  ## ITEM_PIPELINES = {'bossProject.pipelines.BossprojectPipeline': 300,} 键值中的值越小优先级越高 return item # 重写父类方法，只调用一次 def close_spider(self,spider):  self.fp.close() print("爬虫结束")