1.说明
获得淘宝的搜索接口
淘宝搜索页面不允许爬虫爬取
不要不加限制的爬取次网站
2.代码
import reimport requestsdef getHTMLText(url):try:headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36','Cookie':'miid=1446539853962959312; cna=U8TkFgl6vBECAXwXhVZyqq3D; thw=cn; tracknick=%5Cu738B%5Cu963F%5Cu5927%5Cu5927999; tg=0; enc=KQ88YmZ1WgUDEQUaXNT40I4VBhjiG0MHl8pqTh6ZI0RMd9cYTUJkuxRB4SdcTrSmWlYUET84lgd4kZLLvL0tUg%3D%3D; tfstk=cK4CBvDqdpvQtWcBYu1Zz5kmII05ZgLI_6MgOlM6QV81vjFCie8qhpDLZdLtDf1..; hng=CN%7Czh-CN%7CCNY%7C156; sgcookie=E%2FMAiMKEbqKgB68sk2YlP; uc3=id2=UNX76OkwRTdv%2Bg%3D%3D&lg2=URm48syIIVrSKA%3D%3D&nk2=rpAbxgwWpfHsqnQ%3D&vt3=F8dBxGRzKXu9S7uPKeA%3D; lgc=%5Cu738B%5Cu963F%5Cu5927%5Cu5927999; uc4=id4=0%40UgJ%2BVCCRa%2FyA289t6M%2Bypni7kx4H&nk4=0%40rMojRer7vlD1xPIgi3S0M1VA90yUtg%3D%3D; _cc_=U%2BGCWk%2F7og%3D%3D; lLtC1_=1; t=e061cf52d4af33a3dd30f4f3abd79340; cookie2=12364a3b81cdb5581829142324f43686; v=0; _tb_token_=37f6a11b35149; tk_trace=oTRxOWSBNwn9dPyorMJE%2FoPdY8zfvmw%2Fq5hp1apNHFNeR14XlpBD5hiuGqUbpwdHrNVW4mP9Iyeuo7Nr4fuATuNszx3cDvwd%2FNlb1%2F9dgkO%2FIdY%2Bmj22i0AUB2N3wi8q1dYHSzdAcsNIidsJFmyH9vsQxEweYC5wJ9HrWnAU16m7l00V2WQM8yczdScCY7tZyvsy6l73YO%2B7uHH6TWdII%2FN948UbL%2F3KsmKKJmGK5hskOy11Z7BlT0LrWCpcUsTtLGFfKokCisv17klIGTIdQ0o8BYQ%3D; _samesite_flag_=true; mt=ci=-1_0; _nk_=%5Cu738B%5Cu963F%5Cu5927%5Cu5927999; l=eBjVu62gq-IYTvPoBOfwnurza77thIRfguPzaNbMiT5P_uCp5QfdWZb0SET9CnGNns6JR3ykIQI_BlTuwyUBCWoTC59BEPRd1dTh.; isg=BAwM2vS4vuyqpamHbF6vgDae3Wo-RbDvmGV3NWbNcbda8a37jlCWf6BLkfFJuehH; uc1=cookie14=UoTUMti0ug9oqw%3D%3D'}r=requests.get(url,timeout=30,headers=headers)r.raise_for_status()r.encoding=r.apparent_encodingreturn r.textexcept:return ''#获取商品的名称和价格def parsePage(ilt,html):try:#加转义符为了表示转义符后面字符原本的意思字符plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)tlt=re.findall(r'\"raw_title\"\:\".*?\"',html)for i in range(len(plt)):price=eval(plt[i].split(':')[1])title=eval(tlt[i].split(':')[1])ilt.append([price,title])except:print("")def printGoodsList(ilt):tplt="{:4}\t{:8}\t{:16}"print(tplt.format("序号","价格","商品名称"))count=0for g in ilt:count=count+1print(tplt.format(count,g[0],g[1]))#商品价格和商品名称if __name__ == '__main__':goods="书包"depth=2start_url="/search?q="+goodsinfoList=[]for i in range(depth):try:url=start_url+'&s='+str(44*i)#urlhtml=getHTMLText(url)#获得网页#处理每个页面的解析过程parsePage(infoList,html)except:continueprintGoodsList(infoList)
结果：
序号 价格商品名称 1138.00 电脑包大书包大学生女生背包大双肩包大容量229.90 双肩包男士大容量旅行包电脑背包新款初中学生书包女小学生3134.00 鳄鱼男士双肩包商务休闲电脑帆布背包旅游旅行包时尚潮流学生书包446.00 YOHOO!/原创设计ins酷帅简约纯色百搭斜挎包帆布单肩学生书包男女539.90 YOHOO！/个性褶皱包 ins日韩简约百搭斜挎包帆布单肩学生书包男女635.00 工装帆布包新款斜挎包女ins单肩学生书包潮流韩版原宿ulzzang7409.00 李宁双肩包男包女包新款训练系列背包学生书包电脑包运动包8229.00 NIKE耐克双肩包男新款男包女包大容量运动包高中初中学生书包背包9279.00 Jordan 官方 AIR JORDAN 双肩包 书包背包CW769910408.00 李宁CF溯系列双肩包敦煌拓男包女包新款学生书包运动包11183.00 Adidas阿迪达斯双肩包男女包春季新款学生书包旅行背包FL371612238.00 JanSport杰斯伯旗舰店双肩背包男高中背包书包休闲运动包4QUT77R13239.00 真皮双肩包女新款书包女潮百搭大容量头层牛皮女士软皮背包14899.00 Fion/菲安妮大牌双肩包女 新款印花背包旅行书包15269.00 真皮双肩包女新款潮书包女百搭大容量头层牛皮女士软皮背包16188.00 卓梵 阿玛尼正品男士双肩包男包背包15寸商务休闲电脑包书包简约17960.00 Gaston Luga瑞典潮牌背包男双肩包女大容量旅行包休闲书包电脑包18998.00 Fion/菲安妮休闲双肩包潮流学生书包 新款女包尼龙黑色旅行包191139.00 HR赫莲娜女士包包新款休闲撞色双肩包老花印花迷你书包背包潮20288.00 JanSport旗舰店官网女双肩背包学生书包电脑包男背包 3P6X00821139.00 花花公子男士背包新款商务电脑双肩包高中学生大容量书包22119.00 安踏背包休闲包 新款潮流休闲运动背包学生书包电脑包旅行包23398.00 安踏中国对背包男潮牌春季新款大容量书包学生旅行运动双肩包24219.00 Adidas阿迪达斯书包女新款粉色运动背包初高中学生双肩包女包25189.00 阿迪达斯双肩包男女新款初中生高中学生书包大容量背包DT863826369.00 kipling男女大容量电脑背包新款旅行包书包双肩包|BACKPACK27479.00 Fjallraven/瑞典北极狐双肩包kanken书包女电脑旅行背包官方2351028189.00 【直营】Puma彪马女包双肩包运动包学生书包休闲包背包076944-0229669.00 kipling女士帆布背包新款时尚简约休闲潮流书包双肩包|ROSE30319.00 NIKE耐克双肩包男包女包大容量运动包学生书包休闲包背包BA617031378.00 卓梵 阿玛尼男包双肩包男士背包潮帆布尼龙布配真皮牛皮青年书包32180.00 PUMA彪马背包新款女包双肩包拎包休闲小包PU小书包076960-0233309.00 【直营】Nike耐克双肩包男女背包HERITAGE RKSK学生书包BA61503469.00 大脸兔牛津布双肩包女新款韩版尼龙百搭旅行防水超轻背包书包35160.20 书包ins韩版原宿ulzzang初中高中大学生百搭森系背包网红双肩包女36139.00 uek小学生书包男孩女生一三五 六年级护脊双肩6-12岁轻便减压儿童37199.00 Hype双肩包女迷你小包百搭逛街用mini小背包ins风潮牌大学生书包3868.00 牛津布双肩包女新款潮韩版时尚百搭大学生书包旅行帆布小背包39209.00 【直营】Adidas阿迪达斯男女双肩包休闲包学生书包旅行背包FL371640355.00 阿迪达斯双肩包男包女包学生书包20新款旅行包休闲简约背包DQ106641628.00 Herschel Retreat经典色时尚潮流男女双肩包书包背包潮牌1006642798.00 Samsonite/新秀丽儿童书包小学生男孩女孩儿童轻便双肩背包 HB543378.00 tigerfamily儿童书包小学生一年级1-3 女男6岁耐磨减负护脊双肩包44178.00 迪士尼小学生书包女童1-3-4一三年级冰雪奇缘女孩减负儿童双肩包64595.00 唐狮新款情侣双肩包女大学生背包男书包初中韩版高中时尚潮流46339.00 耐克男包女包夏季新款运动包旅行包学生书包双肩包背包CK266847379.00 NIKE耐克双肩包男包女包新款运动包学生书包旅行包背包BA616448188.00 优仅ALLJOINT儿童书包可爱幼儿园双肩甜甜圈彩虹幼儿背包女童包包49379.00 NIKE耐克双肩包男包女包新款运动包学生书包旅行包背包BA616450188.00 优仅ALLJOINT儿童书包可爱幼儿园双肩甜甜圈彩虹幼儿背包女童包包51115.00 kk树书包小学生女孩6-12岁儿童一二三到六年级女童双肩包护脊减负52268.00 BOPAI博牌电脑背包男户外旅行休闲双肩包商务书包出差多功能男包53189.00 瑞士军士刀双肩包男大容量休闲商务旅行电脑背包男士初中学生书包54859.00 [新款]挪威Beckmann小学生书包女男儿童护脊减压背包1-3年级55188.00 迪士尼拉杆书包小学生女童3-6年级公主3轮爬楼女孩两用儿童双肩包56768.00 Herschel Little America 春夏新色双肩包男背包书包潮流1001457399.00 FILA斐乐童装旗舰店儿童双肩包小学生书包男童女童低年级背包新款58238.00 JanSport杰斯伯旗舰店双肩包女电脑包男书包学生休闲包47LW79M59229.00 NIKE耐克双肩包男新款高中大学生书包大容量运动包背包电脑包60169.00 【直营】adidas阿迪达斯大童 蓝色DW4281 K CL IN 双肩儿童书包61890.00 kiplingxPACMAN吃豆人合作联名时尚潮流书包双肩包|DELIA COMPACT62238.00 【新品】JanSport杰斯伯双肩包女学生书包男背包运动休闲背包4QUT63698.00 kipling女大容量背包春夏新品时尚简约潮流休闲书包双肩包|MATTA64159.00 【直营】Adidas阿迪达斯双肩包男女包运动包健身旅游包书包DT482565255.00 卓梵 阿玛尼双肩包男休闲时尚背包大容量书包布15寸电脑包旅行包66449.00 Samsonite/新秀丽双肩包包新款 书包女ins风背包旅行包TQ4671588.00 英国Anything Studio小学生智能书包儿童进口超轻减压护脊GPS定位68149.00 阿迪达斯双肩包男女新款初中生高中学生书包大容量背包DT482569398.00 Herschel City中号限量款双肩包女新款背包男书包时尚1048670119.00 瑞士军士刀双肩包男大容量瑞士军刀旅行电脑背包男士初中学生书包71129.00 小米双肩包书包男女笔记本电脑包时尚潮流旅行背包72238.00 真皮双肩包女新款书包女百搭大容量头层牛皮女士软皮背包潮73169.50 不莱玫迪士尼合作款书包女韩版高中百搭ins双肩包时尚可爱小背包74299.00 CHARLES＆KEITH女包CK2-80840173-1粗链条翻盖单肩情书包婚包75115.00 KK剑桥树书包小学生男孩一二三到六年级儿童6-12岁男童双肩包减负76958.00 Herschel Little America经典色旅游双肩包男女士背包书包10020771288.00 英国Anything Studio小学生书包儿童英伦日本风进口超轻护脊HIPPO7865.00 中学生书包高中生双肩包女韩版初中生小学生大学生原宿ulzzang7939.80 书包韩版原宿ulzzang女背包高中学生初中生百搭ins风男情侣双肩包80269.00 Viney双肩包女新款韩版百搭大容量软皮背包时尚简约书包女81699.00 北极狐laptop笔记本电脑包13/15/17英寸男女手提双肩背包学生书包8259.00 木村耀司书包中学生初中生女韩版高中双肩背包大学生ins风大容量83195.02 国家地理背包女运动户外时尚双肩包男牛津布旅行防水学生情侣书包84193.50 aza轻软双肩包新款女包大学生书包韩版简约迷你少女小背包女85196.20 大学生日系简约书包ins潮休闲百搭小背包迷你女包韩版旅行双肩包8698.00 迪士尼小学生书包女童1-3-4三四年级冰雪奇缘女孩儿童减负双肩包687149.00 华为旗下荣耀亲选双肩包书包背包男女学生商务大学生大容量防水88616.00 FILA斐乐童装双肩包小学生书包初中儿童背包3D护脊书包带反光条8958.80 儿童书包小学生男女一二三到六年级韩版减负护脊贵族书包轻便防水90189.00 【直营】Puma彪马女包双肩包运动包学生书包休闲包背包076944-0291829.00 挪威官方正品Beckmann小学生书包女男儿童护脊减压背包1-3年级92599.00 Fion/菲安妮时尚潮流双肩包女 小怪兽可爱学生书包简约女士小背包Process finished with exit code 0
其中headers中’User-Agent’和’Cookie’参数是在“我的淘宝”网页中，检查（Ctrl+shfit+I）页面,选择network如下图。
