亚洲全黄无码一级在线看_国产剧情久久久性色_无码av一区二区三区无码_亚洲成a×人片在线观看

當(dāng)前位置: 首頁 > 科技新聞 >

對不起,我把APP也給爬了

時間:2020-05-25 15:43來源:網(wǎng)絡(luò)整理 瀏覽:
↑ “凹凸數(shù)據(jù)” 關(guān)注 + 星標 ~ 每天更新,大概率是晚9點 【凹凸數(shù)據(jù)】 最近更新了一系列爬蟲 這次終于將“罪惡”的小手伸向了A

↑ “凹凸數(shù)據(jù)” 關(guān)注 + 星標 ~

每天更新,大概率是晚9點

【凹凸數(shù)據(jù)】 最近更新了一系列爬蟲

這次終于將“罪惡”的小手伸向了APP

下面有請今日的爬蟲師——

大家好,我是銀牌廚師豆腐!

最近群里很多小伙伴對爬取手機app和小程序感興趣,今天本廚師將給大家呈現(xiàn)這道菜,供小伙伴們品嘗。

相信大家都對爬蟲有一定的了解,我們爬PC端時候可以打開F12去觀察url的變化,那么手機的發(fā)出請求我們應(yīng)該怎么攔截呢。

今天的主菜就是給大家介紹一個抓包工具Fiddler,并用它烹煮一道廣州房價爬蟲。

Fiddler是一個http調(diào)試工具,也僅限于攔截http協(xié)議的請求,這是它的短板之處,但是對于我們平常的練習(xí)運用也足夠了,因為大多數(shù)網(wǎng)站都是走http協(xié)議。跟Fiddler同類型的抓包工具還有很多,像Charles、Burpsuite等等

像其中Burpsuite的功能是比較強大的,它們都是PC軟件,不是裝在手機端,有興趣的小伙伴可以去了解一下

抓包工具Fiddler

話不多說,我先教大家怎么設(shè)置Fiddler。

主要三個步驟:

1、安裝軟件后,打開Fiddler的Tools選項,進行第一步,分別對General,HTTPS,Connections窗口進行如下設(shè)置

把該勾上的勾上后,我們回到HTTPS這個界面,點擊Actions,選擇Trust,安裝證書,

這時候我們的PC端的洗菜流程已經(jīng)完成啦

2、接下來我們就要設(shè)置手機端,我們既然要通過PC端攔截手機發(fā)出的請求,就要設(shè)置手機的網(wǎng)絡(luò)跟PC是同一個

網(wǎng)絡(luò)下,所以第二步,我們要更改手機ip。我們先來看看你的PC斷ip是多少。先打開cmd進入終端后,輸入ipconfig回車

就可以看到你的ip地址了

這時候終于輪到你的寶貝手機出場了,熟練的連上你的wifi之后,修改你的wifi設(shè)置,點擊高級選項后,分別輸入你的ip和端口后保存。

3、大家是不是覺得很簡單呢,別高興太早了!最關(guān)鍵的一步到了,在我們完成第一、二步設(shè)置后,打開你的手機瀏覽器輸入你的ip和端口號(例127.0.0.1:8080),回車,這時候會跳轉(zhuǎn)到一個下載手機端證書的頁面,下載后并信任證書后(注:某些安卓手機會要獲得root權(quán)限才行),這時候,我們安裝三部曲就大功告成了。

萬事俱備,只欠東風(fēng),食材都清洗好了,現(xiàn)在我就教大家怎么利用Fiddler烹煮小程序。

抓包實戰(zhàn)

先打開一個小程序網(wǎng)站,我選擇的是Q房網(wǎng),大家看,菜下鍋后,F(xiàn)iddler是不是變化了。

這就是用fiddler攔截到你的手機發(fā)出請求的網(wǎng)頁信息了和它的鏈接,這個網(wǎng)頁信息是通過json數(shù)據(jù)加載的

然后往上看,Raw模塊是獲取請求頭的地方

有了這兩個信息,我們的爬蟲代碼也就可以開始編寫了

爬蟲代碼

基操requests,循環(huán)頁數(shù),由于是獲取的數(shù)據(jù)是json格式,我們就要利用json.loads格式化抓取的信息,才能進行一個數(shù)據(jù)提取。

部分爬蟲代碼,完整版下載見文末

url = 'https://mapi.qfang.com/wechat/api/v3_2_0/room?dataSource=GUANGZHOU&unionId=這里也是微信id&platform=wechat&bizType=SALE&currentPage={}&pageSize=20&keyword=&region=&l=&s=&p=&b=&a=&r=&h=&g=&t=&o=&fromPrice=&toPrice=&unitPrice=&fromUnitPrice=&toUnitPrice='

#爬取到50頁,程序就停止

fori inrange( 1, 51):

time.sleep(rand_seconds)

url3 = url.format(i)

# print(url3)

res = session.get(url=url3, headers=headers)

# print(res.text)

data = json.loads(res.text)

try:

id_list = data[ 'result'][ 'list']

# print(333,id_list)

fori inid_list:

id = i[ 'id']

# print(id)

url2 = 'https://mapi.qfang.com/wechat/api/v3_2_0/room/detail?dataSource=GUANGZHOU&unionId=這里也是微信id&platform=wechat&id={}&bizType=SALE&userId=&accountLinkId=&top=1&origin=sale-list'.format(

id)

time.sleep(rand_seconds)

try:

requests.adapters.DEFAULT_RETRIES = 3

res2 = session.get(url=url2, headers=headers, timeout= 10)

exceptrequests.exceptions.Connecti:

requests.adapters.DEFAULT_RETRIES = 3

res2 = session.get(url=url2, headers=headers, timeout= 10)

exceptrequests.exceptions.ReadTimeout:

requests.adapters.DEFAULT_RETRIES = 3

res2 = session.get(url=url2, headers=headers, timeout= 10)

item = {}

res2_data = json.loads(res2.text)

try:

roominfo = res2_data[ 'result'][ 'roomInfo']

exceptKeyError:

break

爬取數(shù)據(jù)結(jié)果:

數(shù)據(jù)可視化

菜做好了,當(dāng)然還要撒點香菜才能上桌啦,做個簡單可視化吧,由于爬取的數(shù)據(jù)很干凈,我省掉清洗數(shù)據(jù)的環(huán)節(jié),直接上手,在各位群大佬面前獻丑了。

我們先來看看該網(wǎng)站的廣州二手房的最高價和最低價,這最高價的數(shù)字太感人了.... 這多少個0我都數(shù)不對

importpandas aspd

importmatplotlib.pyplot asplt

df = pd.read_csv( r'F:PycharmProjectshouse_spider廣州二手房.csv', encoding= 'gbk')

# print(df)

df = df.astype({ 'price': 'float64'}) #先將價格的類型轉(zhuǎn)為浮點數(shù),方便后面計算

df_max = df[ 'price'].max #查看爬取的數(shù)據(jù)中房價最高的價格

df_min =df[ 'price'].min #房價最低的價格

print( '廣州二手房最高價:%s,最低價:%s'%(df_max,df_min))

re_price = [ 'region', 'price']

# 分組統(tǒng)計數(shù)量

price_df = df[re_price]

# #根據(jù)區(qū)域價格計算區(qū)域房價均價

region_mean_price = price_df.groupby([ 'region'],as_index= False)[ 'price'].agg({ 'mean_price': 'mean'})

region_mean_price = region_mean_price.sort_values(by= 'mean_price')

print(region_mean_price)

#利用循環(huán)提取已經(jīng)處理好的區(qū)域和它的均值

forx,y inzip(region_mean_price.region, region_mean_price.mean_price):

plt.text(x, y, '%.0f'%y, ha= 'center', va= 'bottom',fontsize= 11)

# 顯示柱狀圖值

plt.bar(region_mean_price.region, region_mean_price.mean_price, width= 0.8, color= 'rgby')

plt.show

繼續(xù)繼續(xù),我們來統(tǒng)計一下廣州各區(qū)的房價,然后算出各個區(qū)域均值,通過groupby分組統(tǒng)計出region_mean_price

(豆腐內(nèi)心os:原來黃埔房價都那么高了,各網(wǎng)站數(shù)據(jù)的差異性也會導(dǎo)致最終展示的結(jié)果不一樣,大家可以選個大網(wǎng)站試試)

到此,我們這次利用工具抓包小程序網(wǎng)站的介紹就結(jié)束了,大家也可以試試app,原理一樣。

謝謝大家觀看,拜拜咯~

本文涉及爬蟲、可視化代碼下載:

https://alltodata.cowtransfer.com/s/f0b70e0c24164c

責(zé)任編輯:

推薦內(nèi)容