一般爬蟲訪問一個網(wǎng)站的時候,首先會根據(jù)該站點下的Robots.txt文件來確定可爬取的網(wǎng)頁范圍,Robots協(xié)議是需要網(wǎng)絡爬蟲共同遵守的協(xié)議,這個老師也說說吧
![]() |
jpgo
展開
|
![]() ![]() 學習達人
|
wyykapo
展開
|
![]() |
MR蔣蔣
展開
現(xiàn)在手機顯示的也是:百度一下,你就知道?我用了好幾個不同的use-agent,運行結果都是:百度一下,你就知道 ![]() bluer99
展開
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0_4 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) CriOS/31.0.1650.18 Mobile/11B554a Safari/8536.25
百度一下
[Finished in 0.3s]
網(wǎng)上找個老款手機的資料。 ![]() aa765685928
展開
url=r"http://m.baidu.com/" 百度上的網(wǎng)址和電腦和手機是有區(qū)別的,你登入的是電腦的網(wǎng)址。你用手機的網(wǎng)址就好了 |
![]() ![]() 學習達人
|
sbynidxv
展開
|
![]() |
陳肖杰
展開
|
![]() ![]() 打卡Lv1
|
江小墩墩
展開
|
承擔因您的行為而導致的法律責任,
本站有權保留或刪除有爭議評論。
參與本評論即表明您已經(jīng)閱讀并接受
上述條款。