前言
2022年6月3日 端午节安康。
今天主要推荐怎么样借助爬虫爬取区块链浏览器上的买卖列表数据。
缘由
dune上没bsc链上的转账明细数据表。Footprint Analytics上现有些bsc_transactions表transfer_type粒度不够。
环境
python 3.7
数据存储：mysql 5.7
缓存：redis 6.2.6
开发工具：pycharm
思路
（1）所有协议、合约、swap地址转账信息全爬不太实质，对存储需要比较高。所以针对需要剖析的协议，专门去爬取对应智能合约转账是个很好的选择。
（2）区块链浏览器一定是有反爬机制的。所以在加盟选择上，要选择海外的加盟。国内的加盟都访问不到，具体缘由你懂的。本文中不涉及加盟部分，由于海外的加盟厂商之前没知道过。不过即便是上加盟，对代码层面改动也比较小
（3）使用了urllib同步请求 + 范围内随机时长程序休眠。降低了被风控的概率。但也减少了爬虫的效率。
后面再研究用scrapy或异步请求 [1]
[1] 同步：请求发送后，需要同意到返回的消息后，才进行下一次发送。异步：无需等接收到返回的消息。
达成
找到需要爬取合约的具体地址：
第一页
http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8第二页
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=2第三页
https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&p=3....
可以了解 p = ？就代表页数。
然后F12 点击“互联网”，刷新界面，查询互联网请求信息。
主要查询，网页上显示的数据，是什么文件响应的。以什么方法响应的，请求办法是什么
怎么样验证呢，就是找一个txn_hash在响应的数据里面按ctrl + f去搜索，搜索到了说明一定是这个文件返回的。
查询响应的数据，是html的格式。在python里面，处置html数据，个人常见的是xpath（当然，假如更善于BeautifulSoup也可以）
在python里面安装有关的依靠
pipinstalllxml‐ihttps://pypi.douban.com/simple同时在浏览器上安装xpath插件，它能更好的帮忙大家获到网页中元素的地方
XPath Helper - Chrome 网上应用店 (谷歌.com)
然后就可以通过插件去定位了，返回的结果是list
**注：**浏览器看到的网页都是浏览器帮大家渲染好的。存在在浏览器中能定位到数据，但代码中取不到值的状况，这个时候可以通过鼠标右键-查询网页网站源码，然后搜索达成
#请求和xpath定位具体达成代码：defstart_spider(page_number):url_base='http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8&'#请求头headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/92.0.4515.159Safari/537.36','referer':'https://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8'}#需要传入的参数data={'p':page_number}#将参数转为Unicode编码格式unicode_data=urllib.parse.urlencode(data)#拼接网址#http://bscscan.com/txs?a=0xbd3bd95529e0784ad973fd14928eedf3678cfad8url=url_base+unicode_data#自概念request对象request=urllib.request.Request(url=url,headers=headers)#模拟浏览器发送请求response=urllib.request.urlopen(request)#将返回的数据借助lxml转为tree=etree.HTML(response.read().decode('utf‐8'))#//div[@id='paywall_mask']//tbody//td//span/a[@class='myFnExpandBox_searchVal']/text()txn_hash_list=tree.xpath("//div[@id='paywall_mask']//tbody//td//span/a[@class='myFnExpandBox_searchVal']/text()")#//div[@id='paywall_mask']//tbody//td//span[@class='u-labelu-label--xsu-label--inforoundedtext-darktext-center']/text()method_list=tree.xpath("//div[@id='paywall_mask']//tbody//td//span[@class='u-labelu-label--xsu-label--inforoundedtext-darktext-center']/text()")#//div[@id='paywall_mask']//tbody//td[@class='d-noned-sm-table-cell']//text()block_list=tree.xpath("//div[@id='paywall_mask']//tbody//td[@class='d-noned-sm-table-cell']//text()")#//div[@id='paywall_mask']//tbody//td[@class='showAge']/span/@titleage_list=tree.xpath("//div[@id='paywall_mask']//tbody//td[@class='showAge']/span/@title")#//div[@id='paywall_mask']//tbody//td/span[@class='hash-tagtext-truncate']/@titlefrom_list=tree.xpath("//div[@id='paywall_mask']//tbody//td/span[@class='hash-tagtext-truncate']/@title")#//div[@id='paywall_mask']//tbody//td[@class='text-center']/span/text()transfer_type_list=tree.xpath("//div[@id='paywall_mask']//tbody//td[@class='text-center']/span/text()")#//div[@id='paywall_mask']//tbody//td/span/span[@class='hash-tagtext-truncate']//text()to_list=tree.xpath("//div[@id='paywall_mask']//tbody//td/span/span[@class='hash-tagtext-truncate']//text()")#//div[@id='paywall_mask']//tbody//td/span[@class='smalltext-secondary']/text()[2]transfer_free_list=tree.xpath("//div[@id='paywall_mask']//tbody//td/span[@class='smalltext-secondary']/text()[2]")然后就是借助redis，对txn_hash去重，去重是什么原因预防一条数据被爬到了多次
defadd_txn_hash_to_redis(txn_hash):red=redis.Redis(host='依据你一个人的配置',port=6379,db=0)res=red.sadd('txn_hash:txn_set',get_md5(txn_hash))#假如返回0，这说明插入不成功，表示有重复ifres==0:returnFalseelse:returnTrue#将mmsi进行哈希，用哈希去重更快defget_md5(txn_hash):md5=hashlib.md5()md5.update(txn_hash.encode('utf-8'))returnmd5.hexdigest()最后一个需要考虑的问题：买卖是在增量了，也就是说，目前第二页的数据，非常可能过会就到第三页去了。对此我的方案是不管页数的变动。一直往下爬。全量爬完了，再从第一页爬新增加的买卖。直到遇见首次全量爬取的txn_hash
最后就是存入到数据库了。这个没什么好说的。
以上就可以拿到转账列表中的txn_hash，后面还要写一个爬虫深入列表里面，通过txn_hash去爬取详情介绍页面的信息。这个就下个文章再说，代码还没有写完。
今天就写到这里。拜拜ヾ(•ω•`)o
出处：Bress
作者：撒酒狂歌
