大家好,我们今日讲解“利用XMLHTTP抓取百度查询关键词结果的个数”,这节内容是“VBA信息获取与处理”教程中第六个专题“VBA中利用XMLHTTP完成网抓数据”的第二节。
在上一讲中我们讲解了一些常用的概念,以及XMLHTTP在应用时常用的一些属性和方法,从这一讲开始,我们开始逐渐学习利用XMLHTTP的这些属性和方法来抓取网络的数据。
我们这讲要实现的目的:在一个EXCEL页面中有若干个关键词,我们要利用搜索引擎在网络中进行搜索,然后把搜索到的结果进行反馈。如下图:
1 应用XMLHTTP实现反馈搜索结果的思路分析
为了实现上述的目的,我们要首先建立一个引用,引用一下XMLHTTP;然后利用XMLHTTP的方法实现相应关键字的查询,所以利用https://www.baidu.com/s?wd+关键字的搜索。这里将利用XMLHTTP的open方法。
对于返回的结果是XMLHTTP的responseText属性,在上一讲的讲解中我们讲过XMLHTTP的responseText属性结果返回为字符串。
我们要在这个字符串中提取出我们要结果。我们可以先看看在一个实际的网页中查询的结果的responseText字符串:
关于上述字符串的解释我将在下个专题给大家讲解。
最后我们将利用数组函数在上面的字符串中分解出查询的结果。利用的数组函数是Split。
2 应用XMLHTTP实现反馈搜索结果的代码实现
下面我们看看VBA代码是如何实现上述思路的:
Sub myNZ() 'VBA抓取百度查询关键词结果的个数
Dim objXMLHTTP As Object
Sheets("SHEET1").Select
i = 2
Do While Cells(i, 1) <> ""
UU = Cells(i, 1).Value
'XmlHttp是可以在脚本语言中通过http协议传送或从接收XML及其他数据的一套API。
'XmlHttp最大的用处是可以更新网页的部分内容而不需要刷新整个页面。
Set objXMLHTTP = CreateObject("MSXML2.XMLHTTP")
With objXMLHTTP
strURL = "https://www.baidu.com/s?wd=" & UU
'创建一个新的http请求,并指定此请求的方法、URL以及验证信息(用户名/密码)
.Open "GET", strURL, False
'发送请求到http服务器并接收回应
.send
'responseText 属性是将响应信息作为字符串返回.只读
strJG = .responseText
End With
Cells(i, 2) = "百度 " & UU & " 结果个数为:"
Cells(i, 3) = Split(Split(strJG, "百度为您找到相关结果")(1), "<")(0)
Set objXMLHTTP = Nothing
i = i + 1
Loop
MsgBox "OK!"
End Sub
上述代码实现我们的思路,这也是一段非常实用的代码,希望大家能利用。
代码的讲解:
1)UU = Cells(i, 1).Value 是对搜索关键字的提取
2)Set objXMLHTTP = CreateObject("MSXML2.XMLHTTP") 建立一个对象,并将这个对象赋值为建立起来的XMLHTTP对象。
3)strURL = "https://www.baidu.com/s?wd=" & UU 建立一个字符串,用于我们发送http请求的地址。
4).Open "GET", strURL, False '创建一个新的http请求,并指定此请求的方法、URL以及验证信息(用户名/密码) 在这句代码中利用的GET方法,还有一种方法是POST,这两种方法有什么区别呢?这个问题我们会在后续的讲解中提到。
5).send 是发送请求到http服务器并接收回应
6) strJG = .responseText 用字符串接受返回结果.responseText。
7) Cells(i, 3) = Split(Split(strJG, "百度为您找到相关结果")(1), "<")(0) 这句代码是利用Split(Split(strJG, "百度为您找到相关结果")(1), "<")(0) 来返回搜索返回的条目数,这段代码可以仔细理解一下,如果不是很清楚Split的作用大家可以参考我的第三套教程《VBA数组与字典解决方案》
8)Set objXMLHTTP = Nothing 清空内存
代码截图:
3 应用XMLHTTP实现反馈搜索结果
通过上面的代码过程,我们看看反馈的结果:
从上面的结果中,我的各套教程是非常受欢迎的,哈哈。
本节知识点回向:如何利用XMLHTTP的属性和方法反馈网页中的关键词的搜索结果呢?
本讲参考程序文件:006工作表.XLSM
VBA是利用Office实现自己小型办公自动化的有效手段,这是我对VBA的应用界定。在取代OFFICE新的办公软件没有到来之前,谁能在数据处理方面做到极致,谁就是王者。其中登峰至极的技能非VBA莫属!学习VBA是个过程,也需要经历一种枯燥的感觉,如太白诗云:众鸟高飞尽,孤云独去闲。相看两不厌,只有敬亭山。
“水善利万物而不争”,绵绵密密,微则无声,巨则汹涌。学习亦如此,知道什么是自己所需要的,不要蜷缩在一小块自认为天堂的世界里,待到暮年时再去做自欺欺人的言论。要努力提高自己,用一颗充满生机的心灵,把握现在,这才是进取。越是有意义的事情,困难会越多。愿力决定始终,智慧决定成败。不管遇到什么,都是风景。看淡纷争,看轻得失。茶,满也好,少也好,不要计较;浓也好,淡也好,其中自有值得品的味道。去感悟真实的时间,静下心,多学习,积累福报。而不是天天混日子,也不是天天熬日子。在后疫情更加严峻的存量残杀世界中,为自己的生存进行知识的储备,特别是新知识的储备。学习时微而无声,利用时则巨则汹涌。
我记得20年前自己初学VBA时,那时的资料甚少,只能看源码自己琢磨,真的很难。20年过去了,为了不让学习VBA的朋友重复我之前的经历,我根据自己多年VBA实际利用经验,推出了六部VBA专门教程。
第一套:VBA代码解决方案 是VBA中各个知识点的讲解,覆盖绝大多数的VBA知识点,初学必备;
第二套:VBA数据库解决方案 数据库是数据处理的专业利器,教程中详细介绍了利用ADO连接ACCDB和EXCEL的方法和实例操作,适合中级人员的学习。
第三套:VBA数组与字典解决方案 数组和字典是VBA的精华,字典是VBA代码水平提高的有效手段,值得深入的学习,是初级及中级人员代码精进的手段。
第四套:VBA代码解决方案之视频 是专门面向初学者的视频讲解,可以快速入门,更快的掌握这门技能。
第五套:VBA中类的解读和利用 这是一部高级教程,讲解类的虚无与肉身的度化,类的利用虽然较少,但仔细的学习可以促进自己VBA理论的提高。
第六套教程:《VBA信息获取与处理》,这是一部高级教程,涉及范围更广,实用性更强,面向中高级人员。教程共二十个专题,包括:跨应用程序信息获得、随机信息的利用、电子邮件的发送、VBA互联网数据抓取、VBA延时操作,剪切板应用、Split函数扩展、工作表信息与其他应用交互,FSO对象的利用、工作表及文件夹信息的获取、图形信息的获取以及定制工作表信息函数等等内容。如需要可以可以WeChat: NZ9668
学习的过程也是修心的过程,修一个平静的心。在代码的世界中,心平静了,心情好了,身体自然而然就好。心静则正,内心里没有那么多邪知邪见,也就没有那么多妄想。利人就是利己。这些教程也是为帮助大家起航,助上我自己之力,我的上述教程是我多的经验的传递,大家可以根据以上资料1,3,2,6,5或者是4,3,2,6,5的顺序逐渐深入的逐渐学习。
每一分收获都是成长的记录,怎无凭,正是这种执着,成就了朝霞的灿烂。最后将一阙词送给致力于VBA学习的朋友,让大家感受一下学习过程的枯燥与执着:
浮云掠过,暗语无声,
唯有清风,惊了梦中啼莺。
望星,疏移北斗,
奈将往事雁同行。
阡陌人,昏灯明暗,
忍顾长亭。
多少VBA人,
暗夜中,悄声寻梦,盼却天明。