资料搜集是个相当繁琐与累的工作,也是数据分析入门的基本,良好的信息资料搜集能力有利于我们快速了解数据的基本情况,为后续的调研及一手资料的获得打下较好的基础。
搜索引擎是我们信息资料搜集的最重要的渠道之一,用搜索引擎查找信息资料需要使用恰当的关键词和一些搜索技巧。目前国内主要的搜集引擎有如下10个hth华体会,近期还有较多行业型搜索冒出来,需找专业型行业资料可以使用行业型搜索引擎。
由于每个搜索引擎都有一定的局限性,可以把要搜索的关键词在多个搜索引擎试一下,可能会搜出你意想不到的结果。
大家对国内的引擎基本都很熟悉,尤其是百度和google,需要搜索同一主题的资料,不同的人所搜出来的结果可能就天差地别了,主要原因在于如下两点:
举例说明,假如我们要搜索大数据行业发展相关资料,如果我们就在百度上搜索“大数据”,结果非常多,无法进行筛选,可以对关键词进一步界定,如“大数据行业”、“大数据市场规模”、“中国大数据产业”、“大数据技术”、“大数据企业”等等,需要不停地变换搜索关键词,直到查到满意的搜索结果,在查找的过程中可以根据查找结果内容再进行对关键词进行修正,修正有些名称专业表达方式,因为最开始搜索我们表达的不一定准确。
主要是针对百度、google等搜索引擎一些高级搜索技巧。 常用技巧主要有如下几个方面:
(1)文件类型搜索:使用filetype,如在百度或google中键入“filetype:pdf 大数据”搜索出有关大数据内容pdf内容,而且这些文档基本都是可直接下载。 还可以变换为其他的如“filetype:doc”、“filetype:ppt”
、“filetype:xls”等等,注意其中的冒号为英文的冒号,一定要变换为英文冒号。
(2)定位于哪个网站上搜索:使用site,如在百度或google中键入“大数据空格,则在搜索有关大数据的一些资料信息,这个特别适用针对某些信息可能在哪些网站上出现的一个快速搜索方法,注意冒号也是英文的,网站名称也不用加
(3)精确匹配搜索:使用“”,如在百度中键入“大数据行业”,表示搜索“大数据行业”五个必须联在一起的,如果不加“”,搜到的为大数据及行业两个词并列显示结果,没有这么精确匹配。
(4)限制性的网页搜索:使用intitle,如在百度键入“intitie:大数据”,限定于搜索标题中含有“大数据”网页,如果输入“intitie:大数据市场规模”限定于搜索标题中含有“大数据”和“市场规模”的网页。
虽然还是Beta版,但个人已觉得现在已经是很好很强大了,Google学术搜索滤掉了普通搜索结果中大量的垃圾信息,排列出文章的不同版本以及被其它文章的引用次数。 略显不足的是,它搜索出来的结果没有按照权威度(譬如影响因子、引用次数)依次排列,在中国搜索出来的,前几页可能大部分为中文的一些期刊的文章。
Scirus 是目前互联网上最全面、综合性最强的科技文献搜索引擎之一,由Elsevier科学出版社开发,用于搜索期刊和专利,效果很不错! Scirus覆盖的学科 范围包括: 农业与生物学,天文学,生物科学,化学与化工,计算机科学,地球与行星科学,经济、金融与管理科学,工程、能源与技术,环境科学,语言学,法 学,生命科学,材料科学,数学,医学,神经系统科学,药理学,物理学,心理学,社会与行为科学,社会学等。
BASE是德国比勒费尔德(Bielefeld)大学图书馆开发的一个多学科的学术搜索引擎,提供对全球异构学术资源的集成检索服务。 它整合了德国比勒费尔德大学图书馆的图书馆目录和大约160个开放资源(超过200 万个文档)的数据。
Vascoda是一个交叉学科门户网站的原型,它注重特定主题的聚合,集成了图书馆的收藏、文献数据库和附加的学术内容。
与google比较了一下发现,能搜索到一些google搜索不到的好东东 。 它界面简洁,功能强大,速度快,YAHOO、网易都采用了它的搜索技术。 各位可以一试。
Google在同一水平的搜索引擎。 是Amazon.com推出的,Webresult部分是基于Google的,所以保证和Google在同一水平hth华体会,另外增加了Amazon的在书本内搜索的功能和个性化功能: 主要是可以记录你的搜索历史。 现在还是Beta,不过试用后感觉很好,向大家推荐一试 ,不过缺憾是现在书本内搜索没有中文内容。
严格意义上讲不是搜索引擎,是连接搜索引擎和网络用户的信息立交桥。 新一代的搜索引擎应运而生,Ixquick meta-search正是目前最具光芒的新星。 但是对于大多数国内用户来说,Ixquick还很陌生。 Ixquick众多独特的功能我不一一介绍了,只介绍我们最关心的,搜索数据库密码。
cmu的作品,对搜索的内容进行分类,这样可以有效地做出选择,比较有特色。 可实现分类检索,检索速度也很好,如EBSCO 密码几分钟就可找一大堆 .
一个检索免费paper的好工具。 进入网页以后,可以看到他有三个功能,driectory web article,其中article对我们很有帮助,你可以尝试输入你要找的文章,会有很多发现的!
现点击后或跳转到,在此搜索引擎里可以搜索到超过千万种化学品信息或相应的供应商,与Chemblink有点相似,但提供的化学品理化信息没有Chemblink详细,与其不同的是该搜索引擎可提供化学品结构式搜索(主页上有在线绘制化学结构式的搜索框)。
OJOSE (Online JournalSearch Engine,在线期刊搜索引擎)是一个强大的免费科学搜索引擎,通过OJOSEhth华体会,你能查找、下载或购买到近60个数据库的资源。 但是感觉操作比较复杂。
里面的搜索引擎功能由google提供,搜索结果与google一样,如果google无法登陆,可以用这个网站代替。
数据库是研究人员重要的数据来源之一,目前券商、基金研究研究机构都购买有商业数据库,目前研究用的数据库主要分为两大类,一是商业数据库,二是学术数据库。
国内数据库主要有如万德、恒生聚源、锐思数据库、CSMAR数据库、巨潮数据库等。目前万德数据库主要定位于国内高端客户,市场占有率较高,80%左右,当然其售价较高。恒生聚源也定位为机构客户,性价比较高,售价要比万德便宜的多。CSMAR数据库定位于学术与高校,其中金融数据比较全,强大。锐思数据库定位于学术,质量一般。巨潮数据库为深交所旗下数据库,有一定的特殊优势。
国外数据库主要有彭博、路透社、CEIC、OECD、Haver Database、Thomson Financial One Banker等,国外数据库中彭博是比较全也大的,在国内销售也较好,但是售价奇贵。一般不做国际市场研究,大多用不到国外数据库,毕竟国外数据库公司对国内的行业数据及公司数据不如本土数据库公司的做得好。
学术数据库基本为高校、研究机构所用,也分为国内与国外两大类,学术数据库中一些学术论文、行业数据、统计年鉴还是有用的,缺点就是其中有些数据的相对较旧,无法做到实时更新。
以上大致介绍了国内的商业及学术数据库,但这些数据库都是通过收费或学校账号才能使用,对于平时临时研究用的一些人,没有必要去购买,下面介绍一些免费可用的数据库。
首先也非常感谢共享文库的出现,使得大家搜集信息方便了许多,随最早的豆丁、百度、爱问等共享文库的出现,随后到如今出现许多共享文库,不过很多文库规模较小,文档数量较少。
针对以上国内的共享文库,都可以通过注册账号,上传分享资料赚取积分,通过积分可以下载文库资料。 如果有些文档看过后不错想保存下来积分不够,可以通过文库下载器来免费下载保存,文库下载器有如“冰点文库下载、易读下载、老张文库下载”等等,如果只看重其中一部分内容,可以通过QQ拷屏方式保留下来(登陆QQ,ctrl+alt+a拷屏)。
在共享文库未出现以前,专业论坛一直担任着查找资料的好去处,hth华体会的确国内的一些论坛经过这么多年的运营,已经积累大量有用文档。下面主要介绍我们常用的专业论坛。
经济、学术型论坛,其中行业研究、统计年鉴数量多,更新速度快,我的最爱,常用。(如哪位仁兄想下载其中其他地方找不到的文档,积分不够,请用微信私信给我,我来帮你解决)。
政府部门是国内公开数据的来源,查询权威的数据可以到政府相关部门网站,以下介绍国内的主要发布相关数据的政府部门。
由位于华盛顿的美国政府印刷办公室出版、经济顾问委员会撰写的《总统经济报告》(Economic Report of President),提供了有关美国当前经济形势的描述和主要宏观经济变量数据。相当多的数据都可以追溯到1959年,甚至个别的可追溯到1929年。hth华体会可能你已经留意到了,好多有关美国的图形,都是采用《总统经济报告》(2005)所附数据生成的。这些数据可以免费下载,网址是。
如果需要一应俱全的数据,一个宝贵的权威来源是,美国商务部统计局出版的《美国统计概要》(Statistical Abstract of the United States),相当一部分数据可以免费下载,网址是。
如果想获得最近数据的详细资料,一个不错的选择是,美国商务经济分析局每月出版的《当代商业纵览》(Survey of Current Business)。网址是,。
对富裕国家来说,最有用的资料来源于经济合作与发展组织(Organization of Economic Cooperation and Development,简称OECD)。经济合作与发展组织的成员包括:奥地利、澳大利亚、比利时、加拿大、捷克共和国、丹麦、芬兰、法国、德国、希腊、匈牙利、冰岛、意大利、日本、卢森堡、墨西哥、荷兰、新西兰、挪威、波兰、葡萄牙、韩国、西班牙、瑞典、瑞士、土耳其、英国和美国。看来,世界上的富裕国家大都属于该组织,其产出占世界产出的70%左右。OECD的网址是,提供三种极为有用的数据。
《OECD经济展望》(OECD Economic Outlook),每年出版两次,提供许多跨国宏观经济数据。这些数据一般都上溯到20世纪70年代,而且具有很好的一致性。
《OECD就业展望》(OECD Employment Outlook),每年出版一次,专门提供劳动力市场的数据。《OECD历史统计》(OECD Historical Statistics),不定期出版,将当期数据和过去数据放在一起。
对于不是OECD成员的国家和地区,可以从其它国际组织那里获得相关数据,比如国际货币基金组织(International Monetary Fund,简称IMF),其网址是。IMF提供《国际金融统计年鉴》(InternationalFinancial Statistics Yearbook),它主要提供成员国的金融数据,但也包括一些总体数据,比如GDP、失业和通货膨胀等。
最后,如果还没有找到你要的数据,不妨登陆下面的两个网站,也许是根稻草。哈佛商学院的宏观经济学资源网站,提供了大量连接。由密西西比大学BillGoffe维护的一个网站,不仅列出了数据来源,而且还列出了有关经济的其他信息来源。
除以上介绍的几种资料搜集渠道外,hth华体会我们也结合近年it科技的发展,在博客、微博、空间等去搜索。
1.行业协会网站:每个行业协会基本都会有网站,在该网站上能够查找一些对本行业的描述、相关数据等。
2.博客:国内有网易、新浪、搜狐、百度空间、和讯等博客网站,有些数据也可以从搜索博客中找到。
3.微博:新浪微博及腾讯微博,用数量极大,其中有些数据可以通过搜索查询到。
4.微信:微信用户已经超过4亿,每个人都是新闻的发布者,其中数据资源丰富,但目前还未提供全文搜索功能,只能通过关注相关公共账号或关注朋友圈获取。
DataHunter 是一家专业的数据分析和商业智能服务提供商,注册于2014年。团队核心成员来自IBM、Oracle、SAP等知名公司,深耕大数据分析领域,具有十余年丰富的企业服务经验。
DataHunter 旗下核心产品智能数据分析平台Data Analytics、数据大屏设计配置工具Data MAX已在业内形成自己的独特优势,并在各行业积累了众多标杆客户和成功案例。
成立以来,DataHunter就致力于为客户提供实时、高效、智能的数据分析展示解决方案,帮助企业查看分析数据并改进业务,成为最值得信赖的数据业务公司。