行动算子主要是将在数据集上运行计算后的数值返回到驱动程序,从而触发真正的计算。下面,结合具体的示例对这些行动算子API进行详细讲解。 查看全文>>
Python+大数据技术文章2021-04-28 |传智教育 |RDD行动算子API详细讲解
Shell在计算机科学中俗称“壳”,是提供给使用者使用界面的进行与系统交互的软件,通过接收用户输入的命令执行相应的操作,Shell分为图形界面Shell和命令行式Shell。 查看全文>>
Python+大数据技术文章2021-04-28 |传智教育 |什么是HDFS ShellHDFS,常用命令操作方法
2003年秋,Django诞生于美国堪萨斯州The World Company公司的World Online部门,这个部门是公司的Web开发部门,维护着公司的三个新闻站点。由于新闻界特有的快节奏,管理层不断要求开发小组在几天甚至几小时内增加新的程序或特征,为此,Web开发部门的Adrian Holovaty(阿德里安.霍洛瓦蒂)和Simon Willison(西蒙.威利森)着手开发一个能节省时间、实现Web程序高效开发的框架。此后两年时间,Adrian和Simon在研发Django框架的同时,也将其应用到了World Online部门多个站点的开发工作之中。 查看全文>>
Python+大数据技术文章2021-04-27 |传智教育 |Django框架的优点
现如今因为搜索引擎的流行,网络爬虫已成为很普及的技术,除了专门做搜索的Google、Yahoo、百度以外,几乎每个大型门户网站都有自己的搜索引擎。一些智能的搜索引擎爬虫的爬取频率比较合理,不会消耗过多的网站资源,但是,很多网络爬虫对网页的爬取能力很差,经常并发上百个请求循环重复爬取,这种爬虫对中小型网站造成的访问压力非常大,很可能会导致网站访问速度缓慢,甚至无法访问,因此现在的网站会采取一些防爬虫措施来阻止爬虫的不当爬取行为。 查看全文>>
Python+大数据技术文章2021-04-27 |传智教育 |如何应对防爬策略
Python内置了许多标准模块,例如sys、os、random和time模块等,下面为大家介绍几个常用的标准模块。 查看全文>>
Python+大数据技术文章2021-04-22 |传智教育 | Python的标准模块,sys,os,random和time
break语句用于跳出离它最近一级的循环,能够用于for循环和while循环中,通常与if语句结合使用,放在if语句代码块中,其格式如下所示。 查看全文>>
Python+大数据技术文章2021-04-22 |传智教育 |break语句在Python中有哪些用途
半个世纪以来,随着计算机技术全面地融人社会生活,信息爆炸已经积累到-个开始引发变革的程度,它不仅使得世界上充斥着比以往更多的信息,而且增长速度也在逐步加快,驱使着人们进入了一个崭新的大数据时代。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器、智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通信、短信)都在疯狂产生着数据。到目前为止,无论是线下的大超市还是线上的商城,每天都会产生TB级以上的数据量。 查看全文>>
Python+大数据技术文章2021-04-22 |传智教育 |为什么要做数据分析
Python作为数据分析的重要语言,它为数据分析的每个环节都提供了很多库。常见的数据可视化库包括matplotib、seaborm、 ggplot、 bokeh、pygal、 pyecharts, 下面将逐一介绍。 查看全文>>
Python+大数据技术文章2021-04-21 |传智教育 |Python数据可视化库