本文列举一些pyspark文件读写的示例代码 # 创建或获取会话 import pyspark from pyspark.sql import SparkSession spark = SparkSession.builder.appName('Python Spark SQL example').getOrCreate() 读取单个文件 CSV csv_path = '/home/ghost/workdata/patients.csv' df_patient = spark.read.format('csv')\ .option('header', 'true')\ .option('inferSchema', 'true')\ .load(csv_path) # 打印 dataframe 架构 df_patient.printSchema() root |-- patient_id:...
问题场景 仅安装了conda版的python环境，需要在Task Schedule中定时运行某python脚本，可是直接在命令中运行python...
背景 虚拟机中安装了spark，想要在windows中直接练习pyspark的操作，但又不想在windows中再安装一次spark，于是想到了...
今天介绍4种列转行（又称宽表转长表、逆透视等）写法。 数据准备 CREATE TABLE Sales([Year] INT,Q1 INT,Q2 INT,Q3 INT,Q4 INT); GO INSERT INTO Sales([Year],Q1,Q2,Q3,Q4) VALUES (2017,12,123,324,123) ,(2018,13,455,324,878) ,(2019,29,786,473,633); SQL写法 UNION 最传统最通用写法 SELECT [Year],'Q1' AS [Quarter],Q1 AS Amount FROM Sales UNION ALL...
做BI或数据分析时，经常会遇到各类格式转换，这里将最近遇到的一个例子记录一下，分享几种SQL写法。 需求 千言万语抵不上一张图： 数据准备 CREATE TABLE dbo.CategoryConfig(Category VARCHAR(20),[Level]...
everything已经成为我windows平台下的重度依赖软件，其对本地文件的搜索高效快速准确，但默认是不支持网络路径文件夹内文件搜索的：...
玩了一段时间Ubuntu之后发现很多操作还是用命令行更方便，GUI显得没太多作用，毕竟Ubuntu只在VM中，GUI有Windows或Mac...
需求背景 需要将从数据库提取的数据交给用户，由于数据量较大（好几十万行），若导出为有固定分隔符的文本文件给用户，一来体验上不太好，二来若文本字...
vim 选择文本，删除，复制，粘贴 文本的选择，对于编辑器来说，是很基本的东西，也经常被用到，总结如下： v 从光标当前位置开始，光标所经过的地方会被选...
安装PostgreSQL 运行如下命令进行安装： sudo apt-get install postgresql Linux本地登陆并修改密码 安装完成之后，Linux会自动创建postgres同名账户...
场景 希望将SVN文件移动到其它文件夹下，且保存SVN日志。如果是少数几个文件还好 ，对每个文件分别用SVN的rename功能（或选中多个右键拖...
场景描述 客户提供的Excel文件，需要进行简单清洗之后导入数据库。 代码实现 import pandas as pd import numpy as np import os from sqlalchemy import create_engine from sqlalchemy import text from sqlalchemy.types import Integer from sqlalchemy.types import NVARCHAR # Excel文...
最近项目上用到Amazon的Redshift数据库， 由于没有官方客户端，于是去网上找通用SQL客户端，发现一个叫SQL Workbench/J...
前面有篇Blog记录了如何通过vagrant快速安装Ubuntu，但vagrant中的一些Box基本都是事先安装好了一些软件，做好了一些配置...
配置虚拟机桥接上网模式时，发现选择不了网卡，找资料发现需要在网络适配器中开启如下选项： 如果发现电脑上无此选项，可以如下操作： 找到virtua...