问题场景 仅安装了conda版的python环境，需要在Task Schedule中定时运行某python脚本，可是直接在命令中运行python...

背景 虚拟机中安装了spark，想要在windows中直接练习pyspark的操作，但又不想在windows中再安装一次spark，于是想到了...

今天介绍4种列转行（又称宽表转长表、逆透视等）写法。 数据准备 CREATE TABLE Sales([Year] INT,Q1 INT,Q2 INT,Q3 INT,Q4 INT); GO INSERT INTO Sales([Year],Q1,Q2,Q3,Q4) VALUES (2017,12,123,324,123) ,(2018,13,455,324,878) ,(2019,29,786,473,633); SQL写法 UNION 最传统最通用写法 SELECT [Year],'Q1' AS [Quarter],Q1 AS Amount FROM Sales UNION ALL...

做BI或数据分析时，经常会遇到各类格式转换，这里将最近遇到的一个例子记录一下，分享几种SQL写法。 需求 千言万语抵不上一张图： 数据准备 CREATE TABLE dbo.CategoryConfig(Category VARCHAR(20),[Level]...

everything已经成为我windows平台下的重度依赖软件，其对本地文件的搜索高效快速准确，但默认是不支持网络路径文件夹内文件搜索的：...

玩了一段时间Ubuntu之后发现很多操作还是用命令行更方便，GUI显得没太多作用，毕竟Ubuntu只在VM中，GUI有Windows或Mac...

需求背景 需要将从数据库提取的数据交给用户，由于数据量较大（好几十万行），若导出为有固定分隔符的文本文件给用户，一来体验上不太好，二来若文本字...

vim 选择文本，删除，复制，粘贴 文本的选择，对于编辑器来说，是很基本的东西，也经常被用到，总结如下： v 从光标当前位置开始，光标所经过的地方会被选...

安装PostgreSQL 运行如下命令进行安装： sudo apt-get install postgresql Linux本地登陆并修改密码 安装完成之后，Linux会自动创建postgres同名账户...

场景 希望将SVN文件移动到其它文件夹下，且保存SVN日志。如果是少数几个文件还好 ，对每个文件分别用SVN的rename功能（或选中多个右键拖...

场景描述 客户提供的Excel文件，需要进行简单清洗之后导入数据库。 代码实现 import pandas as pd import numpy as np import os from sqlalchemy import create_engine from sqlalchemy import text from sqlalchemy.types import Integer from sqlalchemy.types import NVARCHAR # Excel文...

最近项目上用到Amazon的Redshift数据库， 由于没有官方客户端，于是去网上找通用SQL客户端，发现一个叫SQL Workbench/J...

前面有篇Blog记录了如何通过vagrant快速安装Ubuntu，但vagrant中的一些Box基本都是事先安装好了一些软件，做好了一些配置...

配置虚拟机桥接上网模式时，发现选择不了网卡，找资料发现需要在网络适配器中开启如下选项： 如果发现电脑上无此选项，可以如下操作： 找到virtua...

使用Linux经常用到ls命令，若加上l参数，会用长格式的形式显示文件列表。如下图： vagrant@vagrant-ubuntu-trusty-64:~$ ls -l total 528 -rw-r--r-- 1 vagrant vagrant 1656 Jul 17 2015 cephalopods.txt -rw-r--r-- 1 vagrant vagrant 1264 Jul 17 2015 gastropods_draft.txt -rw-r--r-- 1 vagrant vagrant 1585...