clickhouse

Month: 2023-07

2023-07-01

2023-07-03

pm5 09:36:10
幾個步驟跑政治獻金資料分析
```$ curl -sL -O https://github.com/g0v/tw_campaign_finance/raw/main/vgplot/data/corporation_contribution.parquet
$ curl https://clickhouse.com/ | sh # needs 2.4GB disk space
$ gem install youplot
$ ./clickhouse local -q "select candidate, sum(income_amount) as income_amount from file('corporation_contribution.parquet') where election_name = '109年立法委員選舉' group by candidate order by income_amount desc limit 20 format CSVWithNames" | uplot bar -d, -H -t "109年立法委員選舉政治獻金排行"```

uplot 好用耶。用 ClickHouse local 拿 <@U02G2US2Z> 整理好的 parquet: ```$ ./clickhouse local -q "select candidate, sum(income_amount) as income_amount from file('corporation_contribution.parquet') where election_name = '109年立法委員選舉' group by candidate order by income_amount desc limit 20 format CSVWithNames" | uplot bar -d, -H -t "109年立法委員選舉排行" 109年立法委員選舉排行 ┌ ┐ 邱志偉 ┤■■■■■■■■■■■■■■■■■■■■■■■■■■■ 139868910.0 李彥秀 ┤■■■■■■■■■■■■■■■■■■■■ 102266000.0 吳志揚 ┤■■■■■■■■■■■■■■■■■ 87068360.0 顏寬恒 ┤■■■■■■■■■■■■■■■■ 82338894.0 許淑華 ┤■■■■■■■■■■■■■■■ 77660000.0 許智傑 ┤■■■■■■■■■■■■■■ 74664000.0 賴瑞隆 ┤■■■■■■■■■■■■■ 65410000.0 林岱樺 ┤■■■■■■■■■■■ 58350000.0 邱議瑩 ┤■■■■■■■■■■■ 54830000.0 林郁方 ┤■■■■■■■■■■■ 54766000.0 蔡其昌 ┤■■■■■■■■■■■ 54417502.0 張嘉郡 ┤■■■■■■■■■■ 54380000.0 張廖萬堅 ┤■■■■■■■■■■ 53623400.0 劉世芳 ┤■■■■■■■■■■ 51711000.0 黃國書 ┤■■■■■■■■■■ 51228400.0 江啟臣 ┤■■■■■■■■■■ 49906000.0 吳秉叡 ┤■■■■■■■■■■ 49480000.0 黃昭順 ┤■■■■■■■■■ 49004000.0 李昆澤 ┤■■■■■■■■■ 47894518.0 楊瓊瓔 ┤■■■■■■■■■ 47792050.0```

pm5 09:36:10
幾個步驟跑政治獻金資料分析
```bash
$ curl -sL -O https://github.com/g0v/tw_campaign_finance/raw/main/vgplot/data/corporation_contribution.parquet
$ curl https://clickhouse.com/ | sh # needs 2.4GB disk space
$ gem install youplot
$ ./clickhouse local -q "select candidate, sum(income_amount) as income_amount from file('corporation_contribution.parquet') where election_name = '109年立法委員選舉' group by candidate order by income_amount desc limit 20 format CSVWithNames" | uplot bar -d, -H -t "109年立法委員選舉排行"```

uplot 好用耶。用 ClickHouse local 拿 <@U02G2US2Z> 整理好的 parquet: ```$ ./clickhouse local -q "select candidate, sum(income_amount) as income_amount from file('corporation_contribution.parquet') where election_name = '109年立法委員選舉' group by candidate order by income_amount desc limit 20 format CSVWithNames" | uplot bar -d, -H -t "109年立法委員選舉排行" 109年立法委員選舉排行 ┌ ┐ 邱志偉 ┤■■■■■■■■■■■■■■■■■■■■■■■■■■■ 139868910.0 李彥秀 ┤■■■■■■■■■■■■■■■■■■■■ 102266000.0 吳志揚 ┤■■■■■■■■■■■■■■■■■ 87068360.0 顏寬恒 ┤■■■■■■■■■■■■■■■■ 82338894.0 許淑華 ┤■■■■■■■■■■■■■■■ 77660000.0 許智傑 ┤■■■■■■■■■■■■■■ 74664000.0 賴瑞隆 ┤■■■■■■■■■■■■■ 65410000.0 林岱樺 ┤■■■■■■■■■■■ 58350000.0 邱議瑩 ┤■■■■■■■■■■■ 54830000.0 林郁方 ┤■■■■■■■■■■■ 54766000.0 蔡其昌 ┤■■■■■■■■■■■ 54417502.0 張嘉郡 ┤■■■■■■■■■■ 54380000.0 張廖萬堅 ┤■■■■■■■■■■ 53623400.0 劉世芳 ┤■■■■■■■■■■ 51711000.0 黃國書 ┤■■■■■■■■■■ 51228400.0 江啟臣 ┤■■■■■■■■■■ 49906000.0 吳秉叡 ┤■■■■■■■■■■ 49480000.0 黃昭順 ┤■■■■■■■■■ 49004000.0 李昆澤 ┤■■■■■■■■■ 47894518.0 楊瓊瓔 ┤■■■■■■■■■ 47792050.0```

2023-07-13

clkao 17:11:28
https://www.loom.com/share/e213768457094a3187663a6cff76a61d?sid=33573356-b205-415d-8cac-591b653812de

very neat motherduck demo, with postgres_scanner and loading from s3

Loom

Exploring MotherDuck: Scaling DuckDB into a Multiplayer Experience

Hey folks, this is Sung, and in this video, I'm going to give you a demo of MotherDuck and explain why it matters. The problem I'm trying to solve is how to scale DuckDB, a great single-player experience, into a multiplayer experience where your work doesn't just live on your personal computer. MotherDuck is the answer to that problem. I'll show you the surface area for collaboration in Motherduck and how it integrates with different systems. Join me as we explore the evolutionary steps of turning DuckDB into a production-grade cloud solution and broadening its impact beyond just the data team.

2023-07-14

Helene Chien 10:26:43
@yihuai0816 has joined the channel

2023-07-25

chewei 18:46:15
@chewei has joined the channel
chewei 18:46:15

我明天會在 dbt taipei meetup 介紹 campaign finance dbt project <https://www.meetup.com/taipei-dbt-meetup/events/294298229/>

chewei 18:46:15
clkao 分享的訊息~

我明天會在 dbt taipei meetup 介紹 campaign finance dbt project <https://www.meetup.com/taipei-dbt-meetup/events/294298229/>

@null 22:24:19
這個 bridge 的訊息有點令人困惑。我在 telegram 乍看以為是 chewei 要去介紹
chewei 22:32:35
😵‍💫
chewei 22:32:35
😵‍💫