Slack archive

edu-open

Month: 2022-10

2022-10-01

Ted 顥天 18:10:20
投票結果出爐，會議頻率為每兩週一次
https://g0v-tw.slack.com/archives/C024NAMF0CV/p1663414500362259
Ted 顥天 18:12:11
〔CourseAPI 10 月會議時間調查〕
CourseAPI 開放式課程資訊匯流學院例會改為兩週一次，時間保持為平日晚上 20:00 開始，填寫當天可參與會議日期（可複選），將採用第 10/3-10/14 最高票為 10 月第一次會議，第二次則為第一次會議兩週後最高票
投票連結：https://doodle.com/meeting/participate/id/dG5OKVJa
Ted 顥天 18:12:11
〔CourseAPI 10 月會議時間調查〕
CourseAPI 開放式課程資訊匯流學院例會改為兩週一次，時間保持為平日晚上 20:00 開始，填寫當天可參與會議日期（可複選），將採用第 10/3-10/14 最高票為 10 月第一次會議，第二次則為第一次會議兩週後最高票
投票連結：https://doodle.com/meeting/participate/id/dG5OKVJa

doodle.com

Doodle

Doodle is the simplest way to schedule meetings with clients, colleagues, or friends. Find the best time for one-to-ones and team meetings with our user-friendly calendar tool. Get started today!

✅ 1

2022-10-02

2022-10-05

chenyangche 09:07:13
@chenyangche has joined the channel

2022-10-09

Ted 顥天 19:34:57
摩課師平台出事ㄌ
圖片.png
chewei 19:58:01
有查到另一個整合網站，網址命名方式蠻相關的，不曉得兩者推動單位是否有關聯
https://oers.taiwanmooc.org/
Ted 顥天 2022-10-09 20:35:10
這是 taiwanmooc.org 的子網域，之前磨課師平台好像是教育部資科司那邊
Ted 顥天 2022-10-09 20:36:32
但 oers 的底部有連接到 中華開放教育聯盟，不確定是他們管理，還是只是用來介紹 OER 是甚麼
Ted 顥天 2022-10-09 20:38:29
不過 OERs 上面的資源有固定 schema，包含標題、其他標題、作者、公開日期、出版社、摘要、描述、連結、關鍵字、主題
這個就很完整了
甚至在屬性結構處理好之後
可以直接爬下來丟Wikidata
但還是要注意授權問題
chewei 19:58:01
有查到另一個整合網站，網址命名方式蠻相關的，不曉得兩者推動單位是否有關聯
https://oers.taiwanmooc.org/
Ted 顥天 2022-10-09 20:35:10
這是 taiwanmooc.org 的子網域，之前磨課師平台好像是教育部資科司那邊
Ted 顥天 2022-10-09 20:36:32
但 oers 的底部有連接到 中華開放教育聯盟，不確定是他們管理，還是只是用來介紹 OER 是甚麼
Ted 顥天 2022-10-09 20:38:29
不過 OERs 上面的資源有固定 schema，包含標題、其他標題、作者、公開日期、出版社、摘要、描述、連結、關鍵字、主題
這個就很完整了
甚至在屬性結構處理好之後
可以直接爬下來丟Wikidata
但還是要注意授權問題
chewei 20:02:44
[探討] 是否適合在 wikidata 建立開放式課程資料集？
目前查到的資料集案例 MIT OpenCourseWare (Q1637597)
• https://www.wikidata.org/wiki/Q1637597
我覺得可以欸，@alllenwang6212 你怎麼想？
Ted 顥天 2022-10-09 20:30:23
Wikidata 可以 cc @did1335
Ted 顥天 2022-10-09 20:30:27
或是問問 Allen
可以啊
也可以自己架喔
放到 wikidata.org 應該比較有流通宣傳效果 ?
我覺得可能有難度
我們可能沒有足夠的「外部文獻」
作為單一平台的wikidata item 的參考文獻
Ted 顥天 2022-10-11 17:36:54
台大和陽明交通大學應該有機會，因為有不少篇論文和學術文章都有提及（或圍繞）這些
Ted 顥天 2022-10-11 17:37:47
名稱的話，不知道「國立台灣大學開放式課程平台」可不可以，因為 MIT OpenCourseWare 其實也是差不多的模式
台大這種一定可以
其他的就是可能要找到平台的名稱會比較好
再來就是外部來源這樣
現在國際社群抓濫用抓蠻凶的
沒有足夠參考文獻的
基本都直接刪掉
以下這樣的國內研究論文，有針對明確平台進行研究，對於 wikidata 來說算是文獻嗎 ?
• 2021 國立臺灣大學系統開放式課程平臺介面設計探討
• 2017 開放式課程使用者滿意度調查分析：臺師大經驗分享
https://toedu.notion.site/36787247d1f8489cb5eda8a269113401
當然可以算
其實沒有足夠的參考文獻這句話在 Wikidata 裡面
也就是「有」跟「完全沒有」的區別
有這樣子的論文
絕對沒有問題的
論文當然可以啊
我先來開一份共筆，整理大家的探討

https://g0v.hackmd.io/-6DuZjkhRZKM2QctExj75Q
喔對了，除了維基數據還有還有百科要寫喔
維基數據比較簡單
目前國內大學+政府+民間的開放式課程平台約 80 筆
我自己沒編輯過維基數據，可能要有人引導?
@alllenwang6212
也可以找我或 @supaplextw 啦
@did1335 也會啊www
不過百科需要的文獻比數據還多就是惹
會有批次倒入的方式嗎 ?
有！用試算表或csv就能做
可以參考這個影片
https://youtu.be/fh6xXXdq5Uw
好的，我先整理到 hackmd

Statements 可能就先依照 MIT 已建立的 Statements 項目

想先問若是已有代碼 e等公務園
e等公務園 的 Statements 可以用 匯入的方式覆寫嗎？
可以喔！
只要有 QID 就能對對應的Q做編輯
supaplextw 2022-12-02 20:09:48
那個，最近csv倒的壞了，要轉個方式才能批次建
我把 wikidata 登載工作，加入到 12/17 大松提案簡報中
chewei 20:02:44
[探討] 是否適合在 wikidata 建立「有哪些開放式課程平台」的資料？

目前查到的資料集案例 MIT OpenCourseWare (Q1637597)
• https://www.wikidata.org/wiki/Q1637597
待確認
• 初步看起來是把 MIT 課程網站進行登載，而非個別課程
• 進一步了解目前的欄位架構
• 評估是否把臺灣的開放式課程平台清單 (目前盤點成果)，依照 wikidata 欄位架構建立起來
我覺得可以欸，@alllenwang6212 你怎麼想？
Ted 顥天 2022-10-09 20:30:23
Wikidata 可以 cc @did1335
Ted 顥天 2022-10-09 20:30:27
或是問問 Allen
可以啊
也可以自己架喔
放到 wikidata.org 應該比較有流通宣傳效果 ?
我覺得可能有難度
我們可能沒有足夠的「外部文獻」
作為單一平台的wikidata item 的參考文獻
Ted 顥天 2022-10-11 17:36:54
台大和陽明交通大學應該有機會，因為有不少篇論文和學術文章都有提及（或圍繞）這些
Ted 顥天 2022-10-11 17:37:47
名稱的話，不知道「國立台灣大學開放式課程平台」可不可以，因為 MIT OpenCourseWare 其實也是差不多的模式
台大這種一定可以
其他的就是可能要找到平台的名稱會比較好
再來就是外部來源這樣
現在國際社群抓濫用抓蠻凶的
沒有足夠參考文獻的
基本都直接刪掉
以下這樣的國內研究論文，有針對明確平台進行研究，對於 wikidata 來說算是文獻嗎 ?
• 2021 國立臺灣大學系統開放式課程平臺介面設計探討
• 2017 開放式課程使用者滿意度調查分析：臺師大經驗分享
https://toedu.notion.site/36787247d1f8489cb5eda8a269113401
當然可以算
其實沒有足夠的參考文獻這句話在 Wikidata 裡面
也就是「有」跟「完全沒有」的區別
有這樣子的論文
絕對沒有問題的
論文當然可以啊
我先來開一份共筆，整理大家的探討

https://g0v.hackmd.io/-6DuZjkhRZKM2QctExj75Q
喔對了，除了維基數據還有還有百科要寫喔
維基數據比較簡單
目前國內大學+政府+民間的開放式課程平台約 80 筆
我自己沒編輯過維基數據，可能要有人引導?
@alllenwang6212
也可以找我或 @supaplextw 啦
@did1335 也會啊www
不過百科需要的文獻比數據還多就是惹
會有批次倒入的方式嗎 ?
有！用試算表或csv就能做
可以參考這個影片
https://youtu.be/fh6xXXdq5Uw
好的，我先整理到 hackmd

Statements 可能就先依照 MIT 已建立的 Statements 項目

想先問若是已有代碼 e等公務園
e等公務園 的 Statements 可以用 匯入的方式覆寫嗎？
可以喔！
只要有 QID 就能對對應的Q做編輯
supaplextw 2022-12-02 20:09:48
那個，最近csv倒的壞了，要轉個方式才能批次建
我把 wikidata 登載工作，加入到 12/17 大松提案簡報中

2022-10-10

2022-10-11

Allen 14:43:09
@alllenwang6212 has joined the channel
enen（恩恩） 17:26:44
@enenkoyako has joined the channel

2022-10-14

2022-10-16

Ted 顥天 21:12:32
*CourseAPI Status | Down*
今日由於 CNTUG Infra Labs 主機進行維護與軟硬體架構更改，CourseAPI 平台自中午 12 時開始離線。
剛才已維護完畢，目前正在還原平台執行，預計修復時間不詳。
造成不便，敬請見諒。
1
Ted 顥天 21:12:32
*CourseAPI Status | Down*
今日由於 CNTUG Infra Labs 主機進行維護與軟硬體架構更改，CourseAPI 平台自中午 12 時開始離線。
剛才已維護完畢，目前正在還原平台執行，預計修復時間不詳。
造成不便，敬請見諒。
tico88612 21:37:33
*CourseAPI Status | UP*
剛剛網路已經修好了，現在可以連線了。
tico88612 21:37:33
*CourseAPI Status | UP*
剛剛網路已經修好了，現在可以連線了。
1

2022-10-17

2022-10-22

chewei 08:02:32
我有參加今日大松活動，有登記三分鐘提案 courseapi

預計使用以下簡報
https://docs.google.com/presentation/d/12zBnPu7GHjzTGxYOH4T7HOv2riUdd--SS0cJiV-It4k/edit
1 1
chewei 08:02:32
我有參加今日大松活動，有登記三分鐘提案 courseapi

預計使用以下簡報
https://docs.google.com/presentation/d/12zBnPu7GHjzTGxYOH4T7HOv2riUdd--SS0cJiV-It4k/edit
Felix Chern 09:33:07
@idryman has joined the channel
Felix Chern 09:38:41
大家好，我是Felix (dryman)，我在g0v共筆中找到各位做的這份專案。
我自己也是受益各種線上學習而順利轉行。（機械系畢，現在在紐約的Google Research研究AI演算法）
希望能跟各位多交流，看看自己的經驗及學習策略能不能幫助更多人
Ted 顥天 2022-10-22 09:43:07
早安，我是 Ted，大松當天在家讀書的可撥坑主（淚）。
我們目前有在蒐集 OCW Story，類似 John Hopkins 的做法，把大家使用開放式課程的經驗彙整，讓更多人可以知道其他人是怎麼去利用這些資源學學習的。
問卷連結彙整：https://g0v.hackmd.io/@chewei/rkxlOAy6D5
5 2
Felix Chern 09:38:41
大家好，我是Felix (dryman)，我在g0v共筆中找到各位做的這份專案。
我自己也是受益各種線上學習而順利轉行。（機械系畢，現在在紐約的Google Research研究AI演算法）
希望能跟各位多交流，看看自己的經驗及學習策略能不能幫助更多人
Ted 顥天 2022-10-22 09:43:07
早安，我是 Ted，大松當天在家讀書的可撥坑主（淚）。
我們目前有在蒐集 OCW Story，類似 John Hopkins 的做法，把大家使用開放式課程的經驗彙整，讓更多人可以知道其他人是怎麼去利用這些資源學學習的。
問卷連結彙整：https://g0v.hackmd.io/@chewei/rkxlOAy6D5
caleb 11:37:39
@caleb has joined the channel
caleb 11:37:45
sticker8457661121118399807.png
1
chewei 11:41:20
Courseapi 網站目前運作好想需要修理
Ted 顥天 2022-10-22 11:51:08
已通知 tico，尚未回覆
chewei 11:41:20
Courseapi 網站目前運作好像需要修理～？
Ted 顥天 2022-10-22 11:51:08
已通知 tico，尚未回覆
jessethickey 11:43:36
@jessethickey has joined the channel
1
caleb 11:52:02
請告訴我要是我會回可以幫你
1
caleb 11:52:02
請告訴我要是我會回可以幫你
Zixsa 12:55:32
@dbdf0369 has joined the channel
supaplextw 13:42:32
@supaplextw has joined the channel
supaplextw 13:46:21
剛有跟 @chewei ，建個別課程 Wikidata 項目技術可行，但就得補來源，像是課程網站網址
要建各學校、聯盟的 Wikidata 項目就更沒問題
我先來開一份共筆，整理關於 wikidata 資料庫內的 Open Course Ware 現況（平台網站、單一課程）

https://g0v.hackmd.io/-6DuZjkhRZKM2QctExj75Q
supaplextw 13:46:21
剛有跟 @chewei ，建個別課程 Wikidata 項目技術可行，但就得補來源，像是課程網站網址
要建各學校、聯盟的 Wikidata 項目就更沒問題
我先來開一份共筆，整理關於 wikidata 資料庫內的 Open Course Ware 現況（平台網站、單一課程）

https://g0v.hackmd.io/-6DuZjkhRZKM2QctExj75Q
1
Felix Chern 13:51:09
剛才與@chewei 在走道上小聊了一下，刺激了一些新想法。現在線上的學習資源很多，不過人的時間有限。對於許多剛開始進行開放式學習的學生來說，如何「選課」變得相當不容易。@chewei 有提到其中一種方法是提供評價系統。我覺得或許還可以邀稿一些自學成功的人提供自己的學習策略（課怎麼選，如何自己練習確保自己學會等）。我自己當年覺得可以轉行，也是看到很多成功的前輩才讓我鼓起勇氣嘗試。
以很多英文的文章about this
2
Felix Chern 13:51:09
剛才與@chewei 在走道上小聊了一下，刺激了一些新想法。現在線上的學習資源很多，不過人的時間有限。對於許多剛開始進行開放式學習的學生來說，如何「選課」變得相當不容易。@chewei 有提到其中一種方法是提供評價系統。我覺得或許還可以邀稿一些自學成功的人提供自己的學習策略（課怎麼選，如何自己練習確保自己學會等）。我自己當年覺得可以轉行，也是看到很多成功的前輩才讓我鼓起勇氣嘗試。
以很多英文的文章about this
caleb 15:00:28
這個還有很cool的學的software 你可以自己host, 可能那一下有一些的... inspiration, ideas? Designs? Strategies?不知道怎麼桌
caleb 15:00:28
這個還有很cool的學的software 你可以自己host, 可能那一下有一些的... inspiration, ideas? Designs? Strategies?不知道怎麼桌
caleb 15:00:37
說*
caleb 15:00:37
說*
Felix Chern 15:29:11
以大學課程為學習標的的話，如果能夠讓學生認識彼此並組織讀書會，學習的效益會相當不錯（之前有用這個模式組讀書會研究深度學習）
Felix Chern 15:29:11
以大學課程為學習標的的話，如果能夠讓學生認識彼此並組織讀書會，學習的效益會相當不錯（之前有用這個模式組讀書會研究深度學習）
chewei 16:22:27
@j61120713
https://www.notion.so/toedu/f1780b1fb1ba4ced9d41d2759e13d922

台灣開放教育推動團隊 on Notion

盤點國內大專院校與政府機構的開放式課程網站

TODO

YC (Yichun) 2022-10-22 23:01:22
之前發現的線上學習網站⬇️

資策會的 Corelab
https://corelab.iiiedu.org.tw
（介紹：
https://www.iiiedu.org.tw/cousreict2021/）

證交所的宅在家學習網
https://shl.twse.com.tw
感謝分享!
已加入至 airtable 表格中
chewei 16:22:27
@yachu.chung
https://www.notion.so/toedu/f1780b1fb1ba4ced9d41d2759e13d922
YC (Yichun) 2022-10-22 23:01:22
之前發現的線上學習網站⬇️

資策會的 Corelab
https://corelab.iiiedu.org.tw
（介紹：
https://www.iiiedu.org.tw/cousreict2021/）

證交所的宅在家學習網
https://shl.twse.com.tw
感謝分享!
已加入至 airtable 表格中
m.33.elliot 19:09:17
@m.33.elliot has joined the channel
YC (Yichun) 23:01:22
之前發現的線上學習網站⬇️

資策會的 Corelab
https://corelab.iiiedu.org.tw
（介紹：
https://www.iiiedu.org.tw/cousreict2021/）

證交所的宅在家學習網
https://shl.twse.com.tw
💡 2 1

2022-10-23

ddio 10:56:04
@ddio has joined the channel
ddio 10:58:24
大家好，我是今天負責 g0v 十週年生日趴闖關網站的 ddio ，剛剛發現 course API 的網站倒了，想問有預計扶回來的時間嗎 XD

不會影響闖關進行，只是大家打開時，會顯示空白畫面這樣。感恩！
Ted 顥天 2022-10-23 10:59:20
嗚嗚嗚我們有注意到 但現在還沒修好
Ted 顥天 2022-10-23 10:59:24
盡速處理嗚嗚嗚
Ted 顥天 2022-10-23 11:00:09
可以先麻煩你幫我們備註一下嗎，修好我再通知你
@ted.lu.tw 還是有什麼其他頁面可以代替嗎 XD

像是報導，或是小學校的頁面之類。 呼籲大家做的行動也可以調整
Ok, 更新完畢，感謝
Ted 顥天 2022-10-23 11:47:43
我正要說我們修好的時候，就更新完畢 Orzzzzzz
Ted 顥天 2022-10-23 11:47:57
如果方便的話，可以幫我們修回來嗎 QQQ
好，我來 XD
ddio 10:58:24
大家好，我是今天負責 g0v 十週年生日趴闖關網站的 ddio ，剛剛發現 course API 的網站倒了，想問有預計扶回來的時間嗎 XD

不會影響闖關進行，只是大家打開時，會顯示空白畫面這樣。感恩！
Ted 顥天 2022-10-23 10:59:20
嗚嗚嗚我們有注意到 但現在還沒修好
Ted 顥天 2022-10-23 10:59:24
盡速處理嗚嗚嗚
Ted 顥天 2022-10-23 11:00:09
可以先麻煩你幫我們備註一下嗎，修好我再通知你
@ted.lu.tw 還是有什麼其他頁面可以代替嗎 XD

像是報導，或是小學校的頁面之類。 呼籲大家做的行動也可以調整
Ok, 更新完畢，感謝
Ted 顥天 2022-10-23 11:47:43
我正要說我們修好的時候，就更新完畢 Orzzzzzz
Ted 顥天 2022-10-23 11:47:57
如果方便的話，可以幫我們修回來嗎 QQQ
好，我來 XD
chewei 17:21:07
感謝分享!
已加入至 airtable 表格中
chewei 19:29:48
我先來開一份共筆，整理關於 wikidata 資料庫內的 Open Course Ware 現況（平台網站、單一課程）

https://g0v.hackmd.io/-6DuZjkhRZKM2QctExj75Q

g0v.hackmd.io

wikidata 資料庫內的 Open Course - HackMD

1
Zixsa 22:09:28
請問你們現在是想要做甚麼? 我目前對 python 和 go 比較熟，有時間的話可以幫忙看看，不過我沒什麼經驗🤣
你好~

可以協助填寫線上問卷
https://g0v.hackmd.io/76lTGX03TsG9w4InrZlrEQ

這邊則是專案的 GitHub，目前有以下四個工作面向
• 彙整政府已釋出的課程開放資料，並清理成可以放入專案後台的資料格式
• 爬課程網站
• 後端維護
• 前端設計與開發
https://github.com/Open-Edu-Tw
Zixsa 22:09:28
請問你們現在是想要做甚麼? 我目前對 python 和 go 比較熟，有時間的話可以幫忙看看，不過我沒什麼經驗🤣
你好~

可以協助填寫線上問卷
https://g0v.hackmd.io/76lTGX03TsG9w4InrZlrEQ

這邊則是專案的 GitHub，目前有以下四個工作面向
• 彙整政府已釋出的課程開放資料，並清理成可以放入專案後台的資料格式
• 爬課程網站
• 後端維護
• 前端設計與開發
https://github.com/Open-Edu-Tw
1
chewei 22:57:32
我開一個 Repositories "data-cleaning"
• 主要用於把 已開放資料，整理成適合資料庫欄位格式的資料集
• 預計先針對政府資料平台上已經釋出的資料
https://github.com/Open-Edu-Tw/data-cleaning
適合的資料庫欄位格式這個有範例嗎? 用 go 寫可以嗎? 是要儲存到資料庫?
關於政府已釋出的課程開放資料集，目前我們建立一份清單，可以瀏覽以下網址
https://airtable.com/shrrPTEVvpr59hEk5

基本上多數都是 csv ，主要是手動把不同單位釋出的課程資料集，依照前面提到的 6 個欄位來進行匯整
資料爬下來的樣子，那個是從 courseapi-scraper 抓的?
Ted 顥天 2022-10-24 18:54:17
是的，一般資料是利用 courseapi-scraper 爬下來的，但這裡要彙整的比較偏向在以往政府單位直接提供的 csv 檔
Ted 顥天 2022-10-24 19:01:01
整合進後端資料庫，是利用 mongoimport，將整理後的 csv 輸入進主機的 mongodb
Ted 顥天 2022-10-24 19:02:54
如果不能直接 access 主機的 db，可能就要先 mongoimport 進去，dump 出來，再 mongorestore 之類
你的意思是 courseapi-scraper 這個現在不能抓 csv 檔，要再加個功能抓 csv 檔? 還是說我們已經有 csv 檔了，現在只剩下讀取 csv 檔 -> 整理成想要的資料 -> 匯入 db?
拍謝，現在是有兩個資料來源? 一個是Open Course Schema，另一個是哪一個我忽然找不到了😂
Ted 顥天 2022-10-24 19:30:42
是的，因為我們的爬蟲是定期抓網路上的公開課程資料，而這些要整理的 csv 是政府單位提供的
Ted 顥天 2022-10-24 19:30:53
為了節省時間，我們將爬下來的資料直接存進 db
Ted 顥天 2022-10-24 19:31:18
所以目前用爬蟲爬下來的不用做更動 安捏
哦哦懂了，我找一下另一個資料來源
我在確認一次好了，現在是有兩種資料來源 1 個來自爬蟲，1 個是 Open Course Schema，我就不用管爬蟲，只管 Open Course Schema 資料清理彙整到 db 這樣?
Ted 顥天 2022-10-24 20:49:01
是ㄉ是ㄉ
Ted 顥天 2022-10-24 20:49:15
裡面有一些是有註明有釋出 csv<
好，我研究一下那個課程👀
對了，這個是特定要用R 還是 python
痾沒事
Ted 顥天 2022-10-26 19:10:07
R 和 Python 其實都可以~ 主要看開發者方便!
了解了感謝
Ted 顥天 2022-10-26 19:10:20
我 R 也略會啦，可能可以稍稍幫忙 (吧
Ted 顥天 2022-10-26 19:10:27
我盡量www 太久沒碰
Ted 顥天 2022-10-26 19:10:43
之前在做資料分析碰而已
嗯嗯我是剛看到說要學
那現在你不是在做資料分析了👀?
Ted 顥天 2022-10-26 19:35:06
那只是之前有一大串資料處理到快死 XD
Ted 顥天 2022-10-26 19:35:30
現在是做 deep learning 啦，但我都用 PyTorch 或 c++ 搭 caffe 刻 model
那是資料分析完丟過去那裏嗎0.0?
Ted 顥天 2022-10-26 19:36:59
不是 XD 不同的事
Ted 顥天 2022-10-26 19:37:07
那只是要跑物理實驗的數據
Ted 顥天 2022-10-26 19:37:29
model 是另外的啦，R 我只是拿來分析 tracker 跑不出來的東西
tracker 是甚麼0.0?
Ted 顥天 2022-10-26 19:38:34
Open Source Physics Java 的一個軟體~
Ted 顥天 2022-10-26 19:38:42
拿來分析物理實驗影像的
看起來好複雜😂，我繼續看那個👀
Ted 顥天 2022-10-26 19:39:36
好喔XDDDD
我確定指令跟他一模一樣..
我下載下來沒有mobility_data...
我怎感覺 python 比較好用😂
這個沒事先檢查資料，運行出來如果錯要 debug 好久..
痾問一下你C++ 和 python 適用甚麼東西串起來的?
Ted 顥天 2022-10-27 12:38:10
不太理解你是說什麼東西串起來
就 C++ 當處理資料庫或加速 python 效能，這兩個東西要交互的話，是用甚麼工具比較適合?
Ted 顥天 2022-10-27 12:40:19
分開處理呀
Ted 顥天 2022-10-27 12:40:33
做成 pipeline 接
有推薦文章嗎? 有點抽象😂
Ted 顥天 2022-10-27 12:42:50
通常 pipeline 也不會用不同語言
Ted 顥天 2022-10-27 12:43:10
就當作不同支程式單獨執行
那如果 C++ 配 python vs go 配 python 這兩個都做 ml 除了工具，還有甚麼差異?
Ted 顥天 2022-10-27 15:05:30
這樣也蠻抽象的，為什麼你會需要這樣混？
因為之前用過 python 寫的交易軟體是好用，但當策略複雜化或他自動計算參數，需要很久或效能消耗很大，我稍微查一下資料看到用其他語言做會快很多
Ted 顥天 2022-10-27 15:09:51
但如果你用 Python 做 GPU 平行運算，不一定會比純 C++ 套件還來得慢
哦哦原來，想起來了我用的那個交易軟體是 CPU 運算🤣
那基本上做 ML 的東西要實際自己寫 C++ 的機會很少?
但我查了一下 GPU 運算是只適合 neural networks?
Ted 顥天 2022-10-27 16:47:33
萬物皆可 neural network
..
Ted 顥天 2022-10-27 16:47:55
XD 用 C++ 不會提高效益啦
這我不太清楚了😅
Ted 顥天 2022-10-27 16:48:17
維護起來也比較麻煩，develop cost 反而更高
哦哦🤣
那個 data-cleaning 我可以用 python 寫嗎? 我覺得 R 那個課程好像有些問題...
Ted 顥天 2022-10-27 16:56:34
我其實不確定你在說什麼課程
就 SICSS 那個
它裡面教 R
我覺得 python 用起來比較好一些，不然昨天那個，他又來一個資料錯誤，又要 debug 超久
Ted 顥天 2022-10-27 17:52:40
我不清楚那個課程
那我用 python 寫或 go 也可?
Ted 顥天 2022-10-27 17:54:19
我真的沒有了解過課程，但你可能要看一下環境設置和套件安裝的版本
是用 setuptools 嗎?
pdm?
Ted 顥天 2022-10-27 18:00:36
我不知道你用什麼套件管理工具ㄚ
痾哦哦原來🤣
我要怎麼 fork 他現在 fork 不了?
Ted 顥天 2022-10-27 20:30:09
我是真的完全不清楚你要做甚麼
痾拍謝表達沒有清楚，data-cleaning 這個 repository 要怎麼 fork? 他現在 fork 不了
Ted 顥天 2022-10-27 21:40:09
因為裡面目前沒有檔案
那有檔案了再告訴我
12/17 週六有大松
大松前我會先開始陸續處理 政府各單位課程 csv

初步預計是以下流程：
1. 下載各政府單位已釋出 csv，名單網址已在 airtable 中
2. 把 csv 放到 Google 雲端，預計建立一個資料夾專門放 這類 csv
3. 開一份 spreadsheet，把各個 csv 兜在「通用欄位架構」中（課程名稱、課程網址…等）
4. 整理好「合併後 csv」，再請 後端 協助將檔案匯入
我是要等合併後 csv 才要開始處理對嗎?
可以呦

我會先開好 雲端空間
屆時若想要一起整理 csv 也歡迎
[彙整各網站的 csv] 本資料夾權限為公開共筆
裡面有三個資料夾：
1-[網站盤點] 國內外開放式課程網站網址清單，目前連結到 airtable
2-[向政府詢問資料] 詢問工作共筆
3-[課程清單 csv] 下載下來的 csv、整合中的 csv
https://drive.google.com/drive/folders/1GbFmpbNUhR6oeRAkZWm1nAq_-ipDvSXq?usp=share_link
chewei 22:57:32
我開一個 Repositories "data-cleaning"
• 主要用於把 已開放資料，整理成適合資料庫欄位格式的資料集
• 預計先針對政府資料平台上已經釋出的資料
• 相關工作事項，開在 issue 上面
https://github.com/Open-Edu-Tw/data-cleaning

Open-Edu-Tw/data-cleaning

適合的資料庫欄位格式這個有範例嗎? 用 go 寫可以嗎? 是要儲存到資料庫?
關於政府已釋出的課程開放資料集，目前我們建立一份清單，可以瀏覽以下網址
https://airtable.com/shrrPTEVvpr59hEk5

基本上多數都是 csv ，主要是手動把不同單位釋出的課程資料集，依照前面提到的 6 個欄位來進行匯整
資料爬下來的樣子，那個是從 courseapi-scraper 抓的?
Ted 顥天 2022-10-24 18:54:17
是的，一般資料是利用 courseapi-scraper 爬下來的，但這裡要彙整的比較偏向在以往政府單位直接提供的 csv 檔
Ted 顥天 2022-10-24 19:01:01
整合進後端資料庫，是利用 mongoimport，將整理後的 csv 輸入進主機的 mongodb
Ted 顥天 2022-10-24 19:02:54
如果不能直接 access 主機的 db，可能就要先 mongoimport 進去，dump 出來，再 mongorestore 之類
你的意思是 courseapi-scraper 這個現在不能抓 csv 檔，要再加個功能抓 csv 檔? 還是說我們已經有 csv 檔了，現在只剩下讀取 csv 檔 -> 整理成想要的資料 -> 匯入 db?
拍謝，現在是有兩個資料來源? 一個是Open Course Schema，另一個是哪一個我忽然找不到了😂
Ted 顥天 2022-10-24 19:30:42
是的，因為我們的爬蟲是定期抓網路上的公開課程資料，而這些要整理的 csv 是政府單位提供的
Ted 顥天 2022-10-24 19:30:53
為了節省時間，我們將爬下來的資料直接存進 db
Ted 顥天 2022-10-24 19:31:18
所以目前用爬蟲爬下來的不用做更動 安捏
哦哦懂了，我找一下另一個資料來源
我在確認一次好了，現在是有兩種資料來源 1 個來自爬蟲，1 個是 Open Course Schema，我就不用管爬蟲，只管 Open Course Schema 資料清理彙整到 db 這樣?
Ted 顥天 2022-10-24 20:49:01
是ㄉ是ㄉ
Ted 顥天 2022-10-24 20:49:15
裡面有一些是有註明有釋出 csv<
好，我研究一下那個課程👀
對了，這個是特定要用R 還是 python
痾沒事
Ted 顥天 2022-10-26 19:10:07
R 和 Python 其實都可以~ 主要看開發者方便!
了解了感謝
Ted 顥天 2022-10-26 19:10:20
我 R 也略會啦，可能可以稍稍幫忙 (吧
Ted 顥天 2022-10-26 19:10:27
我盡量www 太久沒碰
Ted 顥天 2022-10-26 19:10:43
之前在做資料分析碰而已
嗯嗯我是剛看到說要學
那現在你不是在做資料分析了👀?
Ted 顥天 2022-10-26 19:35:06
那只是之前有一大串資料處理到快死 XD
Ted 顥天 2022-10-26 19:35:30
現在是做 deep learning 啦，但我都用 PyTorch 或 c++ 搭 caffe 刻 model
那是資料分析完丟過去那裏嗎0.0?
Ted 顥天 2022-10-26 19:36:59
不是 XD 不同的事
Ted 顥天 2022-10-26 19:37:07
那只是要跑物理實驗的數據
Ted 顥天 2022-10-26 19:37:29
model 是另外的啦，R 我只是拿來分析 tracker 跑不出來的東西
tracker 是甚麼0.0?
Ted 顥天 2022-10-26 19:38:34
Open Source Physics Java 的一個軟體~
Ted 顥天 2022-10-26 19:38:42
拿來分析物理實驗影像的
看起來好複雜😂，我繼續看那個👀
Ted 顥天 2022-10-26 19:39:36
好喔XDDDD
我確定指令跟他一模一樣..
我下載下來沒有mobility_data...
我怎感覺 python 比較好用😂
這個沒事先檢查資料，運行出來如果錯要 debug 好久..
痾問一下你C++ 和 python 適用甚麼東西串起來的?
Ted 顥天 2022-10-27 12:38:10
不太理解你是說什麼東西串起來
就 C++ 當處理資料庫或加速 python 效能，這兩個東西要交互的話，是用甚麼工具比較適合?
Ted 顥天 2022-10-27 12:40:19
分開處理呀
Ted 顥天 2022-10-27 12:40:33
做成 pipeline 接
有推薦文章嗎? 有點抽象😂
Ted 顥天 2022-10-27 12:42:50
通常 pipeline 也不會用不同語言
Ted 顥天 2022-10-27 12:43:10
就當作不同支程式單獨執行
那如果 C++ 配 python vs go 配 python 這兩個都做 ml 除了工具，還有甚麼差異?
Ted 顥天 2022-10-27 15:05:30
這樣也蠻抽象的，為什麼你會需要這樣混？
因為之前用過 python 寫的交易軟體是好用，但當策略複雜化或他自動計算參數，需要很久或效能消耗很大，我稍微查一下資料看到用其他語言做會快很多
Ted 顥天 2022-10-27 15:09:51
但如果你用 Python 做 GPU 平行運算，不一定會比純 C++ 套件還來得慢
哦哦原來，想起來了我用的那個交易軟體是 CPU 運算🤣
那基本上做 ML 的東西要實際自己寫 C++ 的機會很少?
但我查了一下 GPU 運算是只適合 neural networks?
Ted 顥天 2022-10-27 16:47:33
萬物皆可 neural network
..
Ted 顥天 2022-10-27 16:47:55
XD 用 C++ 不會提高效益啦
這我不太清楚了😅
Ted 顥天 2022-10-27 16:48:17
維護起來也比較麻煩，develop cost 反而更高
哦哦🤣
那個 data-cleaning 我可以用 python 寫嗎? 我覺得 R 那個課程好像有些問題...
Ted 顥天 2022-10-27 16:56:34
我其實不確定你在說什麼課程
就 SICSS 那個
它裡面教 R
我覺得 python 用起來比較好一些，不然昨天那個，他又來一個資料錯誤，又要 debug 超久
Ted 顥天 2022-10-27 17:52:40
我不清楚那個課程
那我用 python 寫或 go 也可?
Ted 顥天 2022-10-27 17:54:19
我真的沒有了解過課程，但你可能要看一下環境設置和套件安裝的版本
是用 setuptools 嗎?
pdm?
Ted 顥天 2022-10-27 18:00:36
我不知道你用什麼套件管理工具ㄚ
痾哦哦原來🤣
我要怎麼 fork 他現在 fork 不了?
Ted 顥天 2022-10-27 20:30:09
我是真的完全不清楚你要做甚麼
痾拍謝表達沒有清楚，data-cleaning 這個 repository 要怎麼 fork? 他現在 fork 不了
Ted 顥天 2022-10-27 21:40:09
因為裡面目前沒有檔案
那有檔案了再告訴我
12/17 週六有大松
大松前我會先開始陸續處理 政府各單位課程 csv

初步預計是以下流程：
1. 下載各政府單位已釋出 csv，名單網址已在 airtable 中
2. 把 csv 放到 Google 雲端，預計建立一個資料夾專門放 這類 csv
3. 開一份 spreadsheet，把各個 csv 兜在「通用欄位架構」中（課程名稱、課程網址…等）
4. 整理好「合併後 csv」，再請 後端 協助將檔案匯入
我是要等合併後 csv 才要開始處理對嗎?
可以呦

我會先開好 雲端空間
屆時若想要一起整理 csv 也歡迎
[彙整各網站的 csv] 本資料夾權限為公開共筆
裡面有三個資料夾：
1-[網站盤點] 國內外開放式課程網站網址清單，目前連結到 airtable
2-[向政府詢問資料] 詢問工作共筆
3-[課程清單 csv] 下載下來的 csv、整合中的 csv
https://drive.google.com/drive/folders/1GbFmpbNUhR6oeRAkZWm1nAq_-ipDvSXq?usp=share_link
2

2022-10-24

chewei 17:07:09
SICSS 也有提供線上課程~
https://sicss.io/overview

想問如果要做社群串連的話，就是讓另外一個社群的人更認識，更願意參加 g0v 的話，有什麼有效率的方式？如果是一對一聊天的話，我就會說加入 slack 參加黑客松之類的，但是如果是要一對多，怎麼做比較好？ 我解釋一下：我現在是 SICSS Taiwan 2023 的籌備組裡面， SICSS 是 Summer institute of computatioonal social science 希望輔導更多社會科學背景的人用數據分析/data science/大數據等做去社會科學研究。我覺得蠻多 SICSS 社群的人（包含參與者跟籌備組）會蠻喜歡 g0v，畢竟 SICSS 也是一群很關心社會的，喜歡寫 code 的人。 所以現在卡在說怎麼有效的讓 SICSS Taiwan 跟 g0v 串連？是在我們（SICSS) 的臉書裡面貼 g0v 連結？舉辦一個活動？還是怎麼樣？

1
chewei 17:07:09
SICSS 也有提供線上課程~
https://sicss.io/overview

想問如果要做社群串連的話，就是讓另外一個社群的人更認識，更願意參加 g0v 的話，有什麼有效率的方式？如果是一對一聊天的話，我就會說加入 slack 參加黑客松之類的，但是如果是要一對多，怎麼做比較好？ 我解釋一下：我現在是 SICSS Taiwan 2023 的籌備組裡面， SICSS 是 Summer institute of computatioonal social science 希望輔導更多社會科學背景的人用數據分析/data science/大數據等做去社會科學研究。我覺得蠻多 SICSS 社群的人（包含參與者跟籌備組）會蠻喜歡 g0v，畢竟 SICSS 也是一群很關心社會的，喜歡寫 code 的人。 所以現在卡在說怎麼有效的讓 SICSS Taiwan 跟 g0v 串連？是在我們（SICSS) 的臉書裡面貼 g0v 連結？舉辦一個活動？還是怎麼樣？

2022-10-25

CH 12:53:19
@colocolo317 has left the channel
Ning 19:19:44
@hongchiachi has joined the channel

2022-10-26

2022-10-27

2022-10-29

chewei 17:51:56
挖到一個提案 CourseMap – 課程知識地圖
提案簡介：「跨界教育」在台灣是個比喻，但不是一個應用方法。該計畫將系統性的整理不同大學的課程數據，尤其各科系、課程、課綱的交互關係。我們主要的成果是一張課程地圖，在視覺上標注出特殊的知識關聯，並以數學及電腦科學方法分析該網絡，提供針對學生與教育工作者的數據接口。
https://grants.g0v.tw/projects/588c9ed3b5b9f6001e24c8a8
這個是 2020 年，是已經實現了?找不到👀
chewei 17:51:56
挖到一個提案 CourseMap – 課程知識地圖
提案簡介：「跨界教育」在台灣是個比喻，但不是一個應用方法。該計畫將系統性的整理不同大學的課程數據，尤其各科系、課程、課綱的交互關係。我們主要的成果是一張課程地圖，在視覺上標注出特殊的知識關聯，並以數學及電腦科學方法分析該網絡，提供針對學生與教育工作者的數據接口。
https://grants.g0v.tw/projects/588c9ed3b5b9f6001e24c8a8

HackDash

CourseMap – 課程知識地圖 - g0v 公民科技創新獎助金

「跨界教育」在台灣是個比喻，但不是一個應用方法。該計畫將系統性的整理不同大學的課程數據，尤其各科系、課程、課綱的交互關係。我們主要的成果是一張課程地圖，在視覺上標注出特殊的知識關聯，並以數學及電腦科學方法分析該網絡，提供針對學生與教育工作者的數據接口。

這個是 2020 年，是已經實現了?找不到👀
1 👀 1 1

2022-10-30

2022-10-31