Slack archive

edu-open

Month: 2022-11

2022-11-02

chewei 22:43:36
12/17 週六有大松
大松前我會先開始陸續處理 政府各單位課程 csv

初步預計是以下流程：
1. 下載各政府單位已釋出 csv，名單網址已在 airtable 中
2. 把 csv 放到 Google 雲端，預計建立一個資料夾專門放 這類 csv
3. 開一份 spreadsheet，把各個 csv 兜在「通用欄位架構」中（課程名稱、課程網址…等）
4. 整理好「合併後 csv」，再請 後端 協助將檔案匯入
👌 1 1

2022-11-03

chewei 11:10:41
[彙整各網站的 csv] 本資料夾權限為公開共筆
裡面有三個資料夾：
1-[網站盤點] 國內外開放式課程網站網址清單，目前連結到 airtable
2-[向政府詢問資料] 詢問工作共筆
3-[課程清單 csv] 下載下來的 csv、整合中的 csv
https://drive.google.com/drive/folders/1GbFmpbNUhR6oeRAkZWm1nAq_-ipDvSXq?usp=share_link

2022-11-07

Zixsa 22:34:27
我覺得你可以先把 repository 檔案先存，我可以先用
Zixsa 22:34:27
我覺得你可以先把 repository 檔案先存，我可以先用

2022-11-09

Zixsa 09:04:37
主要是要把 xlsx 標頭換成英文? 一樣還是xlsv 檔? 還是要轉成 json? 還是直接存資料庫?
Zixsa 09:04:37
主要是要把 xlsx 標頭換成英文? 一樣還是xlsv 檔? 還是要轉成 json? 還是直接存資料庫? 那個ID 是不是 mongodb 插入時會附上的? 我有點忘了🤣
chewei 12:12:57
• 應該會用 英文標頭，用字參考之前一張資料 JSON 截圖圖片
• 但我還沒動工XD，若有需要你也可直接開工👍
• ID 這個欄位的內容，這可能要詢問經手後端的朋友，生成的方式與規則😀；我們所彙整的各政府單位課程開放資料，各個資料集內，應該是不會有 ID
👌 1
chewei 12:12:57
• 應該會用 英文標頭，用字參考之前一張資料
JSON 截圖圖片
• 但我還沒動工XD，若有需要你也可直接開工👍
• ID 這個欄位的內容，這可能要詢問經手後端的朋友，生成的方式與規則😀；我們所彙整的各政府單位課程開放資料，各個資料集內，應該是不會有 ID
Zixsa 14:56:47
請問如果之後有加新的檔案，檔案名稱會有規律嗎?
應該就採用各網站自己的命名名稱，有些有保留空格，有些則沒有：

e等公務園
臺北e大
中小企業網路大學校
5G-JUMP
教師e學院
勞動力發展數位服務平台
亞洲．矽谷學院線上課程
國家圖書館遠距學園
線上智權課程
農民學院
TDX交通資料育成網
故宮線上學校
族語E樂園
哈客網路學院
客家文化發展中心線上教學資源
工研院產業學習網
Corelab ICT技能成長學習平台
瘋存股想入市 - 宅在家學習網
Zixsa 14:56:47
請問如果之後有加新的檔案，檔案名稱會有規律嗎?
應該就採用各網站自己的命名名稱，有些有保留空格，有些則沒有：

e等公務園
臺北e大
中小企業網路大學校
5G-JUMP
教師e學院
勞動力發展數位服務平台
亞洲．矽谷學院線上課程
國家圖書館遠距學園
線上智權課程
農民學院
TDX交通資料育成網
故宮線上學校
族語E樂園
哈客網路學院
客家文化發展中心線上教學資源
工研院產業學習網
Corelab ICT技能成長學習平台
瘋存股想入市 - 宅在家學習網
Zixsa 15:03:38
比如國家圖書館_遠距學院，底線後面這邊會有規律嗎?
Zixsa 15:03:38
比如國家圖書館_遠距學院，底線後面這邊不同部門會有不同的規律嗎?
Zixsa 15:06:46
我看到的是教師 E 學院這個檔案名稱是沒有年度，其他是有這樣
Zixsa 15:06:46
我看到的是教師 E 學院這個檔案名稱是沒有年度，其他是有這樣

2022-11-10

Zixsa 14:18:37
請問為甚麼我看 courseapi-scraper 需要 poetry 和 pdm 這兩個不同的 dependency manager 要用在同一個專案? 這兩個不能只使用其中一個就好? 我現在比較熟 pdm ， poetry 我只大約查過而已看也是同樣的東西所以比較疑惑
Ted 顥天 2022-11-10 16:10:12
後來已經有換了
Ted 顥天 2022-11-10 16:10:24
統一 pdm
Zixsa 14:18:37
請問為甚麼我看 courseapi-scraper 需要 poetry 和 pdm 這兩個不同的 dependency manager 要用在同一個專案? 這兩個不能只使用其中一個就好? 我現在比較熟 pdm ， poetry 我只大約查過而已看也是同樣的東西所以比較疑惑
Ted 顥天 2022-11-10 16:10:12
後來已經有換了
Ted 顥天 2022-11-10 16:10:24
統一 pdm
chewei 18:41:52
應該就採用各網站自己的命名名稱，有些有保留空格，有些則沒有：

e等公務園
臺北e大
中小企業網路大學校
5G-JUMP
教師e學院
勞動力發展數位服務平台
亞洲．矽谷學院線上課程
國家圖書館遠距學園
線上智權課程
農民學院
TDX交通資料育成網
故宮線上學校
族語E樂園
哈客網路學院
客家文化發展中心線上教學資源
工研院產業學習網
Corelab ICT技能成長學習平台
瘋存股想入市 - 宅在家學習網
Zixsa 19:14:56
那像這些有特定的編號嗎?
Zixsa 19:14:56
那像這些有特定的編號嗎?
chewei 19:20:11
目前沒有
chewei 19:20:11
目前沒有
Zixsa 19:21:16
那這些都是不同部門下的? 還是可以分為部門下包含某些檔案?
Zixsa 19:21:16
那這些都是不同部門下的? 還是可以分為部門下包含某些檔案?
chewei 19:37:00
他們都是不同的單位
chewei 19:37:00
他們都是不同的單位
👌 1

2022-11-13

chewei 18:36:33
e等公務園、國家圖書館遠距學園
• 我從「e等公務園」網站，下載課程 csv，約 3900 筆課程資料，放入架構中
◦ 下載下來的 csv，對於我們的欄位來說，缺少三個欄位內容 (課程師資 instructor、課程簡介 description、開課單位 providerInstitution)
◦ 預計用「e等公務園」網站中的「公共論壇」頁面，詢問能否提供上述三個欄位內容
• 我從「政府資料開放平台」網站，下載國家圖書館遠距學園課程 csv，105 筆課程資料，放入架構中
◦ 下載下來的 csv，對於我們的欄位來說，缺少三個欄位內容 (課程師資 instructor、課程簡介 description、開課單位 providerInstitution)
◦ 預計用政府資料開放平台，詢問國家圖書館能否提供上述三個欄位內容
------
整合各網站課程 csv
Image 127.png
Ted 顥天 2022-11-13 18:43:01
我覺得為了方便資料整理，可以獨立 CSV 作處理，之後再作合併
Ted 顥天 2022-11-13 18:44:11
我們現在的 `_id` 是 mongodb 自己 apply 上去，可以拿掉整個 column
這個是進度報告嗎? 我有需要做甚麼嗎?
Ted 顥天 2022-11-13 18:49:55
沒有到進度報告的程度，就是 sync 一下工作而已
哦哦了解了
有標註已清理的我還要清理嗎?
不用耶
清理 = 按照六個欄位，把內容放到對應的位置而已
哦哦原來😅
對了只是改標題這樣就清理好了? 那我是要清理甚麼東西?
應該沒有其他的

或是你可以協助整理資料?

一、已有釋出csv待整理
(1)臺北e大
(2)中小企業網路大學校
(3)農民學院

二、政府釋出的資料內容有誤或有缺，要用政府資料平台詢問：
(1)亞洲．矽谷學院線上課程
(2)線上智權課程
(3)哈客網路學院
(4)客家文化發展中心線上教學資源

三、尚未有csv釋出，預計至政府資料平台「我想要更多」專區詢問能否釋出課程資料：
(1)5G-JUMP
(2)TDX交通資料育成網
(3)故宮線上學校
(4)工研院產業學習網
(5)Corelab ICT技能成長學習平台
(6)瘋存股想入市 - 宅在家學習網
(7)族語E樂園
是要用甚麼整理資料?
工作頁面
https://docs.google.com/spreadsheets/d/1oSRUCJCNTPaV5J3wY-DsktZTrTYWla7bYHV0-u0Meik/edit#gid=464813058

若以「臺北e大的課程資料」為例

因為政府已有釋出資料集，所以可以先下載csv https://data.gov.tw/dataset/121525

把 csv 上傳到雲端資料夾，資料夾網址
https://drive.google.com/drive/folders/1b39MTy5KLC054gYeCf3lQ0GWubT8-ytT?usp=share_link

打開 csv，並開一個新分頁，新分頁的欄位標題，依照我們專案所需要的標題，把 csv 既有的欄位內容，對應到我們所需要的標題 (name, url, instructor, description, providerInstitution, source, license)

這部分的工作，可以參考範例：[已清理20221113] e等公務園_online_course_export

完成後，把「[已清理] 臺北e大」的 googlesheet 網址補充回 工作文件 中
痾，那我有空會幫忙，我先去用另一個專案
好的
目前能取得的有網址的政府課程共 7132 筆
• e等公務園，3906 筆資料
• 臺北e大，1609 筆資料
• 中小企業網路大學校，946 筆資料
• 勞動力發展數位服務平台，433 筆資料
• 國家圖書館遠距學園，133 筆資料
• 全民勞教e網課程，105 筆資料
查找頁面試作
https://app.awesome-table.com/-NHJcD_puwhRauhG891Q/view

統整後的 csv

2022-11-19

chewei 20:26:45
應該沒有其他的

或是你可以協助整理資料?

一、已有釋出csv待整理
(1)臺北e大
(2)中小企業網路大學校
(3)農民學院

二、政府釋出的資料內容有誤或有缺，要用政府資料平台詢問：
(1)亞洲．矽谷學院線上課程
(2)線上智權課程
(3)哈客網路學院
(4)客家文化發展中心線上教學資源

三、尚未有csv釋出，預計至政府資料平台「我想要更多」專區詢問能否釋出課程資料：
(1)5G-JUMP
(2)TDX交通資料育成網
(3)故宮線上學校
(4)工研院產業學習網
(5)Corelab ICT技能成長學習平台
(6)瘋存股想入市 - 宅在家學習網
(7)族語E樂園

2022-11-20

chewei 19:00:07
目前能取得的有網址的政府課程共 7132 筆
• e等公務園，3906 筆資料
• 臺北e大，1609 筆資料
• 中小企業網路大學校，946 筆資料
• 勞動力發展數位服務平台，433 筆資料
• 國家圖書館遠距學園，133 筆資料
• 全民勞教e網課程，105 筆資料
查找頁面試作
https://app.awesome-table.com/-NHJcD_puwhRauhG891Q/view

統整後的 csv
chewei 19:05:43
例如以 "GDPR" 作為關鍵字，可以看到不同平台有開課
Image 159.png
這個是把 csv 丟到 awesome table這個網站就可以產生這種效果了 0.0?
有需要清理資料嗎0.0? 我有看到課程講師那邊，資料好像有錯誤
具體是什麼錯誤呢?
看到有問號
原始資料有問號，所以我會選擇不修改

2022-11-25

chewei 19:16:28
中華開放教育平台，目前在蒐集使用者問卷，可以觀察其問卷問項
https://sendy.openedu.tw/l/A0JigxTjWwqazO53LuMkBw/vDtIlboiz30oPLmWbkM35A/0k6SgK4m5b7GU0fJUeQrmg
IMG_7400
✅ 1

2022-11-28

chewei 20:53:49
12/17 週六 g0v大松
我這邊想在活動中提案徵求 追問政府部會釋出開放式課程資料 的貢獻者
提案簡報網址
若有其他工作事項也歡迎放入簡報中，屆時可以一起說明

目前已有 7132 筆政府課程 csv
預計問完一輪後，通常過一段時間，各單位回覆以後，再把新增的資料集整理至 csv
再放到後端
痾有需要用 python 清理 csv 嗎?
目前應該是沒有~
或是你有興趣跳坑把 sheet1資料 放到後端？
你是說插入資料到資料庫?
嗯嗯 技術細節我並不熟悉
期待能在前端頁面可以查找到 7132 筆政府課程
你是說資料先插入資料庫，然後加上渲染到前端?
痾我電腦有點問題，現在應該不適合處理
我感覺我電腦好像有問題，但我處理不了，但感覺好像又沒關係，我不知道會不會影響把 sheet1 資料放到後端然後處理前端的東西😓
了解 或許也可等其他位 熟悉後端的朋友來解惑
有需要把資料放到後端嗎? 我電腦應該清掉病毒了
我再觀察看看，好像還是怪怪的
3 2 🙌 1
chewei 20:53:49
12/17 週六 g0v大松
我這邊想在活動中提案徵求 追問政府部會釋出開放式課程資料 的貢獻者
提案簡報網址
若有其他工作事項也歡迎放入簡報中，屆時可以一起說明
痾有需要用 python 清理 csv 嗎?
目前應該是沒有~
或是你有興趣跳坑把 sheet1資料 放到後端？
你是說插入資料到資料庫?
嗯嗯 技術細節我並不熟悉
期待能在前端頁面可以查找到 7132 筆政府課程
你是說資料先插入資料庫，然後加上渲染到前端?
痾我電腦有點問題，現在應該不適合處理
我感覺我電腦好像有問題，但我處理不了，但感覺好像又沒關係，我不知道會不會影響把 sheet1 資料放到後端然後處理前端的東西😓
了解 或許也可等其他位 熟悉後端的朋友來解惑
有需要把資料放到後端嗎? 我電腦應該清掉病毒了
我再觀察看看，好像還是怪怪的