Slack archive

da0-desci

Month: 2023-06

2023-06-01

frankhu 18:11:22
我繼續丟囉XD Ito論文提到 MIT的同事 Ed Boyden 也參與很多事情，所以就好奇MIT大大的他在幹嘛：
https://syntheticneurobiology.org/
合成神經生物學領域大師，滿多TED影片說明，他將研究大腦的相關論述簡單歸類成
時間維度: 感光蛋白到大腦不同細胞，不同光波段控制不同細胞(excitatory/ inhibitory)目的以了解功能+嘗試治療 and
空間維度(將吸水材料混入腦中，將中間空隙放大且不影響原有結構，讓顯微鏡看不到的訊息/結構變得可能可見) <- 好ㄎㄧㄤ

https://www.youtube.com/watch?v=faMwIN1bkWI&t=1s 這個影片應該是介紹最完整的且中後段滿進階，對議題有興趣可直接看Ted簡介即可~

YouTube

Solving the Brain: Pioneering Tomorrow's Neurotechnologies

frankhu 18:11:22
我繼續丟囉XD Ito論文提到 MIT的同事 Ed Boyden 也參與很多事情，所以就好奇MIT大大的他在幹嘛：
https://syntheticneurobiology.org/
合成神經生物學領域大師，滿多TED影片說明，他將研究大腦的相關論述簡單歸類成
時間維度: 感光蛋白到大腦不同細胞，不同光波段控制不同細胞(excitatory/ inhibitory)目的以了解功能+嘗試治療 and
空間維度(將吸水材料混入腦中，將中間空隙放大且不影響原有結構，讓顯微鏡看不到的訊息/結構變得可能可見) <- 好ㄎㄧㄤ

https://www.youtube.com/watch?v=faMwIN1bkWI&t=1s 這個影片應該是介紹最完整的且中後段滿進階，對議題有興趣可直接看Ted簡介即可~

2023-06-04

weiting Lin (我們的基因體時代) 20:00:27
昨天跟@girofu 聊天討論，聊了一下自己能做些什麼來貢獻給da0 desci，偏向於做一些東西來幫忙on board更多人，以及讓大家更容易“上網web3”，單純寫成一系列文章可能互動參與性較低，目前偏向打造一個有LLM為交互的入口，塞滿目前desci ecosystemˋ的知識和工具，可以讓人更簡單地進入和貢獻，以及擁有一個貼心小幫手的感覺，基本上，會以每週為單位update進度，預計是在每週日，希望至少在七月大鬆的時候，有機會變成一個提案，清楚定義需要什麼幫忙和初期架構，歡迎大家分享一些open source LLM和框架，以及很棒的desci資源，@frankhu 有推薦用pubpub來做分享系統嗎？還不太熟這工具，但感覺很有趣～
覺得很棒！！！！！
@weitinglin66 這週三要不要來講一下
覺得可以試試看~ 我自己也沒有使用過pubpub，我原先把他理解為一個入口網站 / (學術) 社群建立起點；
若有 *LLM 交互的入口* 搭配 這樣一個*資料整理處*( 相較於 hackMD 我覺得 pubpub這樣一個小網站(而且似乎功能滿齊全的)) 應該是新常態的很好方式
AI for 動態onboarding + 網站 for static onboarding
關於LLM 交互入口我也有興趣加入，希望有時間參與幫忙
想參加原因主要是想把成果應用到(其他)社群其的不同onboarding面向，包括 da0 本身, DAO研究紀錄( 讀書會 + 讀書會眼深的參考資料等), FAB DAO 超證小組的onboard 等
weiting Lin (我們的基因體時代) 2023-06-05 07:32:21
沒問題呀！目標就是讓大家很容易就fork，ㄧ步步來貢獻一下
weiting Lin (我們的基因體時代) 2023-06-05 07:34:16
週三晚上我看看時間，希望來得及往下規劃來跟大家update一下
❤️ 1 1 1
weiting Lin (我們的基因體時代) 20:00:27
昨天跟@girofu 聊天討論，聊了一下自己能做些什麼來貢獻給da0 desci，偏向於做一些東西來幫忙on board更多人，以及讓大家更容易“上網web3”，單純寫成一系列文章可能互動參與性較低，目前偏向打造一個有LLM為交互的入口，塞滿目前desci ecosystemˋ的知識和工具，可以讓人更簡單地進入和貢獻，以及擁有一個貼心小幫手的感覺，基本上，會以每週為單位update進度，預計是在每週日，希望至少在七月大鬆的時候，有機會變成一個提案，清楚定義需要什麼幫忙和初期架構，歡迎大家分享一些open source LLM和框架，以及很棒的desci資源，@frankhu 有推薦用pubpub來做分享系統嗎？還不太熟這工具，但感覺很有趣～
覺得很棒！！！！！
@weitinglin66 這週三要不要來講一下
覺得可以試試看~ 我自己也沒有使用過pubpub，我原先把他理解為一個入口網站 / (學術) 社群建立起點；
若有 *LLM 交互的入口* 搭配 這樣一個*資料整理處*( 相較於 hackMD 我覺得 pubpub這樣一個小網站(而且似乎功能滿齊全的)) 應該是新常態的很好方式
AI for 動態onboarding + 網站 for static onboarding
關於LLM 交互入口我也有興趣加入，希望有時間參與幫忙
想參加原因主要是想把成果應用到(其他)社群其的不同onboarding面向，包括 da0 本身, DAO研究紀錄( 讀書會 + 讀書會眼深的參考資料等), FAB DAO 超證小組的onboard 等
weiting Lin (我們的基因體時代) 2023-06-05 07:32:21
沒問題呀！目標就是讓大家很容易就fork，ㄧ步步來貢獻一下
weiting Lin (我們的基因體時代) 2023-06-05 07:34:16
週三晚上我看看時間，希望來得及往下規劃來跟大家update一下

2023-06-05

2023-06-11

weiting Lin (我們的基因體時代) 20:41:03
Update on building LLMs tools for desci onboarding #da0-desci

Open-Assistant
https://github.com/LAION-AI/Open-Assistant
Stability-AI/ StableLM
https://github.com/Stability-AI/StableLM

https://huggingface.co/blog/rlhf
Open Source Tools for RLHF
• Transformers Reinforcement Learning https://github.com/lvwerra/trl
• Reinforcement Learning for Language models (RL4LMs) https://github.com/CarperAI/trlx
• CarperAI trlx https://github.com/CarperAI/trlx
◦ Transformer Reinforcement Learning X https://github.com/CarperAI/trlx
◦
模型開發的工具
• 基礎模型
◦ OpenAI, Google...
• 垂直領域模型
◦ Einstein, Baize, FireFly, PERT, Lamini, huggingface
• 多模態/擴散模型
◦ Stability, LoRa, ControlNet
• 輕模型
◦ 知識蒸餾
◦ 量化優化：FP32 -> Int4
◦ 結構優化（避免Padding）
◦ 內存優化
• 開源模型/數據集
◦ 編碼器
▪︎ BERT, ALBERT, ROBERTA, DEBERTA
◦ 解碼器
▪︎ LLaMa, GPT早期, BLLOM, FLAN
◦ 編碼器-解碼器
▪︎ T5, T0, BART, FLAN-T5
◦ 語言模型
▪︎ LLaMa, Alpaca, Vicuna, Koala, LLaMa Adaptor, CerebaseGTP, MPT-7B(MosiacAI), Dolly(Databrick)
◦ 重要數據集/系統
▪︎ Wikipedia, Common Crawl, MSCOCO, VQA
應用開發
• 工具箱＆工具鍊
◦ 基礎開發能力
▪︎ 代碼框架：PyTorch, TensorFlow, MXNet
▪︎ 基礎服務：AWS, Azure, Google Colab
▪︎ 工作流：LangChain, Cohere, Helicone, Stack AI
▪︎ 代理：Auto-GPT
▪︎ 編制：BabyAGI
▪︎ 整合：Jarvis
▪︎ 提示：Github Copilot, Tabnine
▪︎ 調適：Syn Code
▪︎ 記憶：Pinecore, Zilliz

huggingface.co

Illustrating Reinforcement Learning from Human Feedback (RLHF)

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

@weitinglin66 how can I help
👀 4 ❤️ 2 💯 2 2
weiting Lin (我們的基因體時代) 20:41:03
Update on building LLMs tools for desci onboarding #da0-desci

Open-Assistant
https://github.com/LAION-AI/Open-Assistant
Stability-AI/ StableLM
https://github.com/Stability-AI/StableLM

https://huggingface.co/blog/rlhf
Open Source Tools for RLHF
• Transformers Reinforcement Learning https://github.com/lvwerra/trl
• Reinforcement Learning for Language models (RL4LMs) https://github.com/CarperAI/trlx
• CarperAI trlx https://github.com/CarperAI/trlx
◦ Transformer Reinforcement Learning X https://github.com/CarperAI/trlx
◦
模型開發的工具
• 基礎模型
◦ OpenAI, Google...
• 垂直領域模型
◦ Einstein, Baize, FireFly, PERT, Lamini, huggingface
• 多模態/擴散模型
◦ Stability, LoRa, ControlNet
• 輕模型
◦ 知識蒸餾
◦ 量化優化：FP32 -> Int4
◦ 結構優化（避免Padding）
◦ 內存優化
• 開源模型/數據集
◦ 編碼器
▪︎ BERT, ALBERT, ROBERTA, DEBERTA
◦ 解碼器
▪︎ LLaMa, GPT早期, BLLOM, FLAN
◦ 編碼器-解碼器
▪︎ T5, T0, BART, FLAN-T5
◦ 語言模型
▪︎ LLaMa, Alpaca, Vicuna, Koala, LLaMa Adaptor, CerebaseGTP, MPT-7B(MosiacAI), Dolly(Databrick)
◦ 重要數據集/系統
▪︎ Wikipedia, Common Crawl, MSCOCO, VQA
應用開發
• 工具箱＆工具鍊
◦ 基礎開發能力
▪︎ 代碼框架：PyTorch, TensorFlow, MXNet
▪︎ 基礎服務：AWS, Azure, Google Colab
▪︎ 工作流：LangChain, Cohere, Helicone, Stack AI
▪︎ 代理：Auto-GPT
▪︎ 編制：BabyAGI
▪︎ 整合：Jarvis
▪︎ 提示：Github Copilot, Tabnine
▪︎ 調適：Syn Code
▪︎ 記憶：Pinecore, Zilliz
@weitinglin66 how can I help

2023-06-15

松鼠 23:54:40
@jerry10301 has joined the channel

2023-06-18

weiting Lin (我們的基因體時代) 10:53:06
關於各種新的語言模型對於科研應用的範例！公民科學的知識門檻取得會越來越低了
https://twitter.com/kmjablonka/status/1668506349465116673

Twitter

Kevin Jablonka on Twitter

It's a warp! - 53 authors - 14 projects after 1.5 days of hackathon. With this paper, we have a full bouquet of examples of how LLMs can impact chemistry, materials science, and beyond. <https://t.co/W2emjGnEK4> #llmhack #llm #chemtwitter

❤️ 2 💯 1 1 1 1
weiting Lin (我們的基因體時代) 22:50:31
每周日 - 去中心化科學 "LLM+項目" 進度更新 #da0-desci
• Protocol Lab下的Bacalhau項目，類似web3的雲端計算服務，提供有docker或是wasm接口的運算服務
◦ 偏向使用rust來做wasm，目前看起來未來webassembly可能會取代部分docker的角色，在去中心化計算上可能蠻有潛力
• LangChain 是目前一個不錯用來架構LLM接口的工具，但似乎OpenAI最近的function call，也讓整個應用更簡易許多。
• 可以善用一些基於IPFS系統的資料庫工具來搜集大家的回饋或是溝通，再灌回LLMs中，形成知識
• 能否創造一個讓對desci有興趣的朋友，主動社交的機制，比如在Matter.town中都寫到desci，或是在未來這工具使用上，對某一個內容有興趣的朋友，可以看見彼此之類的
• embedding model和一些不錯vector db的survey
• 關於LLMs memory的建置，該怎麼配比
• 在7/1大鬆的時候來update整個框架和項目進度
• 最近在看Compute Over Data Summit3: https://www.youtube.com/watch?v=RIhj2bJFSso&list=PL_1oLZF_wrbT738dKuQ4AvKxsQsyjTd2t ，科學無非是需要資料和計算，這主題的方向蠻重要的，這塊也是Protocol Lab推出FVM後重要方向

YouTube

COD^3: Expanding The Compute Over Data Universe - David Aronchick

swiftevomatters 2023-07-02 03:12:02
1 3 ❤️ 3 2 3 👍 4
weiting Lin (我們的基因體時代) 22:50:31
去中心化科學 "LLM+項目" 進度更新 #da0-desci
• Protocol Lab下的Bacalhau項目，類似web3的雲端計算服務，提供有docker或是wasm接口的運算服務
swiftevomatters 2023-07-02 03:12:02

2023-06-19

Sam Den 05:28:46
@samden has joined the channel

2023-06-24

weiting Lin (我們的基因體時代) 10:28:27

Splitgraph Blog

Building a GPT-powered agent to answer questions using data from Splitgraph

Follow along as we build a GPT-powered bot capable of answering natural language questions by finding relevant Splitgraph repositories and querying them via automatically generated SQL.

luv it!
weiting Lin (我們的基因體時代) 10:28:27

Splitgraph Blog

Building a GPT-powered agent to answer questions using data from Splitgraph

Follow along as we build a GPT-powered bot capable of answering natural language questions by finding relevant Splitgraph repositories and querying them via automatically generated SQL.

luv it!
❤️ 4

2023-06-25

weiting Lin (我們的基因體時代) 22:13:10
每周日 - 去中心化科學 "LLM+項目" 進度更新 #da0-desci
• 7/1大松的名額都滿了QQ
• 不錯的資源，關於如何用去中心資源來打造計算應用
◦ Decentralizing Machine Learning Training with Bacalhau and IPFS
▪︎ https://coinsbench.com/decentralizing-machine-learning-training-with-bacalhau-and-ipfs-48eae50c9d22
◦ Conversational Memory for LLMs with Langchain
▪︎ https://www.pinecone.io/learn/langchain-conversational-memory/
◦ Getting Started with LangChain: A Beginner's Guide to Building LLM-Powered Applications
▪︎ https://towardsdatascience.com/getting-started-with-langchain-a-beginners-guide-to-building-llm-powered-applications-95fc8898732c
◦ LangChain Memory
▪︎ https://zhuanlan.zhihu.com/p/628734321
◦ Daniel Gross：捐獻了一個叢集GPU，給去中心化應用團隊申請使用
▪︎ https://dcgross.com/
◦ Notifi Integrated Snapshot Labs and Realms into the Notifi Hub
▪︎ https://medium.com/notifi/notifi-integrates-snapshot-labs-and-realms-into-the-notifi-hub-3dfffd8b7b7b
• 再思考的問題
◦ 使用FVM做一個接口，將對話或是跟此"desci書"互動or相關ecosystem如在matter上分享到desci的人用什麼方式會聚到ipfs上面，又可以簡易的看到
◦ 要如何讓人自然的跟這本DeSci書互動
◦ 不同的互動，會產生不一樣的對話場景，有的場景是偏向如搜尋等等
◦ 這本“關於desci的書or知識”要怎麼不段更新
weiting Lin (我們的基因體時代) 22:13:10
每周日 - 去中心化科學 "LLM+項目" 進度更新 #da0-desci
• 7/1大松的名額都滿了QQ
• 不錯的資源，關於如何用去中心資源來打造計算應用
◦ Decentralizing Machine Learning Training with Bacalhau and IPFS
▪︎ https://coinsbench.com/decentralizing-machine-learning-training-with-bacalhau-and-ipfs-48eae50c9d22
◦ Conversational Memory for LLMs with Langchain
▪︎ https://www.pinecone.io/learn/langchain-conversational-memory/
◦ Getting Started with LangChain: A Beginner's Guide to Building LLM-Powered Applications
▪︎ https://towardsdatascience.com/getting-started-with-langchain-a-beginners-guide-to-building-llm-powered-applications-95fc8898732c
◦ LangChain Memory
▪︎ https://zhuanlan.zhihu.com/p/628734321
◦ Daniel Gross：捐獻了一個叢集GPU，給去中心化應用團隊申請使用
▪︎ https://dcgross.com/
◦ Notifi Integrated Snapshot Labs and Realms into the Notifi Hub
▪︎ https://medium.com/notifi/notifi-integrates-snapshot-labs-and-realms-into-the-notifi-hub-3dfffd8b7b7b
• 再思考的問題
◦ 使用FVM做一個接口，將對話或是跟此"desci書"互動or相關ecosystem如在matter上分享到desci的人用什麼方式會聚到ipfs上面，又可以簡易的看到
◦ 要如何讓人自然的跟這本DeSci書互動
◦ 不同的互動，會產生不一樣的對話場景，有的場景是偏向如搜尋等等
◦ 這本“關於desci的書or知識”要怎麼不段更新

Pinecone

Chatbot Memory with Langchain | Pinecone

An introduction to different conversational memory types for building chatbots and other intelligent AI systems. Can be used with gpt-3.5-turbo, text-davinci-003, and other LLMs.

知乎专栏

LangChain之Memory

在LangChain中，Memory指的是大语言模型（LLM）的短期记忆。为什么是短期记忆？那是因为LLM训练好之后（获得了一些长期记忆），它的参数便不会因为用户的输入而发生改变。当用户与训练好的LLM进行对话时，LLM会暂…

1

2023-06-27

weiting Lin (我們的基因體時代) 18:28:19

GPT4All + LangChain + private KM 的開源套件 <https://github.com/StanGirard/quivr|https://github.com/StanGirard/quivr>

weiting Lin (我們的基因體時代) 18:28:19

GPT4All + LangChain + private KM 的開源套件 <https://github.com/StanGirard/quivr|https://github.com/StanGirard/quivr>

2023-06-28

Stanley 04:09:18
@ccb50995 has joined the channel
weiting Lin (我們的基因體時代) 15:31:07
發現 另一個滿滿desci熱愛者的地方 https://t.me/theuncommons
weiting Lin (我們的基因體時代) 15:31:07
發現 另一個滿滿desci熱愛者的地方 https://t.me/theuncommons

Telegram

Uncommons｜:green_heart::pill:

a public sphere where a collective of Commons Builders explores Crypto Thoughts together. (Prev. GreenPill CN)

❤️ 1

2023-06-29

frankhu 09:21:30
uncommons 讚讚 (就是之前的greenpill CN，我們前幾週有線上聊過(大松) ，聊完他們自願參與一次讀書會的導讀～一群行動力很高的人（他們TG看起來很大團，可能需要挖一陣子）
swiftevomatters 2023-07-02 00:29:10
I am here now, thanks
frankhu 09:21:30
uncommons 讚讚 (就是之前的greenpill CN，我們前幾週有線上聊過(大松) ，聊完他們自願參與一次讀書會的導讀～一群行動力很高的人（他們TG看起來很大團，可能需要挖一陣子）
swiftevomatters 2023-07-02 00:29:10
I am here now, thanks
n0ah 11:30:39
這樣是不是 @weitinglin66 其實已經聊過了
n0ah 11:30:39
這樣是不是 @weitinglin66 其實已經聊過了
weiting Lin (我們的基因體時代) 11:35:57
目前是加到TG中聊，幾個成員剛好之前有聊過天
💯 1
weiting Lin (我們的基因體時代) 11:35:57
目前是加到TG中聊，幾個成員剛好之前有聊過天