革新知能統合研究センター

最近の大規模言語モデル（LLM）の進歩により、その能力が大幅に向上し、AIが社会に統合される方法においてパラダイムの転換が生じました。 特にChatGPT、最新のバージョンであるGPT-4の場合、この進展は明白です。巨大なデータセットでトレーニングされたTransformerモデルの直接的なアプローチが、こんなにも驚異的な進歩を達成したことは興味深いです。これにより、概念的なレベルと技術的なレベルの両方で私たちの関心を引くはずです。

このミニワークショップでは、GPT-4の技術を紹介し、社会への影響について議論するチュートリアル形式の講演を提供することを目指しています。技術的な講演は、AIの研究者を対象にカスタマイズされています。

**Program:**

**Day 1 – June 30th**

– 14:30 – 14:50 *Matthias Weissenbacher* Opening Remarks: Transformers and the Power of GPT4
– 14:50 – 15:15 (5 min Q&A) *Noriki Nishida* Introductory Talk: Standard supervision vs. context learning in NLP
– 14:15 – 15:40 (5 min Q&A) *Benjamin Heinzerling* Why can LMs learn in-context? An overview of current theories
– 15:40-16:10 (10 min Q&A) *Koiti Hasida* Future R&D directions of generative AI & social impacts

**Day 2 – July 3rd**

– 13:30 – 13:35 Opening Remarks – Day 2
– 13:35 – 14:00 (5 min Q&A) *Hiroshi Nakagawa* How to live together with ChatGPT?
– 14:00 – 14:40 (10 min Q&A) *Hiroki Teranishi* How to train large language models on the example of GPT3 (LLaMA)
– 14:40 – 15:20 (10 min Q&A) *Yuji Matsumoto* Instruct GTP and the role of experts feedback (via RL) – example ChatGPT/GPT4
– 15:20 – 15:30 *Koiti Hasida* (Moderator) Open Discussion on the Future of AI (AGI) and Humanity