SlideShare a Scribd company logo
三輪 隆史
遺伝的アルゴリズムと
知識蒸留による
大規模言語モデルの学習
はじめに
- AIの発展が著しい中、その能力は人間に近づきつつある。その中でAIの生命的な側面
に脚光を当てることも増えた。
- そこで、本研究では人工生命的な文脈でAIを捉えつつ、AIの進化を考えていきたい。
- 具体的には、AIを自律的エージェントとして、群として学習を進め問題の解決に当た
らせる。
- キーワード:オープンエンドな進化、AutoML、自律型エージェント
1
関連研究 - 各研究解説 - オープンエンドな進化
2
OEE:
単一種に収束するのではなく、また発
散し過ぎず、新たな種が誕生し続ける
ような進化のあり方。
関連研究 - 各研究解説 - 集団探索・個体多様性
3
集団探索:
群集団が相互作用をしながら、解を
探索することで、より広い範囲の探
索が可能となる。
個体多様性:
多様な個体によって、探索をするこ
とで、局所解に陥らないようにする
ことができる。
関連研究 - 各研究解説 - 遺伝的アルゴリズム
4
遺伝的アルゴリズム:
生物学における遺伝のプロ
セスに着想を得て、開発さ
れた最適化アルゴリズム。
1992年の発見以来、その柔
軟性により幅広い分野で使
用されており、様々な改良
が加えられている。
関連研究 - 各研究解説 - 自律的行動・目標柔軟性
5
自律的行動:
個体が自律的に行動、学習、決定を行うことでより良い探索することが可能と
なる。
目標柔軟性:
単一の目標の達成に固執するのではなく、過去や現在の状態から新たな目標を
創出することで、単一解の解決で探索を完了することを防ぐ。
関連研究 - 各研究解説 - 知識蒸留
6
知識蒸留:
大規模なモデルからより小規模なモデル
に知識を圧縮する際に使用されるよう提
案された。
その後、知識の圧縮だけでなく、知識の
適応、知識の拡大、知識の強化と様々な
用途で使用される手法となった。
関連研究 - 各研究解説 - 環境変化
7
環境変化:
環境の変化が新たな探索を促す。
環境と集団や個体が共進することで、新たな
目標や探索を継続することができる。
カリキュラム学習などと関連がある。
提案手法 - 各研究との関連 - 遺伝的アルゴリズム
モデルの初期化
モデルの学習
モデルの評価
モデルの選択・交叉・突然変異
終了
8
● 遺伝的アルゴリズム
● 知識蒸留
● コード生成LLM
提案手法 - 各研究との関連 - 知識蒸留
モデルの初期化
モデルの学習
モデルの評価
モデルの選択・交叉・突然変異
終了
9
● 遺伝的アルゴリズム
● 知識蒸留
● コード生成LLM
提案手法 - 各研究との関連 - コード生成LLM
モデルの初期化
モデルの学習
モデルの評価
モデルの選択・交叉・突然変異
終了
10
● 遺伝的アルゴリズム
● 知識蒸留
● コード生成LLM
提案手法 - プロセス解説 - モデルの学習 - 知識蒸留
訓練
データセット
教師モデル
生徒モデル
Codegen
出力
出力
生徒モデル
Codegen
生徒モデル
正解ラベル
KL
ダイバージェンス
誤差
交差
エントロピー誤差
11
提案手法 - プロセス解説 - モデルの評価
12
モデルの初期化
モデルの学習
モデルの評価
モデルの選択・交叉・突然変異
終了
提案手法 - プロセス解説 - モデルの評価
評価
データセット
Pythonコ
ード
生徒モデル
ユニットテスト
13
OK / NG
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
14
モデルの初期化
モデルの学習
モデルの評価
モデルの選択・交叉・突然変異
終了
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
生徒モデル
生徒モデル
生徒モデル
生徒モデル
生徒モデル
精度順
エリート保存選択
15
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
エリート保存選択:
群の中で最も性能が良い個体を残
し、遺伝子を次の世代へ引き継ぐ
手法である。
16
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
生徒モデル
生徒モデル
生徒モデル
生徒モデル
生徒モデル
精度順
エリート保存選択
17
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
生徒モデル
生徒モデル
生徒モデル
生徒モデル
生徒モデル
精度順
エリート保存選択
18
ニューロン交叉 一様交叉
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
19
親遺伝子A
親遺伝子B
子遺伝子
一様交叉:
50%の確率で、それぞれの親の遺伝子の中から一
つを選ぶ、という施行を繰り返し、子モデルを生
成する。
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
生徒モデル
生徒モデル
生徒モデル
生徒モデル
生徒モデル
精度順
エリート保存選択
20
ニューロン交叉 一様交叉
提案手法(生徒モデルの選択と交叉)
生徒モデル
生徒モデル
生徒モデル
生徒モデル
生徒モデル
精度順
エリート保存選択
21
ニューロン交叉 一様交叉
ハイパーパラメータ交叉 BLX-α交叉
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
22
親遺伝子A
親遺伝子B
子遺伝子
BLX-α交叉:
親同士の遺伝子から値の範囲を定め、そこに係
数を掛けて範囲を拡張し、探索範囲を広げる。
この範囲の中で子遺伝子を作成する。
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
生徒モデル
生徒モデル
生徒モデル
生徒モデル
生徒モデル
精度順
エリート保存選択
23
ニューロン交叉 一様交叉
ハイパーパラメータ交叉 BLX-α交叉
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
生徒モデル
生徒モデル
生徒モデル
生徒モデル
生徒モデル
精度順
エリート保存選択
24
ニューロン交叉 一様交叉
ハイパーパラメータ交叉 BLX-α交叉
ニューロン突然変異 ガウス突然変異
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
ガウス突然変異:
対象のパラメータに正規分布の
ノイズを付与することで、探索
範囲を拡大する。
25
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
生徒モデル
生徒モデル
生徒モデル
生徒モデル
生徒モデル
精度順
エリート保存選択
26
ニューロン交叉 一様交叉
ハイパーパラメータ交叉 BLX-α交叉
ニューロン突然変異 ガウス突然変異
提案手法 - プロセス解説 - モデルの選択・交叉・突然変異
生徒モデル
生徒モデル
生徒モデル
生徒モデル
生徒モデル
精度順
エリート保存選択
27
ニューロン交叉 一様交叉
ハイパーパラメータ交叉 BLX-α交叉
ニューロン突然変異 ガウス突然変異
生徒モデル
提案手法 - 全体プロセス
28
モデルの初期化
モデルの学習
モデルの評価
モデルの選択・交叉・突然変異
終了
実験方法
- PC:
- AWS EC2
- G5.2xlargeインスタンス
- NVIDIA A10 Tensor Core GPU ✕ 1(GPUメモリ24GB)
- 訓練データセット:CodeExercise-Python-27k
- 毎回の評価データセット:MBPP
- 最終的な評価データセット:HumanEval
- 生徒モデル:codegen-350M-mono
- 教師モデル:phi-2
- 生徒モデル数:3
- HPO対象パラメータ:学習率
29
実験結果
- 学習には約18時間を要した。
- 全体プロセスは42回繰り返したところで早期終了した。
- HumanEval pass@1にて従来の12.8%から14%に変化し、1.2%の精度改善があった。
- 学習率の推移を見ると、初期は学習率の高い個体が高い精度を残し、終盤に近づくほ
ど学習率の低い個体が高い精度を残した。
- アルゴリズムが機能し、学習の進捗に合わせ、ハイパーパラメータが変化している。
図: 学習率推移
30
実験結果 - 正解
31
プロンプト:
出力コード:
実験結果 - 不正解
32
プロンプト:
出力コード:
課題や改善の方向性
- 課題1: リソース効率の悪さ
- 事前データセット加工
- データ長でグループ分け
- データ長が一定以上はチャンクに分け、一定以下は削除
- 課題2: 最適化するハイパーパラメータの少なさ
- 課題3: ハイパーパラメータの最適化の改善
- 生徒モデルの数を増やす
- 遺伝的アルゴリズムの改善
- 進化アルゴリズムの変更(Map-Elitesなど)
- 課題4: タスク解決の精度の改善効果の低さ
- 損失関数の変更(コサイン類似度など)
- 教師モデルをより大きなモデルへ変更(GPT-4など)
33
結論
- 遺伝的アルゴリズムと知識蒸留を組み合わせた学習プロセスを提案した。
- 実験の結果、1.2%の精度改善とハイパーパラメータである学習率の最適化を行えるこ
とを確認した。
- 一方で、大幅な精度改善や多種のハイパーパラメータの最適化を行うことはできなか
った。
- 提案手法のアルゴリズムには応用や改善の余地が多くあり、今後のさらなる活用が期
待される。
34
その他
- 知識蒸留による学習にて、生徒モデル同士のアンサンブル学習も行った。
- 教師モデルが必要ないので、使用リソースが減る。
- 誤差の範囲だが精度向上もあった。(13.4%)
- HPOの対象をハードターゲットによる学習の重み、ソフトターゲットによる学習の重
みに拡大した。
- プロセスの初期に収束してしまい、適切な探索がされなかった。
- 突然変異の手法の修正、生徒モデル数の追加などの対策が必要と考えられる。
- Githubにてコードを公開中
- https://github.com/notoxicpeople/genetic-distil-for-code-gen
35
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化

More Related Content

Recently uploaded

「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
shogotaguchi
 
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
Sony - Neural Network Libraries
 
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
Takuya Minagawa
 
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
TsuyoshiSaito7
 
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
Tatsuya Ishikawa
 
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
Tetsuya Nihonmatsu
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
Hironori Washizaki
 
Kyndryl Developer Services のご紹介 2024年7月
Kyndryl Developer Services のご紹介  2024年7月Kyndryl Developer Services のご紹介  2024年7月
Kyndryl Developer Services のご紹介 2024年7月
Takayuki Nakayama
 
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit IntroductionMatsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo Lab
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
iPride Co., Ltd.
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
TsuyoshiSaito7
 

Recently uploaded (11)

「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
 
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
 
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
 
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
 
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
 
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
 
Kyndryl Developer Services のご紹介 2024年7月
Kyndryl Developer Services のご紹介  2024年7月Kyndryl Developer Services のご紹介  2024年7月
Kyndryl Developer Services のご紹介 2024年7月
 
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit IntroductionMatsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit Introduction
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
 

Featured

AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
marketingartwork
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
Skeleton Technologies
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
SpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Lily Ray
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
Rajiv Jayarajah, MAppComm, ACC
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
Christy Abraham Joy
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
Vit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
MindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
RachelPearson36
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Applitools
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
GetSmarter
 
ChatGPT webinar slides
ChatGPT webinar slidesChatGPT webinar slides
ChatGPT webinar slides
Alireza Esmikhani
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
Project for Public Spaces & National Center for Biking and Walking
 

Featured (20)

AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
 
ChatGPT webinar slides
ChatGPT webinar slidesChatGPT webinar slides
ChatGPT webinar slides
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
 

遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化