自然言語処理と機械学習を用いたタンパク質高発現塩基配列の創製＠18th JSEC
•Download as PPTX, PDF•
0 likes•488 views
Presentation slide at Japan Science & Engineering Challenge 2020. In this study, I treated the sequence of nucleic acid as a natural language, created a large-scale corpus, and identified a gene sequence that improves the expression level of protein using machine learning software for natural language processing. The large-scale corpus focuses on the sequence of the gene untranslated region, UTR, and its secondary structure, and is a component of the secondary structure. 1) Treat a stem and loop as morphemes. 2) Next, link the produced corpus with information on gene expression efficiency. 3) Machine learning, NLP, is performed using this as teacher data with using facebook's fasttext. Specifically, the distributed expression of words consisting of gene parts and this amount 4) Build a neural network model based on diffuse expression and maximize the expression efficiency from the created model. 5) A cluster analysis of the words was performed. Furthermore, from this cluster center of gravity, the same gene fragment that improves expression efficiency In this process, the numerical value of the expression efficiency was labeled and it was verified whether the classification prediction could be performed. Next, perform cluster analysis of the constructed word vector, identify gene fragments (words) with high expression efficiency, and leave behind. I proposed a method for synthesizing a new base sequence (text) that can be expected to be highly expressed from a gene fragment.
Recommended
More Related Content
What's hot
What's hot (15)
Similar to 自然言語処理と機械学習を用いたタンパク質高発現塩基配列の創製＠18th JSEC
Similar to 自然言語処理と機械学習を用いたタンパク質高発現塩基配列の創製＠18th JSEC (9)
自然言語処理と機械学習を用いたタンパク質高発現塩基配列の創製＠18th JSEC
- 1. 甲南高等学校 南 慧
- 2. 自然言語処理（形態素解析）と機械学習 例文： ちゃうちゃうちゃうちゃうちゃうんちゃう ４文字からなる文章 関西人でもこのままではよくわからない ちゃうちゃう チャウチャウ ちゃうんちゃう？ （いいえ チャウチャウ犬 ではないでしょ？） 分かち書き：形態素解析 多くの追加情報・文章で、文章が分類できる：機械学習 2
- 3. 機械学習の分類とクラスター中心 コーパス(文章データベース） ラベル”関西” ： “母は 岩おこし が好き” ラベル”関西” ： “私は お好み焼き が好き” ... ラベル”関東”： “母は 雷おこし が好き” ラベル”関東”： ”私は もんじゃ焼き が好き” これを教師(ラベル)付き機械学習させると、関西と関東を表現する単語クラスター（集団） ができる。クラスターの中心がラベルをよく表す単語。 さらに、機械学習を用いて、入力された文章を分類できるようになる。 例“うちのおかんが岩おこしがっていうねん” ➡ それなら関西やろ のように、文章から内容を分類・推定できる。 仮説 ) 塩基配列に適用すると “タンパク質を大量に合成する”というラベルで教師付き学習をさせると、タンパク質高発 現の塩基配列が抽出できる。 更に、塩基配列を入力すると、発現効率が予測できる。 岩おこし お好み焼き 母 私 好き 雷おこし もんじゃ焼き “関西”を表現する 単語のクラスター 関東を表現する 単語のクラスター 3
- 5. 単語：２次構造のステムとループ 仮説：塩基配列の２次構造のステムとループ部分に意味がある ➡ ステムとループを単語として、分かち書き 例）tRNA ループ部分にアミノ酸を指定する重要な意味がある 一次構造 GGGGAUGUAGCUCAUAUGGUAGAGCGCUCGCUUUGCAUGCGAGAGGCACAGGGUUCGAUUCCCUGCAUCUCCA 二次構造 ループ ステム ここのループと塩基配列に 重要な意味がある (図出所：CentroidFold） 5
- 6. 例） tRNAの配列を分かち書きした例 CentroidFold（２次構造予測ソフト）を使うと簡単に分かち書きできる tRNAの塩基配列 ① GGGGAUGUAGCUCAUAUGGUAGAGCGCUCGCUUUGCAUGCGAGAGGCACAGGGUUCGAUUCCCUGCAUCUCCA CentroidFoldによる①の２次構造予測の出力 ② GGGGAUGUAGCUCAUAUGGUAGAGCGCUCGCUUUGCAUGCGAGAGGCACAGGGUUCGAUUCCCUGCAUCUCCA (((((((..((((........)))).(((((.......))))).....(((((.......)))))))))))). ③ GGGGAUG AG CUCA UAUGGUAGA GCG C UCGCU UUGCAUG CGAGA GGCAC AGGGU UCGAUUCC CUGCAUCUCC A ((((((( .. (((( ........ )))) . ((((( ....... ))))) ..... ((((( ....... )))))))))))). （）がステム、 . がループを表す 次の文字が異なる場合にスペースを 挿入すると、分かち書きできる 分かち書き後 6 終点 始点
- 7. 研究内容:①文章データベース（コーパス）の作成 奈良先端科学技術大学院大学加藤先生から5167種の配列とそれぞれの発現効率 のデータを頂いた。 RNAfoldを使って、２次構造のステムとループをそれぞれ単語に分解、分か ち書きし、各文章に発現効率を示すラベル(XS:極小～XL：極大)をつけ、ス テムとループを区別するために別記号にした。 __label__XL HH GAAUU DD AAGC BBD GA BDV G DHBH U HBVV C BBH AAAAA BH AAAAC DV GAG DVV UC HBVD U DV A DH G BHV G HVV VDVV G VVDVVV GAA BBBHBH G HHHB UUA … __label__XS HHHBVDH UU V U HD UCCGCUCC HV C B UU DH A BVDVD G VVVVHHDDH GAA BDDD U BH UUCG DV U HH A HVVHHDDHHBB ACCCUAGAAGCG 5167文 7
- 8. 研究内容:②機械学習の実行 Facebook社が様々な言語の文章を分類するために作った、fastTextを使い、①で作ったコーパスを学 習させた。 fastTextはラベル毎に分類精度を最適化するオプションがあり、ラベルXLの分類精度を高めた。 結果） % ~/fastText/fasttext test-label 5UTRcorpusSMLautotuned2.bin 5UTRcorpusSML.valid F1-score : 0.624339 Precision : 0.593960 Recall : 0.657993 __label__XS F1-score : 0.362887 Precision : 0.360656 Recall : 0.36515 __label__S F1-score : 0.353191 Precision : 0.337398 Recall : 0.370536 __label__L F1-score : 0.600000 Precision : 0.548638 Recall : 0.661972 __label__XL F1-score : 0.222222 Precision : 0.311475 Recall : 0.172727 __label__M この機械学習モデル（学習させた状態）の単語辞書を調べると、大きなタンパク質合成能力(Label_XL) がある単語（塩基配列）がわかる。 ➡ 104次元の単語ベクターから、ラベルXLを持つ単語のベクター重心を求める。 (クラスターの中心） 8
- 9. 研究内容:③クラスター中心と共起語 ラベルＸＬの単語ベクターの重心にユークリッド距離が近い 単語 ➡ 最も大量に タンパク質を合成することができる単語 （塩基配列）と考えられる 例) 関西：“岩おこし”, “お好み焼き” fastTextでは共起語がコマンドで出力できる ➡ ベクター重心の単語とその単語と共に出現する頻度の高 い単語(共起語)をつなぎ合わせて、発現効率を高める文章（塩 基配列）が作れると考えられる 例）関西：“大黒の岩おこし”, “鶴橋風月のお好み焼き” 9
- 10. 研究内容:④高発現塩基配列の創製 クラスター重心に近い単語の組み合わせ(“岩おこし と お好み焼き”法) ラベルXLのクラスター重心と各単語ベクターの距離を求めた 重心との距離が小さい順に、① CCGCGCUCUCCAUUAUUUC ②AAAUCCGAAUAUACCCUUCUCACCU を得た ①、②と最初に現れたステムの単語③GGUUGUCを連結 結果 CCGCGCUCUCCAUUAUUUUC GGUUGUC AAAUCCGAAUAUACCCUUCUCACCU GACAACC ① ③ ② ③の相補配列 共起語による組み合わせ(“大黒の 岩おこし”法) fastTextの nnコマンド(nearest neighbor)で①の共起語を得た ④ ACACACUCUC ⑤ ACUCGUCACCACACACUCCUCC ... ①と④を連結した文（塩基配列文章 左から右に読むので、④を左に配置) 結果 ACACACUCUC CCGCGCUCUCCAUUAUUUUC ④ ① 10
- 11. 研究内容:⑤利用ソフトウェアと自作プログラム 核酸の２次構造予測ソフト RNAfold サーバーもあるが、処理数が多くなるのでスタンドアロンプログラムをインストール CentroidFold 主にサーバーで利用。２次構造の図を取得。 自然言語処理ソフト fastText スタンドアロンプログラムをインストール。 ニューラルネットワークモデルによる学習と、生成された単語辞書を 利用 自作文字列操作プログラム C言語のscanf とprintfをつかって、標準入力を標準出力に書き出すターミナルプログラム。 CSV形式からfastText用のコーパスを作成するために制作。 コーパスを作るプログラム実行例) % ./01preprocess < 5UTR.csv | RNAfold --PS | ./03genewording8char | ./04makecorpusSML > 5UTRcorpus.SML.txt ↑ ↑ ↑ ↑ fasta形式に整形 ２次構造予測 分かち書き ラベル付きコーパス作成 11
- 17. 17 既存の研究との 違い ラベル化 fastTextについて 2次構造予測 分かち書き ハイパーパラ メータ CentroidFold 今後
- 18. 既存の研究と本研究の違い 既存の研究(奈良先端大の加藤先生・山崎先生の研究） 塩基配列の色々な物理量を説明変数、発現効率の物理量を目的変数として機械学習を実施 説明変数： 配列の自由エネルギー、先頭からの長さ、モチーフ等の物理量 目的変数： 発現効率（物理量） 例 f(1.1, 3.4, ...) = 0.9 のように全て数値の物理量を使った回帰分析 難しすぎてよくわからなかった(；；) 本研究 簡単に、大め・少なめ、のような分類が使えるのではないかと考えた。 塩基配列を記号のまま説明変数として扱える。逆に物理量の発現効率は記号に変換した。 説明変数： 配列の文字列 目的変数： 発現効率を示す文字列(“XL”,”L”, “M”, “S”, “XS”) 例 f(“AGC”, “GCG”,..) = “XL”のように記号を使った文章の分類 18
- 19. 発現効率(PR値)のラベル化について 加藤先生から頂いたデータのPR値は、0.54～1.28だった。 最初、0.5から0.2間隔に XS, S, M, L, XLとして学習させると、ほとんどの 場合Lになった。 そこでPR値の頻度が偏っているのではと思い、頻度を調べたところ、かなり PR値の高い方に山があることがわかった。 総数5167で、5つのラベルで同じ程度の サンプル数になるようにPR値を割り振った。 19 各遺伝子の PR 値の範囲 付与するラベル PR < 0.98 __label__XS 0.98 ≦ PR < 1.04 __label__S 1.04 ≦ PR < 1.08 __label__M 1.08≦ PR < 1.13 __label__L 1.13≦PR __label__XL
- 20. fastTextについて fastTextはFacebook社のリサーチチームがgithubに登録しており、ダウンロードコピー（ク ローンと呼ぶ）が可能である。 fasttextのクローン作成とインストール： % git clone https://github.com/facebookresearch/fastText.git % cd fastText %make で、~/fastText/fasttext –-help でコマンドの使い方がわかる 詳細なマニュアル https://github.com/facebookresearch/fastText#readme YFUで米国留学していたため、なんとか解読できた；） なぜfastTextだったか fastTextの他に単語のベクター表現を行うツールにはWord2Vec他があったが、 facebook社が作っており、高速で、簡単にインストールできたため。 20
- 21. RNAfoldとCentroidFoldについて RNAの二次構造ソフトはVienna 大学のRNAfoldが有名で、すぐにインストールできた。 RNAfold のサーバー http://rna.tbi.univie.ac.at/cgi-bin/RNAWebSuite/RNAfold.cgi プログラムパッケージから簡単にインストールができる https://www.tbi.univie.ac.at/RNA/ CentroidFoldは、GitHubにのっているものは研究時点ではコンパイルできなかった。 主に、二次構造の図を見るときに使わせて頂いた。 http://rtools.cbrc.jp/centroidfold/ RNAfoldとCentroidFoldで結果が異なる 同じ配列の２次構造で結果が異なる場合がある 例)結果のP11 ②AAAUCCGAAUAUACCCUUCUCACCUを予測 21 RNAfold CentroidFold
- 22. 分かち書きの有効性の検証 分かち書きしたコーパスと分かち書きしないコーパスの２種を作って、fastTextの同じパラ メータで分類精度を確認した 分かち書きした場合 プログラムの実行例： % ~/fastText/fasttext test –5UTRcorpusSML.bin 5UTRcorpusSML.valid N 1167 P@1 0.359 R@1 0.359 分かち書きしない場合 プログラムの実行例 % ~/fastText/fasttext test –5UTRcorpusnowordingSML.bin 5UTRcorpusnowordingSML.valid N 1167 P@1 0.231 R@1 0.231 ２次構造予測による分かち書きで、精度が高くなった 22
- 23. fastTextのハイパーパラメータ最適化 labelXLの予測精度を高めるハイパーパラメータの最適化を行った % ~/fastText/fasttext supervised –input 5UTRcorpusSML.train –output 5UTRcorpusSMLautotuned2 –autotune- validation 5UTRcorpusSML.valid –autotune-metric f1:__label__XL autotune-duration 600 最適化後のハイパーパラメータ モデルをdumpし、ハイパーパラメータは下記となる % ~/fastText/fasttext dump 5UTRcorpusSMLautotuned2.bin args dim 104 （104次元の単語ベクター） ws 5 epoch 100 minCount 1 neg 5 wordNgrams 1 loss softmax model sup bucket 487072 minn 3 maxn 6 lrUpdateRate 100 t 0.0001 23
- 24. CentroidFoldを用いた場合 JSEC論文提出後に、慶応大学佐藤先生にCentroidFoldをコンパイル可能なように改修いただ いた。 論文の記載はRNAfoldを使用した数値ですが、論文提出後, RNAfold の代わりに、 CentroidFold を使用すると、最適化後の予測精度が10%程度向上した。 RNAfoldを使った際 F1-score : 0.600000 Precision : 0.548638 Recall : 0.661972 __label__XL CentroidFoldを使った際 F1-score : 0.669643 Precision : 0.638298 Recall : 0.704225 __label__XL 更に、予測精度が現在世界最高性能のMXFoldをご紹介頂いた。 サーバー版 http://www.dna.bio.keio.ac.jp/mxfold/ パソコンにインストールできた。 24
Editor's Notes
- 「自然言語処理と機械学習を用いたタンパク質高発現塩基配列の創製」について発表させていただきます。 甲南高等学校 南慧です。よろしくお願いいたします。
- 突然ですが、この例文がすぐに理解できるでしょうか？ ４文字だけの文章で、関西人でもなかなか理解できません。 そこで、分かち書きするとだいぶん推測できるようになります。すなわち、分かち書きのように形態素解析して、単語を区切ったり、追加の文章等で単語の意味とか文章が分類できるようになります。
- また、自然言語処理では、文章の大規模なデータベースをコーパスと呼びます。 例えば、例のように、“母は岩おこしが好き”という文章と、“私はお好み焼きが好き”という文章に関西のラベルをつけ “母は雷おこしが好き”という文章と”私はもんじゃ焼きが好き”という文章に関東のラベルとつけると、機械学習で、 関西を表現する単語として、岩おこし、お好み焼きの単語が抜き出され、関東を表現する単語として雷おこし、もんじゃ焼きの単語が抜き出され、 それぞれがベクター空間上に配置されます。これによって、たとえば 「うちのおかんが岩おこしがっていうねん」という文章を入力すると、機械学習によって、 それは「ほな関西やろ」、と分類されるわけです。 私は、この仕組みを塩基配列に適用しようと考えました。具体的には、タンパク質を大量に合成する、というラベルを付けて、塩基配列を大量に学習させると、タンパク質を大量に合成する、塩基配列の一部分が特定できるのではないか、また、塩基配列を入力すると大きな合成量になるか小さな合成量になるかが推測できるのではないかと考えました。そこで、
- 本研究では、タンパク質の発現をコントロールする塩基配列を文章としてあつかいます。では単語はどうするかですが、
- 塩基配列の２次構造に含まれるステムとループに意味があると考えて、この単位で分かち書きをしてみました。
- 具体的には、核酸の２次構造を予測するツールとしてVienna大学のRNAFoldあるいは産総研のCentroidFold等を用いると、 ループとステムの部分がわかります。ステムはブラケットとして、ループはドットとして表示されます。そこで、ブラケットとドットの間に区切り文字として空白を配置することで、簡単に ２次構造による分かち書きができるようになります。
- 本研究では、奈良先端大学よりお借りした5167種の遺伝子配列とその発現効率の組を用いて単語に分解し、かつ、発現効率を示す物理量を ラベル記号として、それぞれの配列の文章に付与しました。 結果、発現効率を示すラベルとその文章の対が5167分ある、コーパスを作ることができました。
- このコーパスをfacebook社が開発した、fastTextを用いて機械学習を行いました。fastTextには、各ラベルの分類精度を最適化するコマンドがあり、 これを最大合成量を示すラベルXLに対して実行しました。 結果、塩基の部分配列を単語として、その単語が104次元の数値データを持ちニューラルネットワークのモデルができました。 この単語は104次元の空間に配置されており、ラベルXLの単語の集合であるクラスターの中心を求めました。
- 重心の計算には、エクセルを使いました。ラベルXLの単語クラスターの重心は、冒頭の岩おこし、お好み焼きのような単語で、そのラベルを最も表す単語と言えます。 また、fastTextでは、ある単語が出現した場合に同時に出現する頻度の高い単語、これを共起語とよび、共起語を同定できます。たとえていえば、関西を意味する、岩おこしの場合、岩おこしといえば大黒屋やろ、お好み焼きといえば鶴橋風月や、のように対になって表れる単語になります。
- このような考え方から、タンパク質を大量に発現させる塩基配列の作る方法を２つ考えました。 一つはクラスター重心に近い単語を複数組み合わせるものです。名付けて“岩おこしとお好み焼き”法です。具体的にはクラスタ重心に近い単語①と②を 最初に現れたステム単語により接続しました。結果この図のようなダルマ構造の塩基配列となりました。 また、もう一つの方法は共起語の組み合わせです。名付けて“大黒の岩おこし”法です。具体的には、クラスタ重心に近い単語の共起語をfastTextのnnコマンドで取得し、これをつなげたものです。これは、図のように直鎖状の塩基配列になりました。
- 本研究では、２次構造の予測ソフトとしてRNAfoldとCentroidFoldを使わせて頂きました。また自然言語処理ソフトとしてFastTextを使い、単語の分散表現とニューラルネットワークモデルによる分類と生成された104次元の単語辞書を利用しました。 幾つかの文字列操作プログラムは自作いたしました。
- まとめ
- JSECでの発表後になりますが、本研究で発明した、自然言語処理向けに核酸の高次構造を、ステム・ループ等の要素毎に分かち書きするプログラムが日本特許として登録されました。 筆頭発明は私ですが、出願人は父の会社です。
- クラスター重心に近い上位の核酸配列と、「岩おこしとお好み焼き」法および「大黒屋の岩おこし」法で合成した核酸配列をエンハンサーとして、GFPを発現させ、その相対蛍光量をグラフにしたものです。 図のレーン１は、従来高い翻訳量を持つとされた愛媛大学が発明したE02と呼ぶ5’UTRエンハンサー配列です。 ID6からは、私が自然言語処理で単離した5’UTR、白抜きのR-15-FHが、奈良先端科学技術大学院加藤教授らがイネのゲノムワイド解析から単離された高発現5’UTRです。 結果、奈良先端科学技術大学院大学とNUProtein社が共同で実施したゲノムワイド解析で単離できた5’UTRと同等の性能を持つエンハンサー配列が含まれていることが確認できました。 また、「岩おこしとお好み焼き法」ならびに「大黒屋の岩お越し法」を用いた核酸の合成では、翻訳量は向上しなことが示唆されました。