kawasaki.rb #51のLT大会用の頭のおかしいLTです。 普通はMeCabで良いですが、どうしてもKuromojiを使いたい場合に。 あとDockerイメージにしておくと便利。

1. Rubyからkuromojiを呼ぶた
めにgRPCサーバにして
Docker化した話
kawasaki.rb #51
2017/8/23
ぺけみさお / xmisao

2. Kuromoji
形態素解析をしてくれる子(Java)
Builder builder = Tokenizer.builder();
builder.mode(Mode.NORMAL));
Tokenizer tokenizer = builder.build();
Token token = tokenizer.tokenize("もう何も恐くない");
// 形態素解析の結果が取れる

3. gRPC
● Google製のRPCフレームワーク
● .protoファイル(Protocol BufferのIDL)でインタフェースを定義
● .protoファイルからクライアント・サーバのスタブを出力できる
● Protocol BufferでHTTP2で早いらしい

4. .protoファイル(1/2)
syntax = "proto3";
option java_multiple_files = true;
option java_package = "com.xmisao.mojix.tokenizer";
option java_outer_classname = "IpadicTokenizer";
option objc_class_prefix = "IT";
package mojix;
service Tokenizer {
rpc tokenizeSimply (SimpleRequest) returns (SimpleResponse) {}
}

5. .protoファイル(2/2)
message SimpleRequest {
string text = 1;
enum Mode {
NORMAL = 0;
SEARCH = 1;
EXTENDED = 2;
}
Mode mode = 2;
}
message SimpleResponse {
repeated string tokens = 1;
}

6. Java側
static class TokenizerImpl extends TokenizerImplBase {
@Override
public void tokenizeSimply(SimpleRequest request, StreamObserver<SimpleResponse>
responseObserver) {
Tokenizer tokenizer = getTokenizer(request.getMode());
String text = request.getText();
SimpleResponse.Builder responseBuilder = SimpleResponse.newBuilder();
List<String> tokens = new ArrayList<String>();
for (Token token : tokenizer.tokenize(text)) {
tokens.add(token.getSurfaceForm());
}
responseBuilder.addAllTokens(tokens);
SimpleResponse response = responseBuilder.build();
responseObserver.onNext(response);
responseObserver.onCompleted();
}

7. Ruby側
stub = Tokenizer::Stub.new(
host_port,
:this_channel_is_insecure)
req = SimpleRequest.new(
text: text,
SimpleRequest::Mode::NORMAL)
stub.tokenize_simply(req).tokens

8. Dockerfile
# xmisao/mojix
FROM maven:3.5.0-jdk-8
ADD . /srv/mojix
WORKDIR /srv/mojix
RUN mvn install
EXPOSE 9661
CMD java -jar
target/mojix-0.0.1-SNAPSHOT-jar-with-dependencies.jar

9. 作った
● GitHub
○ xmisao/mojix-server
○ xmisao/mojix-client-ruby
● Docker Hub
○ xmisao/mojix

10. デモ
# docker run -it --rm -p 9661:9661 xmisao/mojix
# bundle exec irb
> require ‘mojix’
> Mojix::Client.new.tokenize_simply(‘もう何も恐くない’)
=> ["もう", "何", "も", "恐く", "ない"]

11. まとめ
本当に必要なのはRPCだった