Stockmark Tech Blog

自然言語処理テクノロジーで社会を進化させる ストックマークのテックブログです。

2020-01-01から1年間の記事一覧

Flutterで高速開発したAnewsモバイルアプリ

はじめに Flutterとは StockmarkにおけるFlutterの適用領域 技術選定の経緯 上手くいったコツ 1. モブプログラミングの活用 2. 学習と実装の並行 3. 体制構築上の工夫 大変だったところはあったのか? 今振り返って開発してみてよかったこと 今後の開発体制…

Wikipediaを用いた日本語の固有表現抽出データセットの公開

ML事業部の近江崇宏です。 ストックマークではプロダクトで様々な自然言語処理の技術を用いていますが、その中のコア技術の一つに固有表現抽出があります。固有表現抽出はテキストの中から固有表現(固有名詞)を抽出する技術で、例えば「Astrategy」という…

Cloud TPUを用いたBERT推論処理基盤の開発

ML

はじめに Cloud TPUを用いた推論処理基盤 システム概要 MLOps Cloud Runを用いた全件処理時の工夫 Cloud TPU導入の効果 TPUとGPUのパフォーマンス比較 TransformersのBERTをTPUで動かす。 TPUを用いる上での工夫 まとめ ML事業部の近江崇宏です。 Stockmark…

TPU VS GPU(English Edition)

ML

Introduction Processing Unit Graphics Processing Unit The Tensor Processing Unit Hardware Resources Tasks Comparison Task 1: Pretraining the BERT Task 2: Fine-tuning the BERT Conclusion Acknowledgement Bibliography Introduction In this era…

TPU VS GPU(日本語版)

ML

はじめに Processsing Unitの紹介 GPU TPU ハードウェアリソース タスク TPUとGPUの比較 Task 1: BERTの事前学習 Task 2: BERTのファインチューニング 終わりに 謝辞 参考文献 はじめに (この記事の英語版はTPU VS GPU(English Edition)にあります。) Machin…

ビッグリライトでシステム刷新した秘訣 ~ Anewsの成功事例から ~

はじめに アーキテクチャ刷新の背景 なぜビッグリライトの選択したのか? ビッグリライトの成功確度を上げた工夫 難易度の高いところから着手・実験する スコープをコントロールする 旧プロダクトのアーキテクチャをベースに、かつデータストアにRedisを使っ…

ストックマークにおけるB2B SaaSセキュリティへの取り組み

Asalesについて セキュリティ対策の検討ポイント 対応したセキュリティ対策の一例 ネットワーク ウェブ・アプリケーション オンライン・ストレージ 永続ストレージ 機械学習バッチ・アプリケーション アーキテクチャ図 まとめ さいごのさいごに 参考 こんに…

BERTによるニュース記事の構造化:企業名抽出

ML

はじめに ニュース記事の構造化 企業名抽出の難しさ 機械学習を用いた企業名抽出 BERTを用いた企業名抽出に関する私たちの取り組み 学習データのアノテーション おわりに 参考文献 はじめに Machine Learning部門の近江です。ストックマークでは、自然言語処…

「電笑戦 ~ AI は人を笑わせられるのか ?」に出場します!

こんにちは、ストックマークでPR担当している中野です。 AIに人は笑わせられるのか...。 9月開催の「AWS Summit」で行われる 「電笑戦 ~ AI は人を笑わせられるのか ?」の挑戦者 として、当社のAIが出場します! 1枚の画像に対して一言コメントでボケて、笑…

ストックマークが公開した言語モデルの一覧と振り返り

ML

言語モデルとは 弊社で公開している言語モデル一覧 ELMo ELMoとは ELMo日本語モデルの作成 ELMoの効果 BERT BERTとは BERT日本語モデルの作成 BERTの効果 XLNet XLNetとは XLNet日本語モデルの作成 XLNetの効果 ALBERT ALBERTとは ALBERT日本語モデルの作成 …

BERTを使ったMLバッチ処理実サービスのアーキテクチャとMLOpsの取り組み

Astrategyについて Astrategyのシステム構成 MLバッチ処理 MLモデルについて MLOpsとは MLOpsの検討開始 MLOpsキックオフ 本番環境での構成 初期構成 マイクロサービス構成 MLOps第一弾 苦労したこと 効果 次の課題 MLOps第二弾 AWS Batch Step Functions CI…

ブログはじめました

こんにちは、ストックマーク CTO有馬です。 この度、テックブログをはじめることにしました。 創業してからあっという間に3年半が経ち、Anewsに至ってはおかげさまで1500社様に活用いただけるような大きなAI SaaSプロダクトにまで成長しました。 AIという高…