Web Application&Web Site

アプリ名:Buzzla

・UI/操作説明(Screenshot)

操作説明1

・開発状況(開発期間:2018/10/1~現在)
断続的に開発中

・概要
一定の形のWEBページ、APIやRSSフィードなどで提供されているトレンドワードやそれらに関連する指標をリアルタイムで取得して一覧に表示してくれるWebアプリケーション。 Twitterのトレンドワードの上位25位、GoogleTrendsのトレンドワードの上位20位(下位には前日の上位を含む)、ニコニコ大百科の急上昇ワードの上位20位、Yahoo検索ランキングの上位20位を随時取得して、リアルタイムで更新して表示してくれる。 また、履歴機能も備え、15分間隔で過去のデータの参照も行うことが出来る(一部のみ、履歴全体は2018年〜)。マテリアルデザインに則り、基本的にデスクトップでの使用を想定しているが、 スマートフォンでの閲覧も出来るようになっているなど、モバイルユーザビリティも考慮したUI設計になっている。今後(2021/11/5現在)はSNS共有機能・JWT認証によるログイン機能・詳細なトレンドの分析機能などを実装していきたいと考えている。

・想定用途
ニュースサイト・SNSアカウント運営業務。日常でのトレンド追い、コミュニケーション補助など。

・制作動機
最初にベータ版を作った時、業務でトレンド追い、それぞれのトレンドワードを起点に様々なサイトを見て回るという作業をしていたのを見た。 そのなかでトレンドワードは特に比較的定量で一覧で取得出来るものなので、トレンドワードを一覧にしてリアルタイムで把握出来るサービスがあれば運用上効率化が図れて便利だと思った。 また、個人的にTwitterなどで発言する際に色々なトレンドが見れると話題に乗っかれて面白い、コミュニケーションの活性化に繋がると考えたので、制作した。 また、それらをデータベースに蓄積することで分析することなど出来ることが増える。それは資産になると考えたので、作った。

・工夫した点
リアルタイムでそれぞれのトレンドワードと同期するようにしたこと、履歴を確認できるようにしたこと、 それをデータベースに蓄積する形にしたこと。一覧性を備えていること、横幅を変えても出来る限りレイアウトが崩れない形にしたこと。以上が挙げられる。 技術的に苦労した点については、特にRust周りの実装に苦労した。DB周りの連携の仕方や、 ソースフォルダ構成や書き方などまだまだドキュメントが少ない中でエラーや実装に対処するのは大変だった。 日本語の情報が少ないため、主に英語のドキュメントを参照しながら作った。 処理性能や様々な点で言語仕様的な問題を解決している点からどうしても使いたかったために利用した。 最終的には、応答速度10ms程度、数千リクエストなど局所的な激しいリクエストに耐えうるAPIを作れたことはよかったと考えている。

ページデモ:buzzla


Program

Program1:汎用画像スクレイピングプログラム(使用言語:Python3)

・概要
テキストファイルに書かれているURLのページ内の画像を収集する。

・利用法
urls1.txtに改行区切りでURLを記述して、実行ファイルと同じフォルダ階層に置く。 実行すると、ホスト毎にdataフォルダ内に画像をダウンロードする。ログ機能もついているので、ダウンロードしている画像のURLの特定,エラー対応も容易。 なお、実行する際はimportに記述されているパッケージを予めインストールし、必ず実行ファイルと同じ階層にcdを実行してから実行してください。

プログラム本体(zip圧縮):Download

Program2:テキストマイニングプログラム(解析対象:wikipedia、使用言語:Python3)

・概要
形態素解析器を利用し、Wikipediaのダンプデータから近接する一定の品詞の組み合わせ(名詞→格助詞→動詞など)を抽出するプログラム。 研究に利用中。

・利用法
https://dumps.wikimedia.org/jawiki/latest/
よりjawiki-latest-pages-articles.xml.bz2をDownloadし解凍したものをheadコマンドで一定行のデータ切り出し、そのデータを入力とする。 入力ファイルは、wiki.xmlというファイル名で、実行ファイルと同じフォルダ階層に該当ファイルを置く。 実行すると、同階層にApacheSolrの登録用jsonファイルとcsvファイルが書き出される。 なお、実行する際はimportに記述されているパッケージを予めインストールし、必ず実行ファイルと同じ階層にcdを実行してから実行してください。

プログラム本体(zip圧縮,400000行分の解析データ(csvファイル)が付属):Download

Audio

Please check the following URL.

https://soundcloud.com/meno_uni/