yolo-kiyoshi.com
Open in
urlscan Pro
150.95.254.16
Public Scan
Submitted URL: http://yolo-kiyoshi.com/
Effective URL: https://yolo-kiyoshi.com/
Submission: On March 07 via api from US — Scanned from JP
Effective URL: https://yolo-kiyoshi.com/
Submission: On March 07 via api from US — Scanned from JP
Form analysis 3 forms found in the DOM
GET https://yolo-kiyoshi.com/
<form class="searchBox__form" method="get" target="_top" action="https://yolo-kiyoshi.com/"> <input class="searchBox__input" type="text" maxlength="50" name="s" placeholder="記事検索"><button class="searchBox__submit icon-search" type="submit"
value="search"> </button> </form>GET https://yolo-kiyoshi.com
<form action="https://yolo-kiyoshi.com" method="get"><label class="screen-reader-text" for="cat">カテゴリー</label><select name="cat" id="cat" class="postform">
<option value="-1">カテゴリーを選択</option>
<option class="level-0" value="10">Kaggle (15)</option>
<option class="level-0" value="5">RPA (2)</option>
<option class="level-0" value="15">エンジニアリング (6)</option>
<option class="level-0" value="9">その他 (5)</option>
<option class="level-0" value="12">ビジュアライゼーション (6)</option>
<option class="level-0" value="14">レコメンド (10)</option>
<option class="level-0" value="6">所感 (7)</option>
<option class="level-0" value="8">書評 (43)</option>
<option class="level-0" value="11">機械学習 (14)</option>
<option class="level-0" value="3">登山 (1)</option>
<option class="level-0" value="7">統計解析 (17)</option>
<option class="level-0" value="38">英語学習 (1)</option>
</select></form>GET https://yolo-kiyoshi.com/
<form class="searchBox__form" method="get" target="_top" action="https://yolo-kiyoshi.com/"> <input class="searchBox__input" type="text" maxlength="50" name="s" placeholder="記事検索"><button class="searchBox__submit icon-search" type="submit"
value="search"> </button> </form>Text Content
キヨシの命題
データサイエンス（統計解析や機械学習など）に関する情報を発信します
* ホーム
* 統計解析
* 確率分布
* 確率変数
* 確率変数の期待値と分散
* 確率母関数、積率母関数、特性関数
* レコメンド
* Kaggle
* RPA
* 書評
NEW ARTICLE
M1チップ搭載のMacbookでRedash Dockerコンテナを起動する
M1チップ搭載のMACBOOKでREDASH DOCKERコンテナを起動する
* 2022.09.01
* ビジュアライゼーション
開発しているサービスで、KPIをモニタリングするためにオープンソースBIのRedashを導入しようという話になりました。
そこで、まずは試しにローカルにRedashサーバーを構築してみることにしました。
Redash用のDockerイメージがあるので簡単に構築できるかと思いましたが、意外とM1チップ搭載のMacbookだとドキュメント通りにいかなかったのでメモします。
環境 MacBook Air […]
続きを読む
REDSHIFTのGEOMETRY型を使って緯度経度から都道府県を判定してみる
* 2022.08.22
* エンジニアリング
最近TwitterでJTCの内情のツイートばかりをしていて、技術的な発信をおろそかにしていました…。反省です。 ということで、久々のブログ投稿です。
仕事上よく緯度・経度を持つ空間データの分析をするのですが、毎回DWH(AWS
RedShift)からPython実行環境にロードし、GeoPandasやShapelyを使って処理していました。 ただ、結局Pythonで処理した結果をまたD
[…]
続きを読む
RABBITMQ DOCKERコンテナでメッセージを永続化する方法
* 2022.02.23
* エンジニアリング
* Docker
プライベートな開発で複数のDockerコンテナで並列処理を実装する必要があり、複数コンテナのタスクを管理するためにRabbitMQというOSSのメッセージブローカーを使い始めました。
RabbitMQのデフォルト設定だと、サーバーが停止したりクラッシュするとサーバー上のキューやタスクは削除されてしまいます。
さすがに運用する場合はこの仕様だと困るので、RabbitMQサーバー上のメッセージを永続化 […]
続きを読む
TORで接続元を匿名化してスクレイピングしてみる
* 2022.02.19
* エンジニアリング
* Docker, スクレイピング
Torネットワークを使うことで接続元IPアドレスを秘匿化してWebスクレイピングできるかを検証してみました。
Webサイトをスクレイピングする際、同じIPアドレスからリクエストし続けると運営側からアカウントをBANされるリスクがあります。
処理途中でランダムに待機を入れて人が操作するかのよう振る舞ったとしても、同一の接続元からリクエストすることに変わりはないためBANを回避する方法として不十分です
[…]
続きを読む
SELENIUM DOCKERイメージを使ってPAIRSで足跡を自動で付けてみた
* 2022.02.05
* エンジニアリング
* Docker, スクレイピング
最近Webやネイティブアプリのスクレイピングに興味があります。
実際にスクレイピングアプリを作りながら学んでいこうということで、手始めにPairsを題材にコードを書いてみました。
※Pairsは週に数回閲覧するかどうかくらいのライトユーザーです スクレイピング実行環境をDockerを使って構築したり、SNSでの2段階認証の突破やLazy
Loadを実装しているページの対応などが個人的には新鮮な技術 […]
続きを読む
『ビジネスデザインのための行動経済学ノート』を読んだ感想
* 2022.01.06
* 書評
久しぶりに書店に立ち寄った際に面白そうな本があったので試しに読んでみました。
最近、上司や経営層がどういった思考回路で考えて物事を判断しているのかに興味があり、意思決定に関する本を読んでいます。
それらの本の中では『行動経済学』というワードが頻繁に登場していて、合理的ではない人の行動に焦点を当てた学問である『行動経済学』を理解しているか否かが意思決定の質と密接に関わっていることが分かります。
本書 […]
続きを読む
新年のご挨拶
* 2022.01.04
* 所感
あけましておめでとうございます。 年末年始は北陸方面で登山や観光をする予定だったものの、年末寒波の影響で交通機関がマヒするリスクが高かったので断念。
結局、予定はすべて白紙となったのでした。 さて、AIベンチャーからジャパニーズトラディショナルな大手企業に転職し、早１年です。
オフィスや開発環境はもちろんのこと、同僚の仕事に対する姿勢や組織での立ち回り方・レポートラインの複雑さなど、いい意味でも悪 […]
続きを読む
『多様性の科学』を読んだ感想
* 2021.10.12
* 書評
Kindle版で期間限定セールの対象になっていたので読んでみました。
大雑把に本書をまとめると、組織を構成するメンバーに多様性を持たせることで、組織全体での盲点が少なくなり、問題解決の可能性が高まるということです。
一見よくある言説のように感じますが、言うは易し行うは難しで、本書ではこれを実現できなかった組織/実現できた組織のケースを挙げ、多様性がいかに重要であるかを論じていきます。
事前に兆候を […]
続きを読む
パラメータの初期値を指定してOPTUNAで最適化してみる
* 2021.10.06
* 機械学習
OptunaはPFN社が公開しているオープンソースのハイパーパラメータ自動最適化フレームワークです。
最適化したいパラメータの事前分布と目的関数を定義すれば、あとはベイズ最適化を用いて自動的にパラメータを探索してくれます。
(Optunaの一般的な使用方法はこちらの記事が詳しいです。)
ただ、ある程度パラメータについてのドメイン知識があって、最適なパラメータはこのあたりだと検討がついている場合は初 […]
続きを読む
GOOGLEデータポータルのツールチップで複数のフィールドを表示する方法
* 2021.10.01
* ビジュアライゼーション
最近Googleデータポータルを使う機会があり、ツールチップの使い方で少し悩んだので備忘録として書いておきます。
Googleデータポータルのツールチップは、Tableauでいうツールヒントとほぼ同じなのですが、複数のフィールド(ディメンション・メジャー)をグラフ上に表示したい場合は少し工夫が必要です。
ちなみに、以下はTableauのツールヒントを使ってグラフ上に情報を表示させる例です。 表示し […]
続きを読む
1…13NEXT
プロフィール
大学では数理統計学を専攻し、新卒でSIerに就職。その後、士業でのマーケティングを経験。現在は物流業界でデータサイエンティストとして従事。
Qiita
GitHub
タグ
Azure (1)BERT (1)Docker (4)ktrain (1)LGBM (1)ROC (1)SDV (2)Streamlit (1)Tableau
(4)Titanic (9)Word2Vec (3)スクレイピング (2)ベイズ (2)モンテカルロ法 (1)仮説検定 (3)協調フィルタリング (1)極限定理
(1)概念ドリフト (1)決定木 (3)自然言語処理 (3)
最近の投稿
1. M1チップ搭載のMACBOOKでREDASH DOCKERコンテナを起動する
2. REDSHIFTのGEOMETRY型を使って緯度経度から都道府県を判定してみる
3.
4. RABBITMQ DOCKERコンテナでメッセージを永続化する方法
5. TORで接続元を匿名化してスクレイピングしてみる
6. SELENIUM DOCKERイメージを使ってPAIRSで足跡を自動で付けてみた
TWITTER
カテゴリー
カテゴリー カテゴリーを選択 Kaggle (15) RPA (2) エンジニアリング (6) その他 (5) ビジュアライゼーション (6)
レコメンド (10) 所感 (7) 書評 (43) 機械学習 (14) 登山 (1) 統計解析 (17) 英語学習 (1)
アーカイブ
アーカイブ 月を選択 2022年9月 (1) 2022年8月 (1) 2022年2月 (3) 2022年1月 (2) 2021年10月 (3)
2021年9月 (3) 2021年7月 (1) 2021年2月 (5) 2021年1月 (3) 2020年12月 (2) 2020年11月 (4)
2020年10月 (3) 2020年9月 (1) 2020年8月 (5) 2020年7月 (9) 2020年6月 (5) 2020年5月 (7)
2020年4月 (4) 2020年2月 (2) 2020年1月 (1) 2019年12月 (1) 2019年11月 (4) 2019年10月 (4)
2019年9月 (2) 2019年7月 (1) 2019年5月 (3) 2019年4月 (1) 2019年3月 (3) 2019年2月 (1)
2019年1月 (1) 2018年12月 (5) 2018年10月 (1) 2018年7月 (1) 2018年5月 (1) 2018年2月 (3)
2018年1月 (4) 2017年12月 (6) 2017年11月 (8) 2017年10月 (12)
統計検定お役立ちページ
* 確率分布
* 確率変数
* 確率変数の期待値と分散
* 確率母関数、積率母関数、特性関数
Back to Top
* ホーム
* 統計解析
* レコメンド
* Kaggle
* RPA
* 書評
© Copyright 2023 キヨシの命題. キヨシの命題 by FIT-Web Create. Powered by WordPress.