クラウドソーシングを使ったスクレイピング業務

2022年8月 - 2023年7月

フリーランス

プロジェクト概要

研究をメインで行うため、柔軟な時間で仕事をしたいという想いから、フリーランスがどのようなことをしているか体験したくて始めたクラウドソーシングでのスクレイピング業務です。約1年間で計30件ほどの案件を受注し、すべての評価で最高評価（5.0/5.0）を獲得しました。初期は受注が取れない、納品後の環境構築対応に時間がかかるなどの課題がありましたが、迅速さと丁寧さを意識し、LINE通知システムの構築、Pythonコードの実行ファイル化やDockerの導入などの改善により、継続依頼も増え、新規でも直接ご依頼をいただけるようになりました。

Python Docker Selenium

アーキテクチャ

Pythonを使用してWebスクレイピング・データ収集のスクリプトを開発しました。納品後の環境構築対応を効率化するため、Pythonコードの実行ファイル化やDockerの導入を行いました。また、迅速な対応のために、仕事の投稿がウェブサイトに表示されるとLINEに通知されるシステムを構築しました。

技術的挑戦

なかなか受注が取れない → 迅速さと丁寧さを意識し、仕事の投稿がウェブサイトに表示されるとLINEに通知されるシステムを構築。クライアントの方がよく質問されることは、あらかじめご提案時に提示する
環境構築などの納品後対応に時間がかかってしまう → Pythonコードの実行ファイル化やDockerの導入、READMEファイルをわかりやすく改良、リモートアクセスでの対応