本研究室の過去の卒研で，マイナビと連携して就活スケジュール帳を作った例がありますが，手動でHTMLを解析して必要な情報を取得するというやり方をしていました。これは今でも有効ですし，Web crawlerの実装はそのようにするしかないのですが，特定の機能を呼び出す手続き(API)を公開しているサイトの場合，その手順に従ったアプリにしておくと，表面的なWebデザインの変更があってもそれとは無関係なAPIを介したやり取りをするだけで済むので，長い間使えるものになります。
近年は検索エンジンも大きいところはGoogleとMicrosoftのBingに集約された感がありますし(Yahoo!はGoogleに依存)，有効性の強い情報はSNS(Social Networking Service)経由でやり取りされることが多くなってます。賢い人は賢い人同士，金持ちは金持ち同士，バカは・・・，貧乏人は・・・，といった感じでしょうか。貧富の格差が，良質な情報の格差と直結する昨今であります。
ということで，卒研でも大いに大手サイトのAPIを使いましょう。
とりあえず，GoogleとBingのAPIはこんな感じのようです（2016年3月現在)。
Bing Dev Center
SNS関連ではこんなところでしょうか。
- Facebook Developers
- Line Developers
- Twitter Developers
各APIを使うためのサンプル集はちょっと検索すると見つかります。なるべく最新のものを見つけて試してみましょう。