크롤러 & 팔로잉 피드 조회 TODO

[sunwon12]

• 질 낮은 크롤러 데이터 거르는 방법 생각하기(예를 들면 양질의 블로그만 추적한다는 등)
  • (네이버 블로그 말고도 브런치나 티스토리나 등등 타 플랫폼 크롤링 추가도 생각)
• 크롤러 긁어올 때 블로그 링크를 자기소개에 넣기(최소한의 법적 조치)
• 이미지가 네이버 링크로 되어있는데 그대로 데이터베이스에 넣고 우리 앱에서 사용할 때마다 그 링크를 호출하는데, 네이버한테 법적 제제를 당할 가능성이 높아 이미지를 우리 S3서버에 따로 저장하고 그 링크를 보여줘야 할 것 같습니다
• 현재는 팔로잉 피드가 없으면 최신순으로 다이어리 일지를 보여주는데
  • 최신순 말고 인기 다이어리 일지 보여주기
  • 봤던 팔로잉 피드 추적해서 봤던 게시글은 보여주지 않기(추후)
  • 팔로잉 피드 다 봤다면 이후에 인기 다이어리 일지 보여주기(추후)
  • 인기 다이어리 일지를 넘어서 개인화 추천 다이어리 일지 보여주기(추후)

[AlphaBs]

블로그가 영향력 있는지 확인할 수 있는 쉬운 지표는 블로그 이웃 수, 그리고 방문자 수.
하지만 블로그가 양질이라고 해서 반드시 콘텐츠가 양질인 것은 아니며, 반대로 블로그 영향력이 낮다고 해서 글 수준이 낮은것도 아님
블로그 글의 퀄리티는 댓글, 좋아요 수 지표로 간접적으로 확인 가능

일단 크롤링할 때 다음 데이터를 같이 수집해보고, 수집한 데이터들을 확인해보면서 무슨 기준으로 양질의 글을 판단할 지 생각해 봐야겠습니다. (예: 이웃수>=100 && 댓글수 >=10)

• 블로그 이웃 수, 방문자 수
• 크롤링 하는 글의 댓글수, 좋아요수
• 블로그 URL (자기소개에 넣는용도)
• 글 내용
  • 원본 글 스타일 (글자크기, 색 등등) 최대한 유지? 혹은 plain text 으로만 추출할지? 난이도 보고 결정하기
  • 이미지 포함될 경우 다운로드, S3 업로드

[sunwon12]

인스타그램 독서 리뷰하시는 분들 것도 크롤링해오면 좋을 것 같습니다

https://www.instagram.com/dokseo_bin/

[sunwon12]

블로그가 영향력 있는지 확인할 수 있는 쉬운 지표는 블로그 이웃 수, 그리고 방문자 수. 하지만 블로그가 양질이라고 해서 반드시 콘텐츠가 양질인 것은 아니며, 반대로 블로그 영향력이 낮다고 해서 글 수준이 낮은것도 아님 블로그 글의 퀄리티는 댓글, 좋아요 수 지표로 간접적으로 확인 가능

일단 크롤링할 때 다음 데이터를 같이 수집해보고, 수집한 데이터들을 확인해보면서 무슨 기준으로 양질의 글을 판단할 지 생각해 봐야겠습니다. (예: 이웃수>=100 && 댓글수 >=10)

• 블로그 이웃 수, 방문자 수

• 크롤링 하는 글의 댓글수, 좋아요수

• 블로그 URL (자기소개에 넣는용도)

• 글 내용

  • 원본 글 스타일 (글자크기, 색 등등) 최대한 유지? 혹은 plain text 으로만 추출할지? 난이도 보고 결정하기
  • 이미지 포함될 경우 다운로드, S3 업로드

저희가 대량의 데이터를 판단할 수 있는 것은 결국 데이터이니 좋은 의견입니다!

[sunwon12]

세인님 크롤러 맴버 만들어서 저장할 때 블로그에서 이미지를 가져오거나 이미지가 없을 시 아래 이미지로 member 프로필 이미지 생성하면 좋을 것 같아요

@value("${profile.default-image}")
private String defaultProfileImage;
@AlphaBs

[AlphaBs]

블로그가 영향력 있는지 확인할 수 있는 쉬운 지표는 블로그 이웃 수, 그리고 방문자 수. 하지만 블로그가 양질이라고 해서 반드시 콘텐츠가 양질인 것은 아니며, 반대로 블로그 영향력이 낮다고 해서 글 수준이 낮은것도 아님 블로그 글의 퀄리티는 댓글, 좋아요 수 지표로 간접적으로 확인 가능
일단 크롤링할 때 다음 데이터를 같이 수집해보고, 수집한 데이터들을 확인해보면서 무슨 기준으로 양질의 글을 판단할 지 생각해 봐야겠습니다. (예: 이웃수>=100 && 댓글수 >=10)

• 블로그 이웃 수, 방문자 수

• 크롤링 하는 글의 댓글수, 좋아요수

• 블로그 URL (자기소개에 넣는용도)

• 글 내용

  • 원본 글 스타일 (글자크기, 색 등등) 최대한 유지? 혹은 plain text 으로만 추출할지? 난이도 보고 결정하기
  • 이미지 포함될 경우 다운로드, S3 업로드

저희가 대량의 데이터를 판단할 수 있는 것은 결국 데이터이니 좋은 의견입니다!

그럼 이웃수 방문자수 댓글수 좋아요수를 어딘가에 저장해야 할 필요가 있을텐데, 어떤 방법이 좋을까요?

저는 디비에 이런식으로 NaverBlogPostQuality 테이블을 만들어보는걸 생각해보았는데요,

Long id: ReadingDiary 와 one to one 관계
int buddyCount
int visitorCount
int commentCount
int likeCount

이러면 ReadingDiary.java 를 수정할 필요도 없고 reading_diary 테이블도 건들일 필요가 없습니다.

인스타그램 관련된 숫자정보들 예를들면 좋아요수 댓글수를 수집할때도 똑같은 방법으로 InstagramPostQuality 테이블을 만들어서 저장할 수 있겠네요.

더 좋은 의견 있다면 남겨주세요 !

[AlphaBs]

일단 네이버 블로그 관련된 내용만 PR 생성했습니다. 인스타 크롤링은 고민해야 할 부분이 있어서 시간이 좀 걸릴듯싶네요.

• 로그인하지 않은 상태로 인스타 접근시 요청 차단이 너무나 쉽게 이루어짐
• 인스타 가계정 생성 후, 웹브라우저에서 로그인 후 세션 정보를 서버에 업로드 하고 크롤링하면 작동함
• AWS 같은 IP 대역에서도 잘 작동하는지 확인 필요, 만약 작동하지 않는다면?
  • 프록시 구매
  • 인스타 크롤링, 사진 다운로드는 본인 컴퓨터에서 진행하고, 그 결과만 우리 서버에 업로드하는 방법