[wip] datacopilot analysis, filter and visualize

[lyuwenyu]

算子目录

• 1. 转换算子
  • 1.1 llava转换算子
    • 1.1.1 llava_convert
• 2. 过滤算子
  • 2.1 基础过滤算子
    • 2.1.1 valid_data_filter
      • 2.1.1.1 image_compliance_operator
      • 2.1.1.2 conversation_compliance_operator
  • 2.2 文本过滤算子
    • 2.2.1 conversation_length_filter
    • 2.2.2 average_line_length_filter
    • 2.2.3 maximum_line_length_filter
    • 2.2.4 conversation_percentage_filter
    • 2.2.5 token_num_filter
    • 2.2.6 alphanumeric_ratio_filter
    • 2.2.7 stopwords_ratio_filter
    • 2.2.8 special_characters_filter
    • 2.2.9 language_id_filter
    • 2.2.10 text_action_filter
    • 2.2.11 text_entity_dependency_filter
    • 2.2.12 char_ngram_repetition_filter
    • 2.2.13 word_ngram_repetition_filter
    • 2.2.14 conversation_hash_filter
      • 2.2.14.1 simhash_duplicate_operator
      • 2.2.14.2 minhash_duplicate_operator
    • 2.2.15 llm_judge_filter
  • 2.3 图像过滤算子
    • 2.3.1 image_filesize_filter
    • 2.3.2 image_ration_filter
    • 2.3.3 image_resolution_filter
    • 2.3.4 image_hash_filter
  • 2.4 图文过滤算子
    • 2.4.1 image_clip_filter
• 3. 分析算子
  • 3.1 基础分析算子
    • 3.1.1 base_analysis_pipeline
      • 3.1.1.1 analyze_dataset_statistics
      • 3.1.1.2 analyze_language_distribution
      • 3.1.1.3 analyze_image_paths
      • 3.1.1.4 analyze_data_anomalies
      • 3.1.1.5 analyze_conversation_tokens
  • 3.2 进阶分析算子
    • 3.2.1 description_analysis
    • 3.2.2 quality_analysis
• 4. 可视化算子
  • 4.1 lda可视化算子
    • 4.1.1 lda_topic_clustering
• 5. 生成算子
  • 5.1 多模态生成算子
    • 5.1.1 generate_qna_for_images

---

• [wip] Add ops into datacopilot #1055

[paddle-bot]

Thanks for your contribution!